#sitemap

Λήψη και ανάλυση ενός XML sitemap (πρωτόκολλο sitemaps.org). Δώστε μια διεύθυνση URL sitemap και το τελικό σημείο ανάλυσης το λαμβάνει — ακολουθώντας ανακατευθύνσεις και αποσυμπιέζοντας διαφανώς sitemaps .gz — και επιστρέφει τον τύπο του: ένα urlset με κάθε URL και το lastmod, changefreq και priority του, ή ένα sitemapindex που παραθέτει τα θυγατρικά sitemaps, με σελιδοποίηση offset/limit για μεγάλα αρχεία. Το τελικό σημείο urls προχωρά περαιτέρω: όταν το sitemap είναι ένα ευρετήριο, λαμβάνει επίσης τα θυγατρικά sitemaps και συμπτύσσει κάθε διεύθυνση URL σελίδας σε μια ενιαία λίστα, με ένα ρυθμιζόμενο όριο σε URLs και θυγατρικά sitemaps και μια σημαία truncated για να έχετε τον έλεγχο. Το αίτημα γίνεται από την πλευρά του διακομιστή και οι ιδιωτικοί ή εσωτερικοί στόχοι απορρίπτονται (προστασία SSRF). Κατασκευασμένο για ελέγχους SEO, δημιουργία ουρών ανίχνευσης και αποθεμάτων περιεχομένου, παρακολούθηση αλλαγών και ελέγχους μετεγκατάστασης. Ένας λήπτης και αναλυτής sitemap — διακριτός από τη γενική μετατροπή XML σε JSON (xml), τον αξιολογητή robots.txt (robots) και τον έλεγχο SEO στη σελίδα (seo). Χωρίς κλειδί ανάντη, χωρίς προσωρινή μνήμη.

api.oanor.com/sitemap-api

Λήψη και αξιολόγηση του robots.txt οποιουδήποτε ιστότοπου. Παρέχετε μια διεύθυνση URL και ένα user-agent και το τελικό σημείο ελέγχου σας λέει εάν αυτή η διεύθυνση URL είναι ανιχνεύσιμη — επιλέγοντας την πιο συγκεκριμένη ομάδα user-agent και εφαρμόζοντας τους κανόνες Allow/Disallow με τη μεγαλύτερη αντιστοίχιση του RFC 9309 (με μπαλαντέρ * και $, όπου το Allow κερδίζει σε ισοπαλίες), και επιστρέφοντας τον κανόνα που ταιριάζει, την καθυστέρηση ανίχνευσης της ομάδας και τους χάρτες ιστότοπου που δηλώνει ο ιστότοπος. Το τελικό σημείο ανάλυσης επιστρέφει ολόκληρο το αρχείο δομημένο σε ομάδες ανά user-agent (τις λίστες allow και disallow και την καθυστέρηση ανίχνευσης) συν τη λίστα των χαρτών ιστότοπου. Ένα λείπει robots.txt (404/403) σημαίνει ότι όλα επιτρέπονται, ακριβώς όπως απαιτεί η προδιαγραφή. Το αίτημα γίνεται από την πλευρά του διακομιστή και οι ιδιωτικοί ή εσωτερικοί στόχοι απορρίπτονται (προστασία SSRF). Κατασκευασμένο για ελέγχους SEO, συμμόρφωση ανιχνευτών και scraper, ανακάλυψη χαρτών ιστότοπου και προ-ελέγχους "επιτρέπεται να το λάβω;". Ένας αξιολογητής robots.txt — διακριτός από τον έλεγχο SEO στη σελίδα (seo), την εργαλειοθήκη XML (xml) και την αποκάλυψη/προεπισκόπηση συνδέσμων (url). Χωρίς upstream κλειδί, χωρίς cache.

api.oanor.com/robots-api