#robots-txt

Λήψη και αξιολόγηση του robots.txt οποιουδήποτε ιστότοπου. Παρέχετε μια διεύθυνση URL και ένα user-agent και το τελικό σημείο ελέγχου σας λέει εάν αυτή η διεύθυνση URL είναι ανιχνεύσιμη — επιλέγοντας την πιο συγκεκριμένη ομάδα user-agent και εφαρμόζοντας τους κανόνες Allow/Disallow με τη μεγαλύτερη αντιστοίχιση του RFC 9309 (με μπαλαντέρ * και $, όπου το Allow κερδίζει σε ισοπαλίες), και επιστρέφοντας τον κανόνα που ταιριάζει, την καθυστέρηση ανίχνευσης της ομάδας και τους χάρτες ιστότοπου που δηλώνει ο ιστότοπος. Το τελικό σημείο ανάλυσης επιστρέφει ολόκληρο το αρχείο δομημένο σε ομάδες ανά user-agent (τις λίστες allow και disallow και την καθυστέρηση ανίχνευσης) συν τη λίστα των χαρτών ιστότοπου. Ένα λείπει robots.txt (404/403) σημαίνει ότι όλα επιτρέπονται, ακριβώς όπως απαιτεί η προδιαγραφή. Το αίτημα γίνεται από την πλευρά του διακομιστή και οι ιδιωτικοί ή εσωτερικοί στόχοι απορρίπτονται (προστασία SSRF). Κατασκευασμένο για ελέγχους SEO, συμμόρφωση ανιχνευτών και scraper, ανακάλυψη χαρτών ιστότοπου και προ-ελέγχους "επιτρέπεται να το λάβω;". Ένας αξιολογητής robots.txt — διακριτός από τον έλεγχο SEO στη σελίδα (seo), την εργαλειοθήκη XML (xml) και την αποκάλυψη/προεπισκόπηση συνδέσμων (url). Χωρίς upstream κλειδί, χωρίς cache.

api.oanor.com/robots-api