#robots-txt

Récupérez et évaluez le robots.txt de n'importe quel site web. Passez une URL et un user-agent, et le point de terminaison check vous indique si cette URL est explorable — en sélectionnant le groupe d'user-agent le plus spécifique et en appliquant les règles de correspondance la plus longue Allow/Disallow de la RFC 9309 (avec les wildcards * et $, où Allow l'emporte en cas d'égalité), et en renvoyant la règle correspondante, le crawl-delay du groupe et les sitemaps déclarés par le site. Le point de terminaison parse renvoie l'intégralité du fichier structuré en groupes par user-agent (leurs listes allow et disallow et crawl-delay) ainsi que la liste des sitemaps. Un robots.txt manquant (404/403) signifie que tout est autorisé, exactement comme le spécifie la norme. La requête est effectuée côté serveur et les cibles privées ou internes sont refusées (protégé contre les SSRF). Conçu pour les audits SEO, la conformité des crawlers et scrappers, la découverte de sitemaps et les vérifications préalables « suis-je autorisé à récupérer ceci ? ». Un évaluateur de robots.txt — distinct de l'audit SEO sur la page (seo), de la boîte à outils XML (xml) et du dépliage d'aperçu de lien (url). Pas de clé en amont, pas de cache.

api.oanor.com/robots-api