robots.txt API
Haal de robots.txt van elke website op en evalueer deze. Geef een URL en een user-agent door en het check-eindpunt vertelt je of die URL crawlbaar is — waarbij de meest specifieke user-agentgroep wordt geselecteerd en de RFC 9309 langste-match Allow/Disallow-regels worden toegepast (met * en $ jokertekens, waarbij Allow wint bij gelijke stand), en de overeenkomende regel, de crawl-delay van de groep en de sitemaps die de site declareert worden geretourneerd. Het parse-eindpunt retourneert het hele bestand gestructureerd in per-user-agentgroepen (hun allow- en disallow-lijsten en crawl-delay) plus de lijst met sitemaps. Een ontbrekende robots.txt (404/403) betekent dat alles is toegestaan, precies zoals de specificatie vereist. Het verzoek wordt server-side gedaan en privé- of interne doelen worden geweigerd (SSRF-beveiligd). Gebouwd voor SEO-audits, crawler- en scraper-compliance, sitemap-ontdekking en pre-flight "mag ik dit ophalen?"-controles. Een robots.txt-evaluator — te onderscheiden van de on-page SEO-audit (seo), de XML-toolkit (xml) en link-unfurling/preview (url). Geen upstream-sleutel, geen cache.
api.oanor.com/robots-api
