#rfc-9116

Haal de robots.txt van elke website op en evalueer deze. Geef een URL en een user-agent door en het check-eindpunt vertelt je of die URL crawlbaar is — waarbij de meest specifieke user-agentgroep wordt geselecteerd en de RFC 9309 langste-match Allow/Disallow-regels worden toegepast (met * en $ jokertekens, waarbij Allow wint bij gelijke stand), en de overeenkomende regel, de crawl-delay van de groep en de sitemaps die de site declareert worden geretourneerd. Het parse-eindpunt retourneert het hele bestand gestructureerd in per-user-agentgroepen (hun allow- en disallow-lijsten en crawl-delay) plus de lijst met sitemaps. Een ontbrekende robots.txt (404/403) betekent dat alles is toegestaan, precies zoals de specificatie vereist. Het verzoek wordt server-side gedaan en privé- of interne doelen worden geweigerd (SSRF-beveiligd). Gebouwd voor SEO-audits, crawler- en scraper-compliance, sitemap-ontdekking en pre-flight "mag ik dit ophalen?"-controles. Een robots.txt-evaluator — te onderscheiden van de on-page SEO-audit (seo), de XML-toolkit (xml) en link-unfurling/preview (url). Geen upstream-sleutel, geen cache.

api.oanor.com/robots-api

Haal het RFC 9116 security.txt-bestand van elk domein op en parse het — het machineleesbare bestand op /.well-known/security.txt dat beveiligingsonderzoekers vertelt hoe ze kwetsbaarheden kunnen melden. Geef een domein door en de service lokaliseert het bestand (het canonieke .well-known-pad met een legacy root fallback), parseert elk veld — Contact, Expires, Encryption, Acknowledgments, Preferred-Languages, Canonical, Policy, Hiring en CSAF — en rapporteert of het geldig is (minstens één Contact en een enkele, niet-verlopen Expires), of het PGP-ondertekend is, of het is verlopen (met het aantal resterende dagen) en een lijst met problemen met concreet advies. Een bijbehorend eindpunt retourneert het ruwe bestand. Het verzoek wordt server-side gedaan; privé- en interne doelen worden geweigerd (SSRF-beveiligd). Gebouwd voor beveiligingsaudits, leveranciers- en externe risicobeoordeling, aanvalsoppervlaktebeoordelingen en controles op naleving van het beleid voor het melden van kwetsbaarheden. Een security.txt-parser en -validator — verschillend van de HTTP-beveiligingsheader-grader (secheaders), de SSL/TLS-certificaatcontrole (sslcheck) en hostbereikbaarheid (hostcheck). Geen upstream-sleutel, geen cache.

api.oanor.com/securitytxt-api