#rfc-9116

Obtén y evalúa el robots.txt de cualquier sitio web. Proporciona una URL y un agente de usuario, y el endpoint de verificación te indica si esa URL es rastreable: selecciona el grupo de agente de usuario más específico y aplica las reglas de coincidencia más larga de Allow/Disallow según RFC 9309 (con comodines * y $, donde Allow gana en empates), y devuelve la regla coincidente, el crawl-delay del grupo y los sitemaps que declara el sitio. El endpoint de análisis devuelve el archivo completo estructurado en grupos por agente de usuario (sus listas de allow y disallow y crawl-delay) más la lista de sitemaps. Un robots.txt faltante (404/403) significa que todo está permitido, exactamente como lo requiere la especificación. La solicitud se realiza del lado del servidor y se rechazan los destinos privados o internos (protegido contra SSRF). Diseñado para auditorías SEO, cumplimiento de rastreadores y scrapers, descubrimiento de sitemaps y verificaciones previas de "¿tengo permiso para obtener esto?". Un evaluador de robots.txt, distinto de la auditoría SEO en página (seo), el kit de herramientas XML (xml) y la previsualización de enlaces (url). Sin clave upstream, sin caché.

api.oanor.com/robots-api

Obtén y analiza el archivo security.txt RFC 9116 de cualquier dominio: el archivo legible por máquina en /.well-known/security.txt que indica a los investigadores de seguridad cómo reportar vulnerabilidades. Proporciona un dominio y el servicio localiza el archivo (la ruta canónica .well-known con un fallback raíz heredado), analiza cada campo — Contact, Expires, Encryption, Acknowledgments, Preferred-Languages, Canonical, Policy, Hiring y CSAF — e informa si es válido (tiene al menos un Contact y un único Expires no vencido), si está firmado con PGP, si ha expirado (con el número de días restantes) y una lista de problemas con consejos concretos. Un endpoint complementario devuelve el archivo sin procesar. La solicitud se realiza del lado del servidor; se rechazan objetivos privados e internos (protegido contra SSRF). Construido para auditorías de seguridad, evaluación de riesgos de proveedores y terceros, revisiones de superficie de ataque y verificaciones de cumplimiento de políticas de divulgación de vulnerabilidades. Un analizador y validador de security.txt — distinto del calificador de cabeceras de seguridad HTTP (secheaders), la verificación de certificados SSL/TLS (sslcheck) y la accesibilidad del host (hostcheck). Sin clave upstream, sin caché.

api.oanor.com/securitytxt-api