oanor
Inscription gratuite
Marché Tarifs Fonctionnalités Connexion

API · /robots-api

API robots.txt

en bonne santé 4,091 Abonnées

Récupérez et évaluez le robots.txt de n'importe quel site web. Passez une URL et un user-agent, et le point de terminaison check vous indique si cette URL est explorable — en sélectionnant le groupe d'user-agent le plus spécifique et en appliquant les règles de correspondance la plus longue Allow/Disallow de la RFC 9309 (avec les wildcards * et $, où Allow l'emporte en cas d'égalité), et en renvoyant la règle correspondante, le crawl-delay du groupe et les sitemaps déclarés par le site. Le point de terminaison parse renvoie l'intégralité du fichier structuré en groupes par user-agent (leurs listes allow et disallow et crawl-delay) ainsi que la liste des sitemaps. Un robots.txt manquant (404/403) signifie que tout est autorisé, exactement comme le spécifie la norme. La requête est effectuée côté serveur et les cibles privées ou internes sont refusées (protégé contre les SSRF). Conçu pour les audits SEO, la conformité des crawlers et scrappers, la découverte de sitemaps et les vérifications préalables « suis-je autorisé à récupérer ceci ? ». Un évaluateur de robots.txt — distinct de l'audit SEO sur la page (seo), de la boîte à outils XML (xml) et du dépliage d'aperçu de lien (url). Pas de clé en amont, pas de cache.

#robots-txt #seo #crawler #rfc-9116 #web #sitemap
api.oanor.com/robots-api
Obtenez une clé API Essayez dans la cour de récréation → Contacter fournisseur

Spécification lisible par machine afin que les agents IA puissent intégrer cette API.

/api/robots-api/openapi.json
/api/robots-api/llms.txt

Découverte: GET /api/index.json répertorie tous les API.

Santé API

en bonne santé
Temps de disponibilité
100.00%
Sondes serveur · 24h
Latence moyenne
129 ms
Sondes serveur · 24h
Abonnées
4,091
active
Total des appels
0
les 7 derniers jours
status Page d'état complète → · 3 sondes/24h

Tarifs

Choisissez un niveau: facturé mensuellement, annulez à tout moment.

Free

Gratuite

  • 2,000 appels / mois
  • 2 requêtes / seconde
  • Plafond ferme (429 au-dessus du quota, pas de dépassement)
  • 2 000 appels/mois
  • 2 req/s
  • Capacité d'exploration + analyse
  • Pas de carte de crédit
Connectez-vous pour vous abonner

Starter

€5.90 /mois

  • 37,500 appels / mois
  • 8 requêtes / seconde
  • Plafond ferme (429 au-dessus du quota, pas de dépassement)
  • 37,5k appels/mois
  • 8 req/sec
  • Correspondance RFC 9309 + sitemaps
  • Support par e-mail
Connectez-vous pour vous abonner

Pro

€19.70 /mois

  • 202,000 appels / mois
  • 20 requêtes / seconde
  • Plafond ferme (429 au-dessus du quota, pas de dépassement)
  • 202k appels/mois
  • 20 req/s
  • Pipelines de crawling et SEO
  • Support prioritaire
Connectez-vous pour vous abonner

Mega

€51.60 /mois

  • 785,000 appels / mois
  • 50 requêtes / seconde
  • Plafond ferme (429 au-dessus du quota, pas de dépassement)
  • 785k appels/mois
  • 50 req/s
  • Échelle de plateforme de crawl
  • SLA dédié
Connectez-vous pour vous abonner

Construit par

P
PremiumApi

Connexes APIs

Autres APIs avec des balises qui se chevauchent.

API Sitemap

Récupère et analyse un sitemap XML (protocole sitemaps.org). Passez une URL de sitemap et le point de terminaison parse la récupère — en suivant les redirections et en décompressant de manière transparente les sitemaps .gz — et renvoie son type : un urlset avec chaque URL et ses lastmod, changefreq et priority, ou un sitemapindex listant les sitemaps enfants, avec une pagination offset/limit pour les fichiers volumineux. Le point de terminaison urls va plus loin : lorsque le sitemap est un index, il récupère également les sitemaps enfants et aplatit chaque URL de page en une seule liste, avec un plafond configurable sur les URLs et les sitemaps enfants et un indicateur tronqué pour que vous restiez maître. La requête est effectuée côté serveur et les cibles privées ou internes sont refusées (protégé contre SSRF). Conçu pour les audits SEO, la construction de files d'attente de crawl et d'inventaires de contenu, la surveillance des modifications et les vérifications de migration. Un récupérateur et analyseur de sitemap — distinct de la conversion XML vers JSON générique (xml), de l'évaluateur robots.txt (robots) et de l'audit SEO sur page (seo). Pas de clé en amont, pas de cache.

api.oanor.com/sitemap-api

API de lisibilité

Évaluez la facilité de lecture d'un texte à l'aide des formules de lisibilité standard et évaluées par les pairs — Flesch Reading Ease, Flesch-Kincaid Grade, Gunning Fog, SMOG, Coleman-Liau et l'Automated Readability Index. Envoyez un texte et obtenez les six scores ainsi que les décomptes sous-jacents (mots, phrases, syllabes, mots complexes et polysyllabiques, lettres et caractères), un niveau scolaire moyen, un temps de lecture estimé et une interprétation en anglais simple de la facilité de lecture. Un deuxième point de terminaison compte les syllabes d'un mot ou de chaque mot d'une phrase. Fournissez le texte en ligne via ?text=, comme paramètre de requête ou dans un corps de requête ; tout est calculé localement sans appels réseau, donc c'est rapide et déterministe. Conçu pour les outils de contenu et de rédaction, les workflows SEO et éditoriaux, l'éducation et les vérifications d'accessibilité (langage clair), ainsi que la révision UX. Un évaluateur de lisibilité — distinct de l'analyse de sentiment/NLP (nlp), de la vérification orthographique et grammaticale (grammar), des utilitaires de casse et de texte (text) et de la similarité de chaînes (similarity). Pas de clé en amont, pas de cache.

api.oanor.com/readability-api

API SEO

Effectuez un audit SEO on-page sur n'importe quelle URL — analyse du titre et de la méta-description, structure des titres, longueur du contenu, couverture des attributs alt des images, vérifications canonical / viewport / Open Graph et une répartition des liens internes/externes — avec un score global de 0 à 100. Plus un point de terminaison dédié à l'analyse des liens.

api.oanor.com/seo-api

API security.txt

Récupère et analyse le fichier security.txt RFC 9116 de n'importe quel domaine — le fichier lisible par machine à /.well-known/security.txt qui indique aux chercheurs en sécurité comment signaler des vulnérabilités. Passez un domaine et le service localise le fichier (le chemin canonique .well-known avec une solution de repli racine héritée), analyse chaque champ — Contact, Expires, Encryption, Acknowledgments, Preferred-Languages, Canonical, Policy, Hiring et CSAF — et indique s'il est valide (a au moins un Contact et un seul Expires non expiré), s'il est signé PGP, s'il a expiré (avec le nombre de jours restants) et une liste de problèmes avec des conseils concrets. Un point de terminaison compagnon renvoie le fichier brut. La requête est effectuée côté serveur ; les cibles privées et internes sont refusées (protégé contre SSRF). Conçu pour les audits de sécurité, l'évaluation des risques des fournisseurs et tiers, les examens de surface d'attaque et les vérifications de conformité des politiques de divulgation des vulnérabilités. Un analyseur et validateur security.txt — distinct du vérificateur d'en-têtes de sécurité HTTP (secheaders), de la vérification de certificat SSL/TLS (sslcheck) et de l'accessibilité de l'hôte (hostcheck). Pas de clé amont, pas de cache.

api.oanor.com/securitytxt-api

Questions fréquentes

Réponses rapides sur les tarifs, quotas et l'intégration.

Comment obtenir une clé API pour API robots.txt ?
Inscris-toi gratuitement sur oanor.com, génère une clé API depuis le tableau de bord développeur et appelle API robots.txt avec l'en-tête x-oanor-key. Aucune carte bancaire requise pour le forfait gratuit.
Quelle est la limite de débit de API robots.txt ?
Le forfait gratuit permet 1 requête par seconde. Les forfaits payants montent jusqu'à 50 requêtes par seconde sur le palier Mega. Les limites strictes renvoient HTTP 429 au-delà du quota — sans frais surprises.
Combien coûte API robots.txt ?
API robots.txt dispose d'un forfait gratuit avec 100 appels / mois. Les forfaits payants commencent à €5.90 / mois avec des quotas plus élevés et des limites de débit plus rapides.
Puis-je résilier mon abonnement à tout moment ?
Oui. Les abonnements sont facturés mensuellement et tu peux résilier à tout moment depuis le tableau de bord de facturation. Aucun engagement à long terme ni frais de résiliation.
API robots.txt est-il conforme au RGPD ?
Toutes les requêtes vers API robots.txt transitent par notre passerelle européenne. Ta clé API upstream ne quitte jamais notre serveur et aucune donnée personnelle n'est partagée avec le fournisseur upstream au-delà de la requête envoyée.

Choisissez un point de terminaison dans la liste de gauche pour voir ses détails et essayez-le.

Extraits de code

Inscrivez-vous pour obtenir une clé API, puis appelez n'importe quel chemin sous votre slug.

curl https://api.oanor.com/robots-api/SOME_PATH \
  -H "x-oanor-key: oanor_test_..."
const res = await fetch("https://api.oanor.com/robots-api/SOME_PATH", {
  headers: { "x-oanor-key": "oanor_test_..." }
});
const data = await res.json();
$ch = curl_init("https://api.oanor.com/robots-api/SOME_PATH");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_HTTPHEADER, ["x-oanor-key: oanor_test_..."]);
$response = curl_exec($ch);
import requests
r = requests.get(
    "https://api.oanor.com/robots-api/SOME_PATH",
    headers={"x-oanor-key": "oanor_test_..."},
)
print(r.json())

Notes

Connectez-vous pour évaluer.

Aucun avis pour l'instant.

Discussion

Pose tes questions, partage des astuces, obtiens des réponses du fournisseur et d'autres devs. Public — tout le monde peut lire.

Connecte-toi pour écrire ou répondre.

Connexion

Nouvelle discussion

/ 4000

📌 Épinglée 🔒 Verrouillée

·

· ·

/ 4000

🔒 Discussion verrouillée — plus de nouvelles réponses.

  • Aucune discussion — lance la première.

Support

Support privé 1:1 avec le fournisseur — facturation, intégration, compte. Seulement toi et l'équipe du fournisseur voyez ces fils.

Connecte-toi pour ouvrir un ticket de support.

Connexion

Ouvrir un nouveau ticket

Décris ce dont tu as besoin. L'équipe reçoit un email et répond sur la page du ticket.

  • Aucun ticket pour cette API.

Abonnement actif : les appels peuvent commencer immédiatement.

Envoyez votre première demande —

Abonnement actif: copiez un extrait et lancez votre premier appel.