oanor
Iscriviti gratis
Mercata Prezzi Caratteristiche Accedi

API · /robots-api

robots.txt API

salutare 4,091 Abbonati

Fetch and evaluate any website's robots.txt. Pass a URL and a user-agent and the check endpoint tells you whether that URL is crawlable — selecting the most-specific user-agent group and applying the RFC 9309 longest-match Allow/Disallow rules (with * and $ wildcards, where Allow wins ties), and returning the matched rule, the group's crawl-delay and the sitemaps the site declares. The parse endpoint returns the whole file structured into per-user-agent groups (their allow and disallow lists and crawl-delay) plus the list of sitemaps. A missing robots.txt (404/403) means everything is allowed, exactly as the spec requires. The request is made server-side and private or internal targets are refused (SSRF-guarded). Built for SEO audits, crawler and scraper compliance, sitemap discovery and pre-flight "am I allowed to fetch this?" checks. A robots.txt evaluator — distinct from the on-page SEO audit (seo), the XML toolkit (xml) and link unfurling/preview (url). No upstream key, no cache.

#robots-txt #seo #crawler #rfc-9116 #web #sitemap
api.oanor.com/robots-api
Ottieni una chiave API Prova nel parco giochi → Contatta provider

Specifica leggibile dalle macchine, così gli agenti AI possono integrare questa API.

/api/robots-api/openapi.json
/api/robots-api/llms.txt

Individuazione: GET /api/index.json elenca ogni API.

API salute

salutare
Tempo di attività
100.00%
Sondaggi del server · 24 ore su 24
Latenza media
129 ms
Sondaggi del server · 24 ore su 24
Abbonati
4,091
attiva
Chiamate totali
0
ultimi 7 giorni
status Pagina di stato completa → · 3 sonde/24h

Prezzi

Scegli un livello: fatturazione mensile, annullamento in qualsiasi momento.

Free

Gratis

  • 2,000 chiamate/mese
  • 2 richieste/secondo
  • Tetto rigido (429 sopra la quota, nessuna eccedenza)
  • 2,000 llamadas/mes
  • 2 req/seg
  • Capacidad de rastreo y análisis
  • Sin tarjeta de crédito
Accedi per abbonarti

Starter

€5.90 /mese

  • 37,500 chiamate/mese
  • 8 richieste/secondo
  • Tetto rigido (429 sopra la quota, nessuna eccedenza)
  • 37.5k calls/month
  • 8 req/sec
  • RFC 9309 match + sitemaps
  • Email support
Accedi per abbonarti

Pro

€19.70 /mese

  • 202,000 chiamate/mese
  • 20 richieste/secondo
  • Tetto rigido (429 sopra la quota, nessuna eccedenza)
  • 202k calls/month
  • 20 req/sec
  • Crawler & SEO pipelines
  • Priority support
Accedi per abbonarti

Mega

€51.60 /mese

  • 785,000 chiamate/mese
  • 50 richieste/secondo
  • Tetto rigido (429 sopra la quota, nessuna eccedenza)
  • 785k calls/month
  • 50 req/sec
  • Crawl-platform scale
  • Dedicated SLA
Accedi per abbonarti

Costruito da

P
PremiumApi

Correlato APIs

Altro APIs con tag sovrapposti.

Sitemap API

Fetch and parse an XML sitemap (the sitemaps.org protocol). Pass a sitemap URL and the parse endpoint fetches it — following redirects and transparently gunzipping .gz sitemaps — and returns its type: a urlset with every URL and its lastmod, changefreq and priority, or a sitemapindex listing the child sitemaps, with offset/limit paging for large files. The urls endpoint goes further: when the sitemap is an index it fetches the child sitemaps too and flattens every page URL into a single list, with a configurable cap on URLs and child sitemaps and a truncated flag so you stay in control. The request is made server-side and private or internal targets are refused (SSRF-guarded). Built for SEO audits, building crawl queues and content inventories, change monitoring and migration checks. A sitemap fetcher and parser — distinct from generic XML-to-JSON conversion (xml), the robots.txt evaluator (robots) and the on-page SEO audit (seo). No upstream key, no cache.

api.oanor.com/sitemap-api

Readability API

Punktuota, cik viegli ir lasīt teksta daļu, izmantojot standarta, recenzētās lasāmības formulas — Flesch Reading Ease, Flesch-Kincaid Grade, Gunning Fog, SMOG, Coleman-Liau un Automated Readability Index. Ievadiet tekstu un saņemiet visus sešus rādītājus kopā ar pamata skaitījumiem (vārdi, teikumi, zilbes, sarežģīti un daudzzilbju vārdi, burti un rakstzīmes), vidējo klases līmeni, aptuveno lasīšanas laiku un vienkāršā angļu valodā sniegtu lasāmības interpretāciju. Otrs galapunkts skaita zilbes vārdam vai katram vārdam frāzē. Ievadiet tekstu inline ar ?text=, kā vaicājuma parametru vai pieprasījuma pamattekstā; viss tiek aprēķināts lokāli bez tīkla izsaukumiem, tāpēc tas ir ātrs un determinēts. Izveidots satura un kopēšanas rīkiem, SEO un redakcijas darbplūsmām, izglītībai un pieejamības (vienkāršās valodas) pārbaudēm, kā arī UX rakstīšanas pārskatīšanai. Lasāmības vērtētājs — atšķirīgs no sentimenta/NLP analīzes (nlp), pareizrakstības un gramatikas pārbaudes (grammar), reģistra un teksta utilītprogrammām (text) un virkņu līdzības (similarity). Nav nepieciešama augšupējā atslēga, nav kešatmiņas.

api.oanor.com/readability-api

SEO API

Exécutez un audit SEO on-page sur n'importe quelle URL — analyse du titre et de la méta-description, structure des titres, longueur du contenu, couverture des attributs alt des images, vérifications canonical / viewport / Open Graph et une répartition des liens internes/externes — avec un score global de 0 à 100. Plus un point de terminaison dédié à l'analyse des liens.

api.oanor.com/seo-api

security.txt API

Recupera e analizza il file security.txt RFC 9116 di qualsiasi dominio — il file leggibile dalla macchina situato in /.well-known/security.txt che indica ai ricercatori di sicurezza come segnalare le vulnerabilità. Fornisci un dominio e il servizio localizza il file (il percorso canonico .well-known con un fallback legacy alla radice), analizza ogni campo — Contact, Expires, Encryption, Acknowledgments, Preferred-Languages, Canonical, Policy, Hiring e CSAF — e segnala se è valido (ha almeno un Contact e un singolo Expires non scaduto), se è firmato PGP, se è scaduto (con il numero di giorni rimanenti) e un elenco di problemi con consigli concreti. Un endpoint complementare restituisce il file grezzo. La richiesta è eseguita lato server; i target privati e interni vengono rifiutati (protetto da SSRF). Progettato per audit di sicurezza, valutazione del rischio di fornitori e terze parti, revisioni della superficie d'attacco e controlli di conformità delle politiche di divulgazione delle vulnerabilità. Un parser e validatore di security.txt — distinto dal grader delle intestazioni di sicurezza HTTP (secheaders), dal controllo del certificato SSL/TLS (sslcheck) e dalla raggiungibilità dell'host (hostcheck). Nessuna chiave upstream, nessuna cache.

api.oanor.com/securitytxt-api

Domande frequenti

Risposte rapide su prezzi, quote e integrazione.

Come ottengo una chiave API per robots.txt API?
Registrati gratuitamente su oanor.com, genera una chiave API dalla dashboard sviluppatore e chiama robots.txt API con l'header x-oanor-key. Nessuna carta di credito richiesta per il piano gratuito.
Qual è il limite di velocità di robots.txt API?
Il piano gratuito consente 1 richiesta al secondo. I piani a pagamento arrivano fino a 50 richieste al secondo nel piano Mega. I limiti rigorosi restituiscono HTTP 429 oltre la quota — nessuna spesa imprevista.
Quanto costa robots.txt API?
robots.txt API ha un piano gratuito con 100 chiamate / mese. I piani a pagamento partono da €5.90 / mese con quote più alte e limiti di velocità più rapidi.
Posso cancellare l'abbonamento in qualsiasi momento?
Sì. I piani sono fatturati mensilmente e puoi cancellare in qualsiasi momento dalla dashboard di fatturazione. Nessun contratto a lungo termine e nessuna penale di cancellazione.
robots.txt API è conforme al GDPR?
Tutte le richieste a robots.txt API passano attraverso il nostro gateway in UE. La tua chiave upstream non lascia mai il nostro server e nessun dato personale viene condiviso con il fornitore upstream oltre alla richiesta inviata.

Scegli un endpoint dall'elenco a sinistra per visualizzarne i dettagli e provarlo.

Frammenti di codice

Iscriviti per ottenere una chiave API, quindi chiama qualsiasi percorso sotto il tuo slug.

curl https://api.oanor.com/robots-api/SOME_PATH \
  -H "x-oanor-key: oanor_test_..."
const res = await fetch("https://api.oanor.com/robots-api/SOME_PATH", {
  headers: { "x-oanor-key": "oanor_test_..." }
});
const data = await res.json();
$ch = curl_init("https://api.oanor.com/robots-api/SOME_PATH");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_HTTPHEADER, ["x-oanor-key: oanor_test_..."]);
$response = curl_exec($ch);
import requests
r = requests.get(
    "https://api.oanor.com/robots-api/SOME_PATH",
    headers={"x-oanor-key": "oanor_test_..."},
)
print(r.json())

Valutazioni

Accedi per votare.

Nessuna recensione ancora.

Discussione

Fai domande, condividi consigli, ricevi risposte dal provider e dagli altri sviluppatori. Pubblico — chiunque può leggere.

Accedi per scrivere o rispondere.

Accedi

Nuova discussione

/ 4000

📌 Fissato 🔒 Bloccato

·

· ·

/ 4000

🔒 Discussione bloccata — non si può più rispondere.

  • Nessuna discussione — inizia tu.

Supporto

Supporto privato 1:1 con il provider — fatturazione, integrazione, account. Solo tu e il team del provider vedete questi thread.

Accedi per aprire un ticket di supporto.

Accedi

Apri nuovo ticket

Descrivi cosa ti serve. Il team del provider riceve un'email e risponde sulla pagina del ticket.

  • Nessun ticket per questa API.

Abbonamento attivo: le chiamate possono iniziare subito.

Invia la tua prima richiesta —

Abbonamento attivo: copia uno snippet e avvia la tua prima chiamata.