oanor
Kostenlos starten
Marktplatz Preise Funktionen Anmelden

API · /robots-api

robots.txt API

gesund 4,091 Subscribers

Rufen Sie die robots.txt jeder Website ab und werten Sie sie aus. Übergeben Sie eine URL und einen User-Agent, und der Check-Endpunkt teilt Ihnen mit, ob diese URL crawlbar ist – dabei wird die spezifischste User-Agent-Gruppe ausgewählt und die RFC 9309 Longest-Match Allow/Disallow-Regeln (mit * und $ Platzhaltern, wobei Allow bei Gleichstand gewinnt) angewendet, und gibt die passende Regel, die Crawl-Delay der Gruppe und die Sitemaps zurück, die die Website deklariert. Der Parse-Endpunkt gibt die gesamte Datei strukturiert in Gruppen pro User-Agent (deren Allow- und Disallow-Listen sowie Crawl-Delay) plus die Liste der Sitemaps zurück. Eine fehlende robots.txt (404/403) bedeutet, dass alles erlaubt ist, genau wie es die Spezifikation verlangt. Die Anfrage wird serverseitig gestellt und private oder interne Ziele werden abgelehnt (SSRF-geschützt). Entwickelt für SEO-Audits, Crawler- und Scraper-Compliance, Sitemap-Erkennung und Pre-Flight-„Darf ich das abrufen?“-Prüfungen. Ein robots.txt-Evaluator – abgegrenzt vom On-Page-SEO-Audit (seo), dem XML-Toolkit (xml) und Link-Unfurling/Preview (url). Kein Upstream-Key, kein Cache.

#robots-txt #seo #crawler #rfc-9116 #web #sitemap
api.oanor.com/robots-api
API-Key holen Im Playground testen → Anbieter kontaktieren

Maschinenlesbare Spezifikation, damit KI-Agenten diese API integrieren können.

/api/robots-api/openapi.json
/api/robots-api/llms.txt

Discovery: GET /api/index.json listet alle APIs.

API-Health

gesund
Uptime
100.00%
Server-Probes · 24h
Latenz Ø
129 ms
Server-Probes · 24h
Subscribers
4,091
aktiv
Gesamt-Calls
0
letzte 7 Tage
status Detaillierte Status-Seite → · 3 Probes/24h

Preise

Wähle einen Tier — abrechnung monatlich, jederzeit kündbar.

Free

Kostenlos

  • 2,000 Calls / Monat
  • 2 Anfragen / Sekunde
  • Hartes Limit (429 oberhalb der Quote, keine Mehrkosten)
  • 2.000 Aufrufe/Monat
  • 2 Anfragen/Sekunde
  • Crawlability + Parse
  • Keine Kreditkarte
Anmelden zum Abonnieren

Starter

€5.90 /Monat

  • 37,500 Calls / Monat
  • 8 Anfragen / Sekunde
  • Hartes Limit (429 oberhalb der Quote, keine Mehrkosten)
  • 37,5k Aufrufe/Monat
  • 8 Anfragen/Sekunde
  • RFC 9309 Übereinstimmung + Sitemaps
  • E-Mail-Support
Anmelden zum Abonnieren

Pro

€19.70 /Monat

  • 202,000 Calls / Monat
  • 20 Anfragen / Sekunde
  • Hartes Limit (429 oberhalb der Quote, keine Mehrkosten)
  • 202k Aufrufe/Monat
  • 20 Anfragen/Sekunde
  • Crawler- und SEO-Pipelines
  • Prioritäts-Support
Anmelden zum Abonnieren

Mega

€51.60 /Monat

  • 785,000 Calls / Monat
  • 50 Anfragen / Sekunde
  • Hartes Limit (429 oberhalb der Quote, keine Mehrkosten)
  • 785k Anrufe/Monat
  • 50 req/sec
  • Crawl-Plattform-Skalierung
  • Dedizierte SLA
Anmelden zum Abonnieren

Gebaut von

P
PremiumApi

Ähnliche APIs

Andere APIs mit überschneidenden Tags.

Sitemap API

Rufen Sie eine XML-Sitemap ab und parsen Sie sie (das sitemaps.org-Protokoll). Übergeben Sie eine Sitemap-URL, und der Parse-Endpunkt ruft sie ab – folgt Weiterleitungen und entpackt transparent .gz-Sitemaps – und gibt ihren Typ zurück: ein urlset mit jeder URL und ihrem lastmod, changefreq und priority, oder ein sitemapindex, der die untergeordneten Sitemaps auflistet, mit offset/limit-Paginierung für große Dateien. Der urls-Endpunkt geht weiter: Wenn die Sitemap ein Index ist, ruft er auch die untergeordneten Sitemaps ab und fasst jede Seiten-URL in einer einzigen Liste zusammen, mit einer konfigurierbaren Obergrenze für URLs und untergeordnete Sitemaps und einem truncated-Flag, damit Sie die Kontrolle behalten. Die Anfrage wird serverseitig gestellt, und private oder interne Ziele werden abgelehnt (SSRF-geschützt). Entwickelt für SEO-Audits, das Erstellen von Crawl-Warteschlangen und Content-Inventaren, Änderungsüberwachung und Migrationsprüfungen. Ein Sitemap-Fetcher und -Parser – unterschieden von generischer XML-zu-JSON-Konvertierung (xml), dem robots.txt-Evaluator (robots) und dem On-Page-SEO-Audit (seo). Kein Upstream-Schlüssel, kein Cache.

api.oanor.com/sitemap-api

Readability API

Bewerten Sie, wie einfach ein Text zu lesen ist, mit den standardmäßigen, peer-reviewten Lesbarkeitsformeln – Flesch Reading Ease, Flesch-Kincaid Grade, Gunning Fog, SMOG, Coleman-Liau und dem Automated Readability Index. Übergeben Sie Text und erhalten Sie alle sechs Bewertungen zusammen mit den zugrunde liegenden Zählungen (Wörter, Sätze, Silben, komplexe und mehrsilbige Wörter, Buchstaben und Zeichen), einer durchschnittlichen Klassenstufe, einer geschätzten Lesezeit und einer verständlichen Interpretation der Lesbarkeit. Ein zweiter Endpunkt zählt Silben für ein Wort oder für jedes Wort in einem Satz. Geben Sie Text inline über ?text=, als Abfrageparameter oder in einem Anforderungstext an; alles wird lokal ohne Netzwerkaufrufe berechnet, daher ist es schnell und deterministisch. Entwickelt für Content- und Copywriting-Tools, SEO- und Redaktionsworkflows, Bildung und Barrierefreiheitsprüfungen (einfache Sprache) sowie UX-Schreibüberprüfungen. Ein Lesbarkeitsbewerter – unterschieden von Sentiment-/NLP-Analyse (nlp), Rechtschreib- und Grammatikprüfung (grammar), den Fall- und Textwerkzeugen (text) und der Zeichenfolgenähnlichkeit (similarity). Kein vorgeschalteter Schlüssel, kein Cache.

api.oanor.com/readability-api

SEO-API

Führen Sie eine On-Page-SEO-Prüfung für jede URL durch – Analyse von Titel und Meta-Beschreibung, Überschriftenstruktur, Inhaltslänge, Bild-Alt-Abdeckung, Canonical-/Viewport-/Open-Graph-Prüfungen und eine Aufschlüsselung interner/externer Links – mit einer Gesamtbewertung von 0–100. Plus einen dedizierten Link-Analyse-Endpunkt.

api.oanor.com/seo-api

security.txt API

Rufen Sie die RFC 9116 security.txt einer beliebigen Domain ab und parsen Sie sie – die maschinenlesbare Datei unter /.well-known/security.txt, die Sicherheitsforschern mitteilt, wie sie Schwachstellen melden können. Übergeben Sie eine Domain, und der Dienst lokalisiert die Datei (den kanonischen .well-known-Pfad mit einem Legacy-Root-Fallback), parst jedes Feld – Contact, Expires, Encryption, Acknowledgments, Preferred-Languages, Canonical, Policy, Hiring und CSAF – und meldet, ob sie gültig ist (mindestens ein Contact und ein einzelnes, nicht abgelaufenes Expires), ob sie PGP-signiert ist, ob sie abgelaufen ist (mit der Anzahl verbleibender Tage) und eine Liste von Problemen mit konkreten Ratschlägen. Ein begleitender Endpunkt gibt die Rohdatei zurück. Die Anfrage wird serverseitig gestellt; private und interne Ziele werden abgelehnt (SSRF-geschützt). Entwickelt für Sicherheitsaudits, Lieferanten- und Drittanbieter-Risikobewertungen, Angriffsflächenüberprüfungen und Compliance-Prüfungen von Richtlinien zur Offenlegung von Schwachstellen. Ein security.txt-Parser und -Validator – unterschieden vom HTTP-Sicherheitsheader-Grader (secheaders), der SSL/TLS-Zertifikatsprüfung (sslcheck) und der Host-Erreichbarkeit (hostcheck). Kein Upstream-Key, kein Cache.

api.oanor.com/securitytxt-api

Häufig gestellte Fragen

Schnelle Antworten zu Preisen, Kontingenten und Integration.

Wie bekomme ich einen API-Key für robots.txt API?
Registriere dich kostenlos auf oanor.com, erstelle einen API-Key im Entwickler-Dashboard und rufe robots.txt API mit dem x-oanor-key-Header auf. Keine Kreditkarte für den Free-Tier nötig.
Wie hoch ist das Rate-Limit für robots.txt API?
Der Free-Tier erlaubt 1 Anfrage pro Sekunde. Bezahlte Pläne skalieren bis zu 50 Anfragen pro Sekunde im Mega-Tier. Harte Limits liefern HTTP 429 oberhalb der Quote — keine überraschenden Mehrkosten.
Was kostet robots.txt API?
robots.txt API hat einen Free-Tier mit 100 Calls / Monat. Bezahlte Pläne starten bei €5.90 / Monat mit höheren Kontingenten und schnelleren Rate-Limits.
Kann ich mein Abo jederzeit kündigen?
Ja. Pläne werden monatlich abgerechnet und du kannst jederzeit in deinem Billing-Dashboard kündigen. Keine Mindestlaufzeit und keine Kündigungsgebühr.
Ist robots.txt API DSGVO-konform?
Alle Anfragen an robots.txt API laufen über unser EU-Gateway. Dein Upstream-API-Key verlässt nie unseren Server und es werden keine personenbezogenen Daten an den Upstream-Anbieter weitergegeben außer der Anfrage selbst.

Wähle einen Endpoint aus der Liste links — Details und Playground erscheinen hier.

Code-Snippets

Registrieren, um einen API-Key zu bekommen, dann jeden Pfad unter deinem Slug aufrufen.

curl https://api.oanor.com/robots-api/SOME_PATH \
  -H "x-oanor-key: oanor_test_..."
const res = await fetch("https://api.oanor.com/robots-api/SOME_PATH", {
  headers: { "x-oanor-key": "oanor_test_..." }
});
const data = await res.json();
$ch = curl_init("https://api.oanor.com/robots-api/SOME_PATH");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_HTTPHEADER, ["x-oanor-key: oanor_test_..."]);
$response = curl_exec($ch);
import requests
r = requests.get(
    "https://api.oanor.com/robots-api/SOME_PATH",
    headers={"x-oanor-key": "oanor_test_..."},
)
print(r.json())

Bewertungen

Melde dich an, um zu bewerten.

Noch keine Bewertungen.

Diskussion

Stelle Fragen, teile Tipps, bekomme Antworten vom Anbieter und anderen Entwicklern. Öffentlich — jeder kann mitlesen.

Melde dich an, um zu schreiben oder zu antworten.

Anmelden

Neue Diskussion

/ 4000

📌 Angepinnt 🔒 Gesperrt

·

· ·

/ 4000

🔒 Diese Diskussion ist gesperrt — keine neuen Antworten möglich.

  • Noch keine Diskussionen — starte die erste.

Support

Privater 1:1-Support mit dem Anbieter — Abrechnungsfragen, Integrationsprobleme, Account-Themen. Nur du und das Anbieter-Team sehen diese Threads.

Melde dich an, um ein Support-Ticket zu öffnen.

Anmelden

Neues Ticket öffnen

Beschreibe wobei du Hilfe brauchst. Das Anbieter-Team bekommt eine Mail und antwortet auf der Ticket-Seite.

  • Noch keine Tickets für diese API.

Subscription aktiv — Calls können sofort starten.

Erste Anfrage senden —

Subscription aktiv — kopiere ein Snippet und kalibriere deinen ersten Call.