KI-Crawler prüfen
Kann ChatGPT deine Website überhaupt lesen?
KI-Suchen wie ChatGPT, Perplexity und Googles KI-Übersichten nutzen nur, was ihre Bots abrufen und lesen dürfen. Pfadfindr prüft, ob deine Website für sie offen ist, und zeigt dir, was du ändern kannst.
- OAI-SearchBoterlaubt
- PerplexityBotgesperrt
- Claude-SearchBoterlaubt
- Googleboterlaubt
Warum das so leicht passiert
Eine Zeile in der robots.txt, eine Regel in der Firewall, ein Text, der erst per JavaScript erscheint: Solche Kleinigkeiten entscheiden, ob KI-Suchen deine Seiten überhaupt sehen. Im Browser sieht deine Website dabei ganz normal aus, deshalb fällt es oft niemandem auf.
Das prüft Pfadfindr
-
Zugang für jeden KI-Such-Bot
Ob deine robots.txt die Bots der ChatGPT-Suche (OAI-SearchBot), der Claude-Suche, von Perplexity, Google und Bing zulässt, für jeden Bot einzeln.
-
Firewall und CDN
Ob eine Firewall oder ein CDN die KI-Such-Bots abweist, obwohl die robots.txt sie erlaubt.
-
Auszüge erlaubt
Ob ein nosnippet-Hinweis verbietet, Auszüge deiner Seiten in Antworten zu zeigen.
-
Lesbar ohne JavaScript
Ob Text und Links schon im HTML stehen. KI-Bots wie PerplexityBot führen kein JavaScript aus und sehen sonst leere Seiten.
-
Strukturierte Daten und Absender
Ob strukturierte Daten zeigen, wer hinter der Website steht, und ob Autorenangaben und eine Kontaktseite vorhanden sind.
-
Regel für Trainings-Bots
Ob deine robots.txt Trainings-Bots wie GPTBot oder Google-Extended sperrt. Das ist deine Entscheidung: Pfadfindr zeigt dir die Regel und zieht dafür nichts von der Note ab.
Was du selbst in der Hand hast
Welche Antworten eine KI-Suche gibt, wechselt von Frage zu Frage. Pfadfindr konzentriert sich auf das, was du auf deiner Website selbst steuern kannst: dass die Bots Zugang haben, dass deine Inhalte lesbar sind und dass klar ist, wer hinter der Website steht. Damit legst du die Grundlage.