robots.txt, Sitemap und llms.txt prüfen
Der wichtigste kostenlose LLM-Basis-Check: robots.txt, Sitemap und llms.txt.
Dieses Modul prüft, ob die Domain eine robots.txt, eine Sitemap und LLM-relevante Dateien wie llms.txt oder llms-full.txt bereitstellt. Zusätzlich wird erkannt, ob bekannte AI-Bots in der robots.txt blockiert, erlaubt oder gar nicht erwähnt werden.
Gerade dieser Bereich unterscheidet einen AI Visibility Check von einem gewöhnlichen Website-Check. Wer AI-Sichtbarkeit ernst nimmt, muss wissen, ob Inhalte überhaupt für ChatGPT Search, Claude Search, Perplexity oder andere Crawler zugänglich sind.
- Status von robots.txt, Sitemap und llms.txt
- erste Einschätzung zu AI-Crawler-Freigaben
- Hinweis auf fehlende oder widersprüchliche Signale
- Crawler-Regelwerk im Detail nach Bot und Zweck
- Empfehlungen für getrennte Search-/User-/Training-Strategien
- Abgleich mit Live-Logs und Sichtbarkeitserfahrung
Wenn du auf der Startseite bereits eine URL geprüft hast, zeigt CheckCom hier eine Live- oder Demo-Auswertung für genau dieses Modul. Ohne vorherige Prüfung wird automatisch eine Beispielauswertung geladen.
Mehr Daten, echte Modelltests und vollständige Reports?
Die Vollversion ergänzt unter anderem echte LLM-Tests, tiefe SERP- und Wettbewerberanalysen, Exportformate, Maßnahmenpläne und individuelle Interpretation.