Reto Vogt Kontakt

Medien-Check

Wie gehen Medien mit KI-Crawlern um?

1Medium wählen oder eigene Adresse eingeben

Für 32 Schweizer Medien ist die Adresse hinterlegt. Jede andere Website lässt sich ebenso prüfen, dafür reicht die Domain wie meinmedium.ch.

2robots.txt öffnen und alles kopieren

robots.txt öffnen Bitte zuerst eine Domain eingeben.

Im neuen Tab alles markieren und kopieren: Ctrl+A, dann unten mit Ctrl+C (Mac: Cmd+A, Cmd+C) einfügen. Diesen Umweg braucht es, weil Browser einer Webseite nicht erlauben, Dateien von fremden Domains direkt zu lesen.

3Hier einfügen

So liest du das Ergebnis

Was die Kategorien bedeuten
  • Training: Diese Bots sammeln Texte, um KI-Modelle zu trainieren. Eine Sperre wirkt nur für künftige Durchgänge. Was schon gesammelt wurde, bleibt im Modell.
  • KI-Suche: Diese Bots bauen den Index für ChatGPT-Suche, Claude, Perplexity und Le Chat. Wer sie sperrt, taucht dort seltener als Quelle auf und bekommt von dort weniger Klicks.
  • Abruf im Nutzerauftrag: Diese Bots holen eine Seite live, wenn jemand im Chat danach fragt oder einen Link einfügt.
  • Google: Die KI-Übersichten und der KI-Modus nutzen denselben Index wie die normale Google-Suche. Mit der robots.txt lassen sie sich nicht separat ausschliessen. Wer den Googlebot sperrt, verschwindet aus der ganzen Google-Suche. Google-Extended steuert nur das Training von Gemini, nicht die KI-Übersichten. Den Ausstieg aus Googles KI-Antworten gibt es seit Juni 2026 in der Search Console unter Einstellungen.
  • Neues Signal __usage_ai-training: Im Oktober 2026 angekündigt von OpenAI, Google, Microsoft und Anthropic. Es soll das Training über alle Anbieter hinweg ausschliessen. Umgesetzt wird es schrittweise, Google erst 2027.
Was die Stati bedeuten
  • Gesperrt Die ganze Website ist für diesen Bot gesperrt.
  • Gesperrt ausser Startseite Nur die Startseite ist frei, alles andere gesperrt.
  • Teilweise gesperrt Der Bot hat eigene Regeln, die nur einzelne Bereiche sperren, zum Beispiel Artikelpfade. Sie ist in der robots.txt nachzulesen.
  • Ausdrücklich erlaubt Der Bot ist genannt, aber nichts ist gesperrt.
  • Nicht geregelt Der Bot ist nicht genannt. Es gelten die allgemeinen Regeln für alle Bots (User-agent: *), in der Regel heisst das: offen.
  • Der Zusatz «über *» heisst, dass die Sperre aus der allgemeinen Regel für alle Bots stammt.

Ausgewertet wird wie bei Google: Die längste passende Regel gewinnt, bei Gleichstand gilt «Allow». Geprüft werden die Startseite und ein fiktiver Artikelpfad.

Was die robots.txt nicht kann
  • Sie ist eine Bitte, kein Schloss. Seriöse Anbieter halten sich daran, andere nicht.
  • Google-Agent hält sich laut Google in der Regel nicht an die robots.txt und wird deshalb nicht geprüft.
  • Ob ein Medium in der Search Console aus Googles KI-Antworten ausgestiegen ist, sieht man in der robots.txt nicht.

Über diesen Check. Entwickelt von Reto Vogt, Tech-Journalist, Winterthur. Stand der Bot-Liste und der Erklärungen: November 2026.

Datenschutz. Die eingefügte robots.txt wird ausschliesslich in Ihrem Browser ausgewertet. Es werden keine Daten übertragen oder gespeichert.

Keine Gewähr. Der Check wertet die robots.txt nach den Regeln aus, die Google dokumentiert. Andere Crawler können einzelne Regeln anders auslegen. Er zeigt, was eine robots.txt verlangt, nicht, ob sich ein Crawler daran hält. Firewalls, Bot-Management wie jenes von Cloudflare, Opt-outs in der Google Search Console und Verträge mit KI-Anbietern sieht er nicht. Die Einordnungen sind journalistische Erläuterungen, keine Rechts- oder Unternehmensberatung. Ob ein Rechtsvorbehalt oder ein Nutzungsverbot rechtlich greift, beurteilt der Check nicht. Alle Angaben ohne Gewähr.