Google warnt vor "Schwarzen Löchern" für doppelte Inhalte durch Fehlerseiten

Google warnt Webseitenbetreiber vor Fehlerseiten, die „Schwarze Löcher“ erzeugen können, welche Inhalte dauerhaft aus den Suchergebnissen entfernen.
Dabei kann es passieren, dass Google normale Seiten fälschlicherweise mit Fehlerseiten gruppiert, was dazu führt, dass diese Inhalte aus den Suchergebnissen verschwinden. Sobald Seiten in diesen „Schwarzen Löchern“ landen, entkommen sie nur selten, selbst wenn die Fehler behoben werden.

Wichtigste Informationen:

1. Fehlerseiten können Inhalte dauerhaft aus den Suchergebnissen entfernen: Fehlerseiten mit ähnlichem Inhalt können normale Seiten fälschlicherweise in Gruppen aufnehmen, was ihre De-Indexierung verursacht.
2. Verwendung von richtigen HTTP-Statuscodes und einzigartigen Fehlerseiten-Inhalten ist entscheidend: Fehlerseiten mit 200-OK-Status sollten vermieden werden, und es ist wichtig, eindeutige Inhalte auf Fehlerseiten bereitzustellen.
3. Regelmäßige Überwachung der Crawl-Abdeckung und Indexierung kann Probleme frühzeitig erkennen: Technische SEO-Best-Practices helfen, potenziellen Verlust von Suchverkehr zu verhindern.

Wie Google doppelte Inhalte behandelt

Um das Problem der „Schwarzen Löcher“ zu verstehen, muss man zunächst wissen, wie Google mit doppelten Inhalten umgeht. Scott erklärt, dass dies in zwei Schritten geschieht:

1. Clustering: Google gruppiert Seiten mit gleichem oder sehr ähnlichem Inhalt.
2. Kanonisierung: Google wählt anschließend die beste URL aus jeder Gruppe aus.

Nach der Gruppierung hört Google auf, diese Seiten erneut zu crawlen, um Ressourcen zu sparen und unnötige Indexierungen zu vermeiden.

Wie Fehlerseiten Schwarze Löcher erzeugen

Das Problem entsteht, wenn Fehlerseiten aufgrund ähnlicher Inhalte – wie generischer „Seite nicht gefunden“-Nachrichten – gruppiert werden.
Reguläre Seiten mit gelegentlichen Fehlern oder vorübergehenden Ausfällen können ebenfalls in diesen Fehlergruppen landen.

Das System zur Erkennung doppelter Inhalte verhindert dann, dass Seiten innerhalb einer Gruppe erneut gecrawlt werden. Dadurch ist es schwierig, fälschlicherweise gruppierte Seiten wieder aus dem „Schwarzen Loch“ herauszubringen, selbst wenn die ursprünglichen Fehler behoben werden. Dies führt dazu, dass die Seiten de-indexiert werden und organischer Suchverkehr verloren geht.

Scott erläutert:

„Nur die Seiten, die ganz oben in der Gruppe stehen, haben die Chance, wieder herauszukommen. Besonders problematisch finde ich dies bei Webseiten mit vorübergehenden Fehlern… Wenn ein Fehler das Rendern blockiert, könnte Google denken, dass Ihre Seite defekt ist.“

Original:

“Only the things that are very towards the top of the cluster are likely to get back out. Where this really worries me is sites with transient errors… If those fail to fetch, they might break your render, in which case we’ll look at your page, and we’ll think it’s broken.”

Wie man Schwarze Löcher vermeidet

Um Probleme mit „Schwarzen Löchern“ durch doppelte Inhalte zu vermeiden, gibt Scott folgende Empfehlungen:

1. Verwendung der richtigen HTTP-Statuscodes: Für Fehlerseiten sollten die richtigen Statuscodes (z. B. 404, 403 oder 503) verwendet werden, statt eines 200-OK-Status. Nur Seiten mit 200 OK könnten gruppiert werden.
2. Einzigartige Inhalte für Fehlerseiten erstellen: Falls Ihre Fehlerseiten einen 200-OK-Status verwenden (häufig bei Single-Page-Anwendungen), stellen Sie sicher, dass diese Seiten spezifische Inhalte enthalten, um eine Gruppierung zu verhindern. Beispielsweise sollten der Fehlercode und der Fehlername im Text enthalten sein.
3. Vorsicht bei Noindex-Tags: Verwenden Sie Noindex-Tags auf Fehlerseiten nur, wenn Sie möchten, dass diese dauerhaft aus den Suchergebnissen entfernt werden. Dieser Tag ist ein starkes Signal, dass Sie die Entfernung der Seite wünschen, noch stärker als die Verwendung von Fehlerstatuscodes.

Die Einhaltung dieser Tipps kann sicherstellen, dass reguläre Seiten nicht versehentlich mit Fehlerseiten vermischt werden und im Google-Index bleiben.
Regelmäßige Überprüfungen der Crawl-Abdeckung und Indexierung Ihrer Webseite können helfen, Probleme mit doppelten Inhalten frühzeitig zu erkennen.

Zusammenfassung

Der Podcast „Search Off the Record“ von Google hat ein potenzielles SEO-Problem hervorgehoben, bei dem Fehlerseiten als doppelte Inhalte betrachtet werden können. Dies kann dazu führen, dass reguläre Seiten mit Fehlerseiten gruppiert und aus Googles Index entfernt werden, selbst wenn die Fehler behoben sind.

Um Probleme mit doppelten Inhalten zu vermeiden, sollten Webseitenbetreiber:

• Die richtigen HTTP-Statuscodes für Fehlerseiten verwenden,
• Einzigartige Inhalte für individuelle Fehlerseiten bereitstellen und
• Die Crawl-Abdeckung und Indexierung ihrer Webseite überwachen.

Das Einhalten technischer SEO-Best-Practices ist entscheidend für eine starke Suchperformance, wie das Google Search-Team betont.

Hier das Video zu "Handling Dupes – Same Same or Different? | Search Off the Record