Google über Robots.txt: Wann sollte man Noindex vs. Disallow verwenden

Google erklärt die besten Praktiken für die Verwendung von robots.txt-Direktiven und noindex-Tags im SEO-Kontext.
Dabei wird betont:

• Kombinieren Sie robots.txt disallow nicht mit noindex-Tags.
• Verwenden Sie noindex, wenn eine Seite gecrawlt, aber nicht in den Suchergebnissen angezeigt werden soll.
• Nutzen Sie robots.txt disallow, um Seiten vom Crawlen auszuschließen.

Wichtigste Informationen in diesem Artikel:

1. 1. Noindex und Disallow haben unterschiedliche Funktionen und sollten nicht kombiniert werden:
      • • Noindex wird genutzt, um Seiten aus Suchergebnissen zu entfernen, während deren Inhalte für Suchmaschinen zugänglich bleiben.
        • Disallow verhindert, dass Suchmaschinen bestimmte URLs oder Muster crawlen.
   2. Fehler bei der Kombination vermeiden:
      • Wird eine Seite in robots.txt disallowt, kann Google den noindex-Befehl nicht sehen, was dazu führen kann, dass die Seite dennoch mit eingeschränkten Informationen indexiert wird.

1. Regelmäßige Überprüfung in der Google Search Console:
   • Die robots.txt-Berichte von Google ermöglichen es, die Auswirkungen auf das Crawlen und Indexieren von Seiten zu testen und zu überwachen.

Wann sollte man Noindex verwenden?

Der „noindex“-Befehl weist Suchmaschinen an, eine bestimmte Seite nicht in den Suchergebnissen anzuzeigen.
Dieser Befehl wird im HTML-Head-Bereich mittels eines robots-Meta-Tags oder des X-Robots-HTTP-Headers hinzugefügt.

Verwenden Sie „noindex“, wenn:

• Die Seite nicht in Suchergebnissen erscheinen soll, aber Suchmaschinen ihren Inhalt lesen dürfen.
• Zum Beispiel für: Dankeschön-Seiten oder interne Suchergebnisseiten.

Wann sollte man Disallow verwenden?

Der „disallow“-Befehl in der robots.txt-Datei einer Webseite verhindert, dass Suchmaschinen bestimmte URLs oder URL-Muster crawlen.
Disallow führt dazu, dass der Inhalt einer Seite weder gecrawlt noch indexiert wird.

Häufige Fehler vermeiden

Ein häufiger Fehler ist die gleichzeitige Nutzung von „noindex“ und „disallow“ für dieselbe Seite.

• Wenn eine Seite in robots.txt disallowt ist, können Suchmaschinen den „noindex“-Befehl in der Meta-Tag-Datei oder im X-Robots-Header nicht sehen.
• Die Empfehlung lautet: Verwenden Sie ausschließlich den „noindex“-Befehl, wenn eine Seite aus Suchergebnissen entfernt werden soll.

Warum ist das wichtig?

Das richtige Verständnis und die Anwendung von „noindex“ und „disallow“ sind essenziell für SEO.
Die Befolgung von Googles Richtlinien und der Einsatz von Test-Tools gewährleisten, dass Inhalte in Suchergebnissen wie gewünscht erscheinen.

Alles in diesem Video: