Website-Indexierung

Die Indexierungsrichtlinien von Yandex sind eine Checkliste mit spezifischen technischen Grenzwerten – diese Grenzwerte sind es wert, eingeprägt zu werden.

Die Einrichtungsschritte

1. Fügen Sie die Website in Yandex Webmaster hinzu.
2. Reichen Sie eine Sitemapein, die auch die Crawling-Priorität ausdrücken kann – sie teilt dem Roboter mit, welche Seiten häufig aktualisiert werden, damit er entsprechend planen kann.
3. Konfigurieren Sie robots.txt: Disallow für technische und minderwertige Bereiche und Clean-param für unbedeutende CGI-Parameter. Yandex beschreibt das Fehlermodus für Sitzungskennungen: formal unterschiedliche URLs mit identischem Inhalt, und wenn es viele davon gibt, indexiert der Roboter stattdessen diese, anstatt nützliche Inhalte herunterzuladen.

Die harten Grenzen

• Dokumente über 10 MB werden nicht indexiert.
• Viele CGI-Parameter, tief verschachtelte Verzeichnisse oder übermäßig lange URLs können die Indexierung verhindern.
• PDFs: Nur Text wird indexiert. Als Bild gerenderter Text wird nicht indexiert – wodurch jede gescannte Broschüre und jeder bildbasierte Katalog unsichtbar wird.
• Open Office XML- und OpenDocument-Formate werden indexiert, wobei die Unterstützung für neue Formate verzögert sein kann.
• .swf Dateien werden indexiert, wenn sie direkt verlinkt oder über object oder embedeingebettet sind; der Inhalt einer Flash-Datei kann den Roboter zurück zum enthaltenen HTML-Dokument führen.
• frameset und frame Inhalte werden indexiert, wobei das Quelldokument aus den Frame-Inhalten identifiziert wird.

Zwei serverseitige Anforderungen

• Nicht existierende URLs müssen 404 zurückgeben. Beim Empfang entfernt die Suchmaschine das Dokument aus dem Index – das ist der Mechanismus und der Grund, warum ein Soft-404 gelöschte Seiten auf unbestimmte Zeit beibehält. Alles, was indexiert werden soll, muss folgendes zurückgeben: 200 OK.
• HTTP-Header müssen korrekt sein, und Yandex hebt die Antwort hervor auf If-Modified-Since: Der Last-Modified -Header muss das echte Änderungsdatum des Dokuments enthalten. Ein Server, der diesbezüglich lügt – und für jede Seite die aktuelle Zeit zurückgibt –, erzwingt das erneute Herunterladen unveränderter Inhalte und verschwendet Crawling-Kapazität für nichts.

Die praktischen Prioritäten

Von all dem hier erzielen zwei Punkte den größten Nutzen auf realen Websites: die korrekte 404 Handhabung und ehrliches Last-Modified mit funktionierenden bedingten Antworten. Beides sind Servereinstellungen, beides ist in einem Browser unsichtbar und beides ist normalerweise falsch.