Die Crawling-Statistik ist das Protokoll dessen, was der Roboter tatsächlich getan hat: welche Seiten er abgerufen hat, wann und was der Server geantwortet hat. Es ist der erste Bericht, den man öffnen sollte, wenn etwas bei der Indexierung falsch aussieht, da er Ereignisse statt Zustände beschreibt. Die Daten werden täglich innerhalb von sechs Stunden nach dem Besuch des Roboters aktualisiert, und die Historie reicht zurück bis zum 20. Februar 2017.
Zwei Ansichten
- Letzte Änderungen — Seiten, deren HTTP-Antwortcode sich zwischen Besuchen geändert hat, bis zu 50,000 Einträgen. Beachten Sie die Einschränkung sorgfältig: Eine Änderung wird nur aufgezeichnet, wenn sich der Antwortcode ändert. Inhalt, der sich bei einem konstanten
200 OKändert, erscheint hier überhaupt nicht. - Alle Seiten — alles, was der Roboter gecrawlt hat, ebenfalls begrenzt auf 50.000, mit Crawling-Datum, Pfad und letztem Antwortcode.
Beide können nach Datum, URL-Fragment oder Antwortcode gefiltert und nach XLS oder CSV exportiert werden.

Wie man die Spalten Was und Currently liest
Ein Erst-Crawling zeigt N/a in Was und die Antwort in Currently; einmal in die Datenbank geladen, kann die Seite beim nächsten Index-Update in den Ergebnissen erscheinen. Ein erneutes Crawling zeigt die vorherige Antwort im Vergleich zur aktuellen, und hier liegen die nützlichen Muster: 200 zu werden 404 bei einer Reihe von URLs ist eine Bereitstellung, die etwas kaputt gemacht hat, und sie ist hier Tage sichtbar, bevor sie im Traffic auftaucht.
Warum gelöschte Seiten weiterhin gecrawlt werden
Yandex erklärt ein Verhalten, das die meisten Website-Besitzer rätselhaft finden: Eine aus der Suche ausgeschlossene Seite verbleibt in der Datenbank, während der Roboter weiterhin prüft, ob sie zurückgekehrt ist. Er fordert sie so lange an, wie Links zu ihr existieren und robots.txt es nicht verbietet. Daher tauchen vor Jahren gelöschte URLs weiterhin in diesem Bericht auf — der Roboter hat einen Link auf der Website von jemand anderem gefunden. Wenn das Crawling absolut unerwünscht ist, ist eine Disallow -Regel die Abhilfe; wenn die URLs lediglich alt sind, kosten sie nichts als Rauschen.
Analyse auf Abschnittsebene
Der Bericht kann auf einen Website-Abschnitt beschränkt werden, unter Verwendung der von Yandex abgeleiteten Struktur — was selbst aufschlussreich ist, da ein Abschnitt, den die Konsole nicht kennt, ein Abschnitt ist, den der Roboter nicht richtig erkundet hat. Seiten, die in der Liste gänzlich fehlen, sollten über das Reindexing-Tool eingereicht werden.

Die Zahl, die man im Auge behalten sollte
Crawling-Frequenz nach Abschnitt. Wenn der Roboter den Blog täglich und eine kommerziell wichtige Kategorie monatlich besucht, ist das ein Crawling-Budget-Ergebnis und erklärt, warum Aktualisierungen dieser Kategorie Wochen brauchen, um eine Wirkung zu zeigen.
So setzen wir das um
This is the first report we open when a client says pages are “not being indexed”, because it separates two completely different problems: the robot never came, or the robot came and the server answered badly. Filtering by response code across a date range takes a minute and settles it. The behaviour we most often have to explain is the robot repeatedly requesting URLs deleted long ago — it is following links from other sites, not malfunctioning.
Verwandte Leistungen