Die Anzahl der von Googlebot gecrawlten Seiten

Freitag, 10. November 2006

Die Googlebot-Aktivitätsberichte in den Webmaster Tools zeigen Ihnen die Anzahl der Seiten Ihrer Website, die der Googlebot in den letzten 90 Tagen gecrawlt hat. Wir haben festgestellt, dass sich einige von Ihnen fragen, warum diese Zahl höher sein kann als die Gesamtzahl der Seiten auf Ihren Websites.
Googlebot crawlt Seiten Ihrer Website basierend auf einer Reihe von Faktoren, darunter:

Seiten, die ihm bereits bekannt sind

• Links von anderen Webseiten (innerhalb Ihrer Website und auf anderen Websites)
• Seiten, die in Ihrer Sitemap-Datei aufgeführt sind
• Genauer gesagt greift Googlebot nicht auf Seiten zu, sondern auf URLs. Und dieselbe Seite ist oft über mehrere URLs erreichbar. Betrachten wir die Startseite einer Website, die über die folgenden vier URLs aufgerufen werden kann:

https://www.example.com/

• https://www.example.com/index.html
• https://example.com
• https://example.com/index.html
• Obwohl alle URLs zur selben Seite führen, können alle vier URLs in Links zu der Seite verwendet werden. Wenn Googlebot diesen Links folgt, wird dem Aktivitätsbericht eine Anzahl von vier hinzugefügt.

Viele andere Szenarien können zu mehreren URLs für dieselbe Seite führen. Zum Beispiel kann eine Seite mehrere benannte Anker haben, wie zum Beispiel:

https://www.example.com/mypage.html#heading1

• https://www.example.com/mypage.html#heading2
• https://www.example.com/mypage.html#heading3
• Und dynamisch generierte Seiten sind oft über mehrere URLs erreichbar, wie zum Beispiel:

https://www.example.com/furniture?type=chair&brand=123

• https://www.example.com/hotbuys?type=chair&brand=123
• Wie Sie sehen, wenn man bedenkt, dass jede Seite auf Ihrer Website mehrere URLs haben kann, die zu ihr führen, kann die Anzahl der von Googlebot gecrawlten URLs erheblich höher sein als die Gesamtzahl der Seiten Ihrer Website.

Natürlich möchten Sie (und wir), dass in den Suchergebnissen nur eine Version der URL zurückgegeben wird. Keine Sorge – genau das passiert. Unsere Algorithmen wählen eine Version aus, die in die Ergebnisse aufgenommen werden soll, und Sie können zu diesem Auswahlverfahren beitragen.

Weiterleitung auf die bevorzugte Version der URL

Sie können dies tun mit

301 (permanent)
Weiterleitung . Im ersten Beispiel, das vier URLs zeigt, die auf die Startseite einer Website verweisen, möchten Sie vielleicht index.html auf www.example.com/ umleiten. Und Sie möchten vielleicht example.com auf www.example.com umleiten, damit alle URLs, die mit einer Version beginnen, auf die andere Version umgeleitet werden. Beachten Sie, dass Sie diese letztere Weiterleitung mit derFunktion “Bevorzugte Domain”
in den Webmaster Tools tun können. (Wenn Sie auch eine Weiterleitung verwenden, stellen Sie sicher, dass diese Weiterleitung mit der für die bevorzugte Domain festgelegten übereinstimmt.) 301 Blockieren Sie die nicht bevorzugten Versionen einer URL mit einer robots.txt-Datei

Für dynamisch generierte Seiten möchten Sie vielleicht die nicht bevorzugte Version blockieren mit

Pattern Matching
in Ihrer robots.txt-Datei. (Beachten Sie, dass nicht alle Suchmaschinen Pattern Matching unterstützen, überprüfen Sie daher die Richtlinien für jeden Suchmaschinen-Bot, der Sie interessiert.) Beispielsweise im dritten Beispiel, das zwei URLs zeigt, die auf eine Seite über die Stühle der Marke 123 verweisen, rotiert der Bereich “hotbuys” regelmäßig und der Inhalt ist immer von einem primären und permanenten Ort aus verfügbar. In diesem Fall möchten Sie vielleicht die erste Version indexieren und die
“hotbuys”Version blockieren. Fügen Sie dazu Folgendes zu Ihrer robots.txt-Datei hinzu:Um sicherzustellen, dass diese Regel tatsächlich das blockiert und zulässt, was Sie beabsichtigen, verwenden Sie das robots.txt-Analyse-Tool in den Webmaster Tools. Fügen Sie diese Regel einfach dem robots.txt-Bereich auf dieser Seite hinzu, listen Sie die URLs, die Sie überprüfen möchten, im Bereich “Test-URLs” auf und klicken Sie auf die Schaltfläche “Prüfen”. Für dieses Beispiel würden Sie ein Ergebnis wie dieses sehen:

Machen Sie sich keine Sorgen über Links zu Ankern, denn während Googlebot jeden Link crawlt, indizieren unsere Algorithmen die URL ohne den Anker.

Und wenn Sie keinen Input wie den oben beschriebenen liefern, leisten unsere Algorithmen hervorragende Arbeit bei der Auswahl einer Version, die in den Suchergebnissen angezeigt wird.

Die Anzahl der von Googlebot gecrawlten Seiten | Alien Road