Optimieren Sie Ihr Crawling und Indexing

Montag, 10. August 2009

Viele Fragen zu Website-Architektur, Crawling und Indexing sowie sogar Ranking-Problemen lassen sich auf ein zentrales Thema reduzieren:
Wie einfach ist es für Suchmaschinen, Ihre Website zu crawlen?
Wir haben bei einer Reihe kürzlicher Veranstaltungen über dieses Thema gesprochen. Nachfolgend finden Sie unsere Präsentation und einige wichtige Erkenntnisse zu diesem Thema.

Das Internet ist ein großerOrt; ständig werden neue Inhalte erstellt. Google verfügt über eine begrenzte Anzahl an Ressourcen. Wenn Googlebot also mit der nahezu unendlichen Menge an online verfügbaren Inhalten konfrontiert wird, kann er nur einen Prozentsatz dieser Inhalte finden und crawlen. Von den gecrawlten Inhalten können wir dann nur einen Teil indexieren.

URLs sind wie die Brücken zwischen Ihrer Website und dem Crawler einer Suchmaschine: Crawler müssen diese Brücken finden und überqueren können (d. h. Ihre URLs finden und crawlen), um zu den Inhalten Ihrer Website zu gelangen. Wenn Ihre URLs kompliziert oder redundant sind, verbringen Crawler Zeit damit, ihre Schritte zu verfolgen und zurückzuverfolgen; wenn Ihre URLs organisiert sind und direkt zu eindeutigen Inhalten führen, können Crawler ihre Zeit damit verbringen, auf Ihre Inhalte zuzugreifen, anstatt leere Seiten zu crawlen oder denselben Inhalt immer wieder über verschiedene URLs zu crawlen.

In den oben genannten Folien sehen Sie einige Beispiele dafür, was nicht zu tun ist – Beispiele aus dem wirklichen Leben (obwohl die Namen geändert wurden, um die Unschuldigen zu schützen) von hausgemachten URL-Hacks und -Codierungen, Parametern, die sich als Teil des URL-Pfads tarnen, unendlichen Crawl-Spaces und mehr. Sie finden auch einige Empfehlungen, um dieses Labyrinth von URLs zu entwirren und Crawlern dabei zu helfen, mehr Ihrer Inhalte schneller zu finden, einschließlich:

• Entfernen Sie benutzerspezifische Details aus URLs. URL-Parameter, die den Inhalt der Seite nicht ändern – wie Session-IDs oder Sortierreihenfolge – können aus der URL entfernt und in einem Cookie gespeichert werden. Indem Sie diese Informationen in einem Cookie speichern und
  301 auf eine “saubere” URL
  weiterleiten
• , behalten Sie die Informationen bei und reduzieren die Anzahl der URLs, die auf denselben Inhalt verweisen. Begrenzen Sie unendliche Räume.
  Haben Sie einen Kalender, der auf eine unendliche Anzahl vergangener oder zukünftiger Daten verlinkt (jeweils mit einer eigenen eindeutigen URL)? Haben Sie paginierte Daten, die einen 200
  Statuscode von zurückgeben, wenn Sie &page=3563
  zur URL hinzufügen, auch wenn es nicht so viele Datenseiten gibt? Wenn ja, haben Sie einen unendlichen Crawl-Space
  auf Ihrer Website, und Crawler könnten ihre (und Ihre!) Bandbreite damit verschwenden, alles zu crawlen. Erwägen Sie
  diese Tipps
• um unendliche Räume zu begrenzen. Deaktivieren Sie Aktionen, die Googlebot nicht ausführen kann.
  Mithilfe Ihrerrobots.txt-Datei
• können Sie das Crawlen von Anmeldeseiten, Kontaktformularen, Einkaufswagen und anderen Seiten deaktivieren, deren einzige Funktionalität etwas ist, das ein Crawler nicht ausführen kann. (Crawler sind bekanntermaßen sparsam und schüchtern, daher führen sie normalerweise kein “In den Warenkorb” oder “Kontaktieren Sie uns” aus.) Dies ermöglicht es Crawlern, mehr Zeit damit zu verbringen, Inhalte zu crawlen, mit denen sie tatsächlich etwas anfangen können. Ein Mann, eine Stimme. Eine URL, ein Inhaltssatz.
  In einer idealen Welt gibt es eine Eins-zu-eins-Paarung zwischen URL und Inhalt: Jede URL führt zu einem eindeutigen Inhaltsteil, und auf jedes Inhaltsteil kann nur über eine URL zugegriffen werden. Je näher Sie diesem Ideal kommen, desto optimierter wird Ihre Website für Crawling und Indexing sein. Wenn Ihr CMS oder Ihre aktuelle Website-Einrichtung dies erschwert, können Sie das rel="canonical" -Element
  verwenden, um die bevorzugte URL für einen bestimmten Inhalt anzugeben.

Wenn Sie weitere Fragen zur Optimierung Ihrer Website für Crawling und Indexing haben, lesen Sie einige unserer früheren Beiträge zu diesem Thema oder besuchen Sie unser
Hilfeforum.

Gepostet von
Susan Moskwa, Webmaster Trends Analyst