Die Themen in diesem Abschnitt beschreiben, wie Sie die Fähigkeit von Google steuern können, Ihre Inhalte zu finden und zu parsen, um sie in der Suche und anderen Google-Eigenschaften anzuzeigen, sowie wie Sie verhindern können, dass Google bestimmte Inhalte auf Ihrer Website crawlt.
Hier ist eine kurze Beschreibung jeder Seite. Um einen Überblick über Crawling und Indexierung zu erhalten, lesen Sie unseren Leitfaden „So funktioniert die Suche“.
Von Google indexierbare Dateitypen
Google kann den Inhalt der meisten Arten von Seiten und Dateien indexieren. Zu den häufigsten Dateitypen, die wir indexieren, gehören:
Text (.txt, .text, andere Dateiendungen), einschließlich Quellcode in gängigen Programmiersprachen: Basis-Quellcode (.bas)
Suche nach Dateityp
Sie können den Operator filetype: in der Google-Suche verwenden, um Ergebnisse auf einen bestimmten Dateityp zu beschränken. Zum Beispiel sucht filetype:rtf galway nach RTF-Dateien, die den Begriff „galway“ enthalten.
Behalten Sie eine einfache URL-Struktur bei
Die URL-Struktur einer Website sollte so einfach wie möglich sein. Überlegen Sie, Ihre Inhalte so zu organisieren, dass URLs logisch und auf eine für Menschen am besten verständliche Weise aufgebaut sind.
Empfohlen: Verwenden Sie bei Bedarf UTF-8-Codierung. Das folgende Beispiel verwendet beispielsweise UTF-8-Codierung für arabische Zeichen in der URL:
Wenn Ihre Website multiregional ist, sollten Sie eine URL-Struktur verwenden, die es einfach macht, Ihre Website per GEO-Targeting auszurichten. Weitere Beispiele dafür, wie Sie Ihre URLs strukturieren können, finden Sie unter Verwendung lokalspezifischer URLs.
Erwägen Sie die Verwendung von Bindestrichen, um Wörter in Ihren URLs zu trennen, da dies Benutzern und Suchmaschinen hilft, Konzepte in der URL leichter zu identifizieren. Wir empfehlen Ihnen, in Ihren URLs Bindestriche ( – ) anstelle von Unterstrichen ( _ ) zu verwenden.
Übermäßig komplexe URLs, insbesondere solche mit mehreren Parametern, können Probleme für Crawler verursachen, indem sie unnötig hohe Anzahlen von URLs erstellen, die auf identische oder ähnliche Inhalte auf Ihrer Website verweisen. Infolgedessen verbraucht Googlebot möglicherweise viel mehr Bandbreite als nötig oder ist möglicherweise nicht in der Lage, alle Inhalte auf Ihrer Website vollständig zu indexieren.
Häufige Ursachen für dieses Problem
Additive Filterung einer Menge von Elementen. Viele Websites bieten verschiedene Ansichten derselben Menge von Elementen oder Suchergebnissen und ermöglichen es dem Benutzer oft, diese Menge anhand definierter Kriterien zu filtern (zum Beispiel: zeige mir Hotels am Strand). Wenn Filter additiv kombiniert werden können (zum Beispiel: Hotels am Strand und mit Fitnesscenter), explodiert die Anzahl der URLs (Datenansichten) auf den Websites. Das Erstellen einer großen Anzahl leicht unterschiedlicher Hotellisten ist redundant, da Googlebot nur eine kleine Anzahl von Listen sehen muss, von denen aus er die Seite für jedes Hotel erreichen kann. Zum Beispiel: Hotelobjekte zu „Sparpreisen“:https://www.example.com/hotel-search-results.jsp?Ne=292&N=461
Dynamische Generierung von Dokumenten. Dies kann aufgrund von Zählern, Zeitstempeln oder Anzeigen zu kleinen Änderungen führen.
Problematische Parameter in der URL. Sitzungs-IDs können beispielsweise massive Mengen an Duplikaten und eine größere Anzahl von URLs erzeugen.
Sortierparameter. Einige große Shopping-Websites bieten mehrere Möglichkeiten, dieselben Artikel zu sortieren, was zu einer weitaus größeren Anzahl von URLs führt. Zum Beispiel:https://www.example.com/results?search_type=search_videos&search_query=tpb&search_sort=relevance&search_category=25
Kalenderprobleme. Ein dynamisch generierter Kalender könnte Links zu zukünftigen und vergangenen Daten ohne Einschränkungen bei Start- oder Enddaten generieren. Zum Beispiel:https://www.example.com/calendar.php?d=13&m=8&y=2011
Defekte relative Links. Defekte relative Links können oft unendliche Räume verursachen. Häufig entsteht dieses Problem durch wiederholte Pfadelemente. Zum Beispiel:https://www.example.com/index.shtml/discuss/category/school/061121/html/interview/category/health/070223/html/category/business/070302/html/category/community/070413/html/FAQ.htm
Lösen Sie dieses Problem
Erwägen Sie die Verwendung einer robots.txt-Datei, um den Zugriff von Googlebot auf problematische URLs zu blockieren. Erwägen Sie typischerweise das Blockieren dynamischer URLs, wie z. B. URLs, die Suchergebnisse generieren, oder URLs, die unendliche Räume erzeugen können, wie z. B. Kalender. Die Verwendung regulärer Ausdrücke in Ihrer robots.txt-Datei kann es Ihnen ermöglichen, eine große Anzahl von URLs einfach zu blockieren.
Wenn Ihre Website einen unendlichen Kalender hat, fügen Sie Links zu dynamisch erstellten zukünftigen Kalenderseiten ein nofollow-Attribut hinzu.
Passende Leistung: KI-Marketingagentur