{"id":25557,"date":"2026-09-05T02:45:37","date_gmt":"2026-09-04T23:45:37","guid":{"rendered":"https:\/\/alienroad.com\/google-bilgi-bankasi\/googlebot\/"},"modified":"2026-09-05T02:45:37","modified_gmt":"2026-09-04T23:45:37","slug":"googlebot","status":"publish","type":"ar_kb","link":"https:\/\/alienroad.com\/google-bilgi-bankasi\/googlebot\/","title":{"rendered":"Googlebot"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">\n  Googlebot ist der allgemeine Name f\u00fcr zwei Arten von\n  <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/how-search-works\/\">Web-Crawlern<\/a>, die von der Google Suche verwendet werden:\n<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n  <li>\n    <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/list-of-googles-common-crawlers\/#googlebot-smartphone\"><b>Googlebot Smartphone<\/b><\/a>:\n    ein mobiler Crawler, der einen Nutzer auf einem Mobilger\u00e4t simuliert.\n  <\/li>\n  <li>\n    <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/list-of-googles-common-crawlers\/#googlebot-desktop\"><b>Googlebot Desktop<\/b><\/a>:\n    ein Desktop-Crawler, der einen Nutzer auf einem Desktop-Computer simuliert.\n  <\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">\n  Sie k\u00f6nnen den Subtyp des Googlebot identifizieren, indem Sie den\n  <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/google-crawlers\/\">HTTP <code>user-agent<\/code>-Anfrage-Header<\/a>\n  in der Anfrage pr\u00fcfen. Beide Crawler-Typen befolgen jedoch dasselbe Produkt-Token (User-Agent-Token) in der robots.txt. Daher k\u00f6nnen Sie weder Googlebot Smartphone noch Googlebot Desktop selektiv \u00fcber die robots.txt ansteuern.\n<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\n  F\u00fcr die meisten Websites <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/mobile-site-and-mobile-first-indexing-best-practices\/\">indexiert die Google Suche prim\u00e4r die mobile Version<\/a>\n  der Inhalte. Daher erfolgt die Mehrheit der Googlebot-Crawl-Anfragen \u00fcber den mobilen Crawler und nur ein kleiner Teil \u00fcber den Desktop-Crawler.\n<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"how-googlebot-accesses-your-site\" tabindex=\"-1\">Wie Googlebot auf Ihre Website zugreift<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">\n  F\u00fcr die meisten Websites sollte Googlebot im Durchschnitt nicht h\u00e4ufiger als alle paar Sekunden auf Ihre Seite zugreifen. Aufgrund von Verz\u00f6gerungen kann die Rate \u00fcber kurze Zeitr\u00e4ume jedoch leicht erh\u00f6ht erscheinen. Wenn Ihre Website Schwierigkeiten hat, mit den Crawling-Anfragen von Google Schritt zu halten, k\u00f6nnen Sie <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/reduce-the-google-crawl-rate\/\">die Crawl-Rate reduzieren.<\/a>\n<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\n  Beim Crawlen f\u00fcr die Google Suche erfasst Googlebot die ersten 2 MB eines\n  <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/file-types-indexed\/\">unterst\u00fctzten Dateityps<\/a> und die ersten 64 MB einer PDF-Datei. Aus Rendering-Sicht wird jede im HTML referenzierte Ressource (wie CSS und JavaScript) separat abgerufen, wobei f\u00fcr jeden Ressourcenabruf dasselbe Dateigr\u00f6\u00dfenlimit gilt wie f\u00fcr andere Dateien (au\u00dfer bei PDF-Dateien).<br \/>\n  Sobald das Limit erreicht ist, stoppt Googlebot den Abruf und sendet nur den bereits heruntergeladenen Teil der Datei zur Indexierung. Das Dateigr\u00f6\u00dfenlimit bezieht sich auf die unkomprimierten Daten.\n  Andere Google-Crawler, wie zum Beispiel Googlebot Video und Googlebot Image, k\u00f6nnen\n  <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/overview-of-google-crawlers-and-fetchers-user-agents\/#file-size-limits\" class=\"external-link\">abweichende Limits<\/a> haben.\n<\/p>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"timezone\">\n  Beim Crawlen von IP-Adressen in den USA ist die Zeitzone von Googlebot\n  <a href=\"https:\/\/g.co\/kgs\/WSf8oR\" class=\"external-link\">Pacific Time<\/a>.\n<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\n  Weitere\n  <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/google-crawlers\/#crawl-technical-props\">technische Eigenschaften von Googlebot<\/a>\n  sind in der \u00dcbersicht der Google-Crawler beschrieben.\n<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"blocking-googlebot-from-visiting-your-site\" tabindex=\"-1\">Googlebot den Zugriff auf Ihre Website verwehren<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">\n  Googlebot entdeckt neue URLs zum Crawlen prim\u00e4r \u00fcber Links, die in bereits gecrawlten Seiten eingebettet sind. Es ist nahezu unm\u00f6glich, eine Website geheim zu halten, indem man keine Links darauf ver\u00f6ffentlicht. Sobald beispielsweise jemand von Ihrer \u201egeheimen\u201c Website auf eine andere Seite klickt, kann die URL Ihrer \u201egeheimen\u201c Website im Referrer-Tag erscheinen und von der anderen Website in deren Referrer-Log gespeichert und ver\u00f6ffentlicht werden.\n<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\n  Wenn Sie verhindern m\u00f6chten, dass Googlebot Inhalte auf Ihrer Website crawlt, haben Sie\n  <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/control-what-you-share-with-google\/\">verschiedene Optionen<\/a>. Denken Sie daran, dass es einen Unterschied zwischen <i>Crawlen<\/i> und <i>Indexieren<\/i> gibt; das Blockieren von Googlebot beim Crawlen einer Seite verhindert nicht, dass die URL der Seite in den Suchergebnissen erscheint:\n<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n  <li>\n    <b>Googlebot am Crawlen einer Seite hindern?<\/b> Verwenden Sie eine\n    <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/robots-txt-intro\/\">robots.txt-Datei<\/a>.\n  <\/li>\n  <li>\n    <b>Soll Google eine Seite nicht indexieren?<\/b> Verwenden Sie\n    <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/block-search-indexing-with-noindex\/\"><code>noindex<\/code><\/a>.\n  <\/li>\n  <li>\n    <b>Verhindern, dass eine Seite f\u00fcr Crawler oder Nutzer zug\u00e4nglich ist?<\/b> Verwenden Sie\n    <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/control-what-you-share-with-google\/\">eine andere Methode, wie z. B. Passwortschutz<\/a>.\n  <\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">\n  Das Blockieren von Googlebot wirkt sich auf die Google Suche (einschlie\u00dflich Discover und alle Google-Suchfunktionen) sowie auf andere Produkte wie Google Bilder, Google Video und Google News aus.\n<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"verifying-googlebot\" tabindex=\"-1\">Googlebot verifizieren<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">\n  Bevor Sie sich entscheiden, Googlebot zu blockieren, beachten Sie, dass der von Googlebot verwendete HTTP <code>user-agent<\/code>-Anfrage-Header h\u00e4ufig von anderen Crawlern gef\u00e4lscht wird. Es ist wichtig zu verifizieren, dass eine problematische Anfrage tats\u00e4chlich von Google stammt. Der beste Weg, um zu pr\u00fcfen, ob eine Anfrage tats\u00e4chlich von Googlebot kommt, ist die\n  <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/verify-requests-from-google-crawlers-and-fetchers\/#manual\">Verwendung einer Reverse-DNS-Abfrage<\/a>\n  f\u00fcr die Quell-IP der Anfrage oder der Abgleich der Quell-IP mit den\n  <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/verify-requests-from-google-crawlers-and-fetchers\/#use-automatic-solutions\">Googlebot-IP-Bereichen<\/a>.\n<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Googlebot ist der allgemeine Name des Web-Crawlers, den die Google-Suche verwendet. Erfahren Sie, was Googlebot ist, wie er auf Ihre Website zugreift und wie Sie Googlebot blockieren k\u00f6nnen.<\/p>\n","protected":false},"menu_order":27,"template":"","meta":{"footnotes":""},"ar_kb_kategori":[689],"ar_kb_etiket":[],"class_list":["post-25557","ar_kb","type-ar_kb","status-publish","has-post-thumbnail","hentry","ar_kb_kategori-google-crawlers"],"_links":{"self":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb\/25557","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb"}],"about":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/types\/ar_kb"}],"version-history":[{"count":0,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb\/25557\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/media\/27580"}],"wp:attachment":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/media?parent=25557"}],"wp:term":[{"taxonomy":"ar_kb_kategori","embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb_kategori?post=25557"},{"taxonomy":"ar_kb_etiket","embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb_etiket?post=25557"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}