{"id":25374,"date":"2026-03-31T00:00:00","date_gmt":"2026-03-31T00:00:00","guid":{"rendered":"https:\/\/alienroad.com\/google-bilgi-bankasi\/inside-googlebot-demystifying-crawling-fetching-and-the-bytes-we-process\/"},"modified":"2026-03-31T00:00:00","modified_gmt":"2026-03-31T00:00:00","slug":"inside-googlebot-demystifying-crawling-fetching-and-the-bytes-we-process","status":"publish","type":"ar_kb","link":"https:\/\/alienroad.com\/google-bilgi-bankasi\/inside-googlebot-demystifying-crawling-fetching-and-the-bytes-we-process\/","title":{"rendered":"Googlebot'un \u0130\u00e7 D\u00fcnyas\u0131: tarama, getirme ve i\u015fledi\u011fimiz baytlar\u0131n gizemini \u00e7\u00f6zmek"},"content":{"rendered":"

31 Mart 2026, Sal\u0131<\/p>\n

\n E\u011fer
\n Search Off the Record podcast’inin 105. b\u00f6l\u00fcm\u00fcn\u00fc<\/a>dinlediyseniz, kalbimize (ve sunucular\u0131m\u0131za) \u00e7ok yak\u0131n bir konunun derinliklerine indi\u011fimizi duymu\u015f olabilirsiniz: Googlebot’un i\u015fleyi\u015fi.\n<\/p>\n

\n Uzun bir s\u00fcre boyunca “Googlebot” ismi, interneti sistematik bir \u015fekilde okuyan tek ve yorulmak bilmez bir robot imaj\u0131 yaratt\u0131. Ancak ger\u00e7ek biraz daha karma\u015f\u0131k ve \u00e7ok daha ilgin\u00e7. Bug\u00fcn, tarama altyap\u0131m\u0131z\u0131n kapa\u011f\u0131n\u0131 a\u00e7mak ve kendi ba\u015f\u0131m\u0131z\u0131 d\u00f6nd\u00fcren o \u00f6zel konuya, yani bayt boyutu s\u0131n\u0131rlar\u0131na odaklanmak istiyoruz.\n<\/p>\n

\u00d6ncelikle, Googlebot tek bir program de\u011fildir<\/h2>\n

\n \u00d6nce tarihsel bir yanl\u0131\u015f adland\u0131rmay\u0131 d\u00fczeltelim. 2000’lerin ba\u015f\u0131nda Google’\u0131n tek bir \u00fcr\u00fcn\u00fc vard\u0131, bu y\u00fczden tek bir taray\u0131c\u0131m\u0131z vard\u0131. “Googlebot” ismi de \u00f6yle kald\u0131. Ancak bug\u00fcn Googlebot, merkezi bir tarama platformuna benzeyen bir yap\u0131n\u0131n sadece bir kullan\u0131c\u0131s\u0131d\u0131r.\n<\/p>\n

\n Sunucu g\u00fcnl\u00fcklerinizde Googlebot’u g\u00f6rd\u00fc\u011f\u00fcn\u00fczde, asl\u0131nda sadece Google Arama’y\u0131 g\u00f6r\u00fcyorsunuz demektir. Google Al\u0131\u015fveri\u015f, AdSense ve daha pek \u00e7ok istemci, tarama isteklerini farkl\u0131 taray\u0131c\u0131 isimleri alt\u0131nda ayn\u0131 temel altyap\u0131 \u00fczerinden y\u00f6nlendirir; bunlar\u0131n b\u00fcy\u00fck olanlar\u0131
\n Google Taray\u0131c\u0131 altyap\u0131s\u0131 sitesinde<\/a>.\n<\/p>\n

2MB s\u0131n\u0131r\u0131: baytlar\u0131n\u0131za ne oluyor?<\/h2>\n

\n \u0130\u015fte i\u015flerin biraz kafa kar\u0131\u015ft\u0131r\u0131c\u0131 oldu\u011fu nokta buras\u0131. Taray\u0131c\u0131 altyap\u0131s\u0131n\u0131n her istemcisi, getirme i\u015flemleri i\u00e7in baz\u0131 ayarlar belirlemelidir. Bu ayarlar aras\u0131nda kullan\u0131c\u0131 arac\u0131s\u0131 (user agent) dizesi, robots.txt dosyas\u0131nda hangi kullan\u0131c\u0131 arac\u0131s\u0131 belirte\u00e7lerinin aranaca\u011f\u0131 ve tek bir URL’den ka\u00e7 bayt getirilece\u011fi yer al\u0131r.\n<\/p>\n

\n Googlebot \u015fu anda herhangi bir URL i\u00e7in (PDF’ler hari\u00e7) 2MB’a kadar veri getirir. Bu, HTTP ba\u015fl\u0131\u011f\u0131 dahil olmak \u00fczere bir kayna\u011f\u0131n yaln\u0131zca ilk 2MB’\u0131n\u0131 tarad\u0131\u011f\u0131 anlam\u0131na gelir. PDF dosyalar\u0131 i\u00e7in s\u0131n\u0131r 64MB’t\u0131r.\n<\/p>\n

\n G\u00f6rsel ve video taray\u0131c\u0131lar\u0131 genellikle geni\u015f bir e\u015fik de\u011feri aral\u0131\u011f\u0131na sahiptir ve bu b\u00fcy\u00fck \u00f6l\u00e7\u00fcde veri \u00e7ektikleri \u00fcr\u00fcne ba\u011fl\u0131d\u0131r. \u00d6rne\u011fin, bir favicon getirmek, G\u00f6rsel Arama’ya k\u0131yasla \u00e7ok daha d\u00fc\u015f\u00fck bir s\u0131n\u0131ra sahip olabilir.\n<\/p>\n

\n S\u0131n\u0131r belirtmeyen di\u011fer t\u00fcm taray\u0131c\u0131lar i\u00e7in varsay\u0131lan de\u011fer, i\u00e7erik t\u00fcr\u00fcnden ba\u011f\u0131ms\u0131z olarak 15MB’t\u0131r.\n<\/p>\n

Bu, sunucunuzun a\u011f \u00fczerinden g\u00f6nderdi\u011fi baytlar i\u00e7in ne anlama geliyor?<\/p>\n

    \n
  1. \n K\u0131smi getirme:<\/strong> HTML dosyan\u0131z 2MB’tan b\u00fcy\u00fckse, Googlebot sayfay\u0131 reddetmez. Bunun yerine, getirme i\u015flemini tam olarak 2MB s\u0131n\u0131r\u0131nda durdurur. S\u0131n\u0131r\u0131n HTTP istek ba\u015fl\u0131klar\u0131n\u0131 da i\u00e7erdi\u011fini unutmay\u0131n.\n <\/li>\n
  2. \n S\u0131n\u0131r\u0131n i\u015flenmesi:<\/strong> \u0130ndirilen bu k\u0131s\u0131m (ilk 2MB bayt), sanki dosyan\u0131n tamam\u0131ym\u0131\u015f gibi dizin olu\u015fturma sistemlerimize ve Web \u0130\u015fleme Hizmetimize (WRS) aktar\u0131l\u0131r.\n <\/li>\n
  3. \n G\u00f6r\u00fcnmeyen baytlar:<\/strong> Bu 2MB<\/em> e\u015fik de\u011ferinden sonra var olan t\u00fcm baytlar tamamen g\u00f6z ard\u0131 edilir. Getirilmezler, i\u015flenmezler ve dizine eklenmezler.\n <\/li>\n
  4. \n Kaynaklar\u0131 dahil etme:<\/strong> HTML’de referans verilen her kaynak (medya, yaz\u0131 tipleri ve birka\u00e7 egzotik dosya hari\u00e7), WRS taraf\u0131ndan Googlebot ile ana HTML gibi getirilecektir. Bunlar\u0131n kendilerine ait, ayr\u0131, URL ba\u015f\u0131na bayt saya\u00e7lar\u0131 vard\u0131r ve ana sayfan\u0131n boyutuna dahil edilmezler.\n <\/li>\n<\/ol>\n

    \n \u0130nternetin b\u00fcy\u00fck \u00e7o\u011funlu\u011fu i\u00e7in 2MB’l\u0131k bir HTML y\u00fck\u00fc devasad\u0131r ve bu s\u0131n\u0131ra asla ula\u015fmazs\u0131n\u0131z. Ancak, sayfan\u0131z \u015fi\u015firilmi\u015f sat\u0131r i\u00e7i base64 g\u00f6rseller, devasa sat\u0131r i\u00e7i CSS\/JavaScript bloklar\u0131 i\u00e7eriyorsa veya megabaytlarca men\u00fc ile ba\u015fl\u0131yorsa, ger\u00e7ek metin i\u00e7eri\u011finizi veya kritik yap\u0131land\u0131r\u0131lm\u0131\u015f verilerinizi yanl\u0131\u015fl\u0131kla 2MB s\u0131n\u0131r\u0131n\u0131n \u00f6tesine itebilirsiniz. E\u011fer bu kritik baytlar getirilmezse, Googlebot i\u00e7in bunlar basit\u00e7e yok h\u00fckm\u00fcndedir.\n<\/p>\n

    Baytlar\u0131 i\u015fleme<\/h2>\n

    \n Taray\u0131c\u0131 baytlar\u0131 ba\u015far\u0131yla ald\u0131ktan sonra (s\u0131n\u0131ra kadar), g\u00f6revi WRS’ye devreder. WRS, sayfan\u0131n nihai g\u00f6rsel ve metinsel durumunu anlamak i\u00e7in modern bir taray\u0131c\u0131ya benzer \u015fekilde JavaScript’i i\u015fler ve istemci taraf\u0131 kodlar\u0131n\u0131 \u00e7al\u0131\u015ft\u0131r\u0131r. \u0130\u015fleme s\u00fcreci, sayfan\u0131n metin i\u00e7eri\u011fini ve yap\u0131s\u0131n\u0131 daha iyi anlamak i\u00e7in JavaScript ve CSS dosyalar\u0131n\u0131 \u00e7eker, \u00e7al\u0131\u015ft\u0131r\u0131r ve XHR isteklerini i\u015fler (g\u00f6rsel veya video dosyalar\u0131n\u0131 talep etmez). Talep edilen her kaynak i\u00e7in 2MB s\u0131n\u0131r\u0131 yine ge\u00e7erlidir.\n<\/p>\n

    \n Ancak, WRS’nin yaln\u0131zca taray\u0131c\u0131n\u0131n ger\u00e7ekten getirdi\u011fi kodu \u00e7al\u0131\u015ft\u0131rabilece\u011fini unutmay\u0131n. Ayr\u0131ca,
    \n     WRS durumsuz (stateless) \u00e7al\u0131\u015f\u0131r<\/a>
    \n \u2014 istekler aras\u0131nda yerel depolamay\u0131 ve oturum verilerini temizler. Bu, dinamik, JavaScript’e ba\u011f\u0131ml\u0131 \u00f6\u011felerin sistemlerimiz taraf\u0131ndan nas\u0131l yorumland\u0131\u011f\u0131 konusunda \u00f6zel \u00e7\u0131kar\u0131mlara sahip olabilir.\n<\/p>\n

    Baytlar\u0131n\u0131z i\u00e7in en iyi uygulamalar<\/h2>\n

    \n Googlebot’un i\u00e7eri\u011finizi verimli bir \u015fekilde getirebilmesini ve anlayabilmesini sa\u011flamak i\u00e7in \u015fu bayt d\u00fczeyi en iyi uygulamalar\u0131 akl\u0131n\u0131zda bulundurun:\n<\/p>\n