{"id":25334,"date":"2024-12-03T00:00:00","date_gmt":"2024-12-03T00:00:00","guid":{"rendered":"https:\/\/alienroad.com\/google-bilgi-bankasi\/crawling-december-the-how-and-why-of-googlebot-crawling\/"},"modified":"2024-12-03T00:00:00","modified_gmt":"2024-12-03T00:00:00","slug":"crawling-december-the-how-and-why-of-googlebot-crawling","status":"publish","type":"ar_kb","link":"https:\/\/alienroad.com\/google-bilgi-bankasi\/crawling-december-the-how-and-why-of-googlebot-crawling\/","title":{"rendered":"Aral\u0131k Ay\u0131nda Tarama: Googlebot taramas\u0131n\u0131n nas\u0131l ve nedenleri"},"content":{"rendered":"

3 Aral\u0131k 2024, Sal\u0131<\/p>\n

\n Google Arama’n\u0131n, bir web sayfas\u0131n\u0131n Google Arama sonu\u00e7lar\u0131nda g\u00f6r\u00fcnebilmesi i\u00e7in biraz \u00e7al\u0131\u015fma yapmas\u0131 gerekti\u011fini duymu\u015f olabilirsiniz. Bu ad\u0131mlardan biri tarama olarak adland\u0131r\u0131l\u0131r. Google Arama i\u00e7in tarama, Google sunucular\u0131nda \u00e7al\u0131\u015fan ve bir URL’yi al\u0131p a\u011f hatalar\u0131, y\u00f6nlendirmeler ve web \u00fczerinde \u00e7al\u0131\u015f\u0131rken kar\u015f\u0131la\u015fabilece\u011fi di\u011fer k\u00fc\u00e7\u00fck komplikasyonlar gibi durumlar\u0131 y\u00f6neten bir program olan Googlebot taraf\u0131ndan ger\u00e7ekle\u015ftirilir. Ancak, genellikle konu\u015fulmayan birka\u00e7 detay var. Bu ay her hafta, sitelerinizin nas\u0131l tarand\u0131\u011f\u0131 \u00fczerinde \u00f6nemli bir etkisi olabilece\u011finden bu detaylardan baz\u0131lar\u0131n\u0131 inceleyece\u011fiz.\n<\/p>\n

Biraz geriye gidelim: Tarama nedir?<\/h2>\n

\n Tarama<\/a> , yeni web sayfalar\u0131n\u0131 ke\u015ffetme ve g\u00fcncellenmi\u015f sayfalar\u0131 tekrar ziyaret edip indirme s\u00fcrecidir. K\u0131sacas\u0131 Googlebot bir URL al\u0131r, onu bar\u0131nd\u0131ran sunucuya bir HTTP iste\u011fi g\u00f6nderir ve ard\u0131ndan o sunucudan gelen yan\u0131tla ilgilenir; gerekirse y\u00f6nlendirmeleri takip eder, hatalar\u0131 y\u00f6netir ve sayfa i\u00e7eri\u011fini Google’\u0131n dizine ekleme sistemine aktar\u0131r.\n<\/p>\n

\n Ancak modern web sayfalar\u0131 sadece saf HTML’den olu\u015fmaz, peki ya bir sayfay\u0131 olu\u015fturan di\u011fer kaynaklar ne olacak? Bu kaynaklar\u0131 taramak “tarama b\u00fct\u00e7esini” nas\u0131l etkiler? Bu kaynaklar Google taraf\u0131nda \u00f6nbelle\u011fe al\u0131nabilir mi? Ayr\u0131ca daha \u00f6nce taranmam\u0131\u015f URL’ler ile halihaz\u0131rda dizine eklenmi\u015f olanlar aras\u0131nda bir fark var m\u0131? Bu yaz\u0131m\u0131zda bu sorular\u0131 ve daha fazlas\u0131n\u0131 yan\u0131tlayaca\u011f\u0131z!\n<\/p>\n

Googlebot ve sayfa kaynaklar\u0131n\u0131 tarama<\/h2>\n

\n HTML’nin \u00f6tesinde, modern web siteleri kullan\u0131c\u0131lara canl\u0131 deneyimler ve yararl\u0131 i\u015flevler sunmak i\u00e7in JavaScript ve CSS gibi farkl\u0131 teknolojilerin bir kombinasyonunu kullan\u0131r. Bir taray\u0131c\u0131 ile bu t\u00fcr sayfalara eri\u015fildi\u011finde, taray\u0131c\u0131 \u00f6nce sayfan\u0131n kullan\u0131c\u0131 i\u00e7in olu\u015fturulmaya ba\u015flanmas\u0131 i\u00e7in gereken verileri bar\u0131nd\u0131ran ana URL’yi, yani sayfan\u0131n HTML’sini indirir. Bu ilk veriler, JavaScript ve CSS gibi kaynaklara referanslar i\u00e7erebilir, ancak taray\u0131c\u0131n\u0131n nihai sayfay\u0131 olu\u015fturmak i\u00e7in tekrar indirece\u011fi resimler ve videolar da bulunabilir; bu sayfa daha sonra kullan\u0131c\u0131ya sunulur.\n<\/p>\n

\n Google da tam olarak ayn\u0131 \u015feyi yapar<\/a>, ancak biraz farkl\u0131 bir \u015fekilde:\n<\/p>\n

    \n
  1. Googlebot, ana URL’den ilk verileri, yani sayfan\u0131n HTML’sini indirir.<\/li>\n
  2. Googlebot, getirilen verileri Web \u0130\u015fleme Hizmetine (WRS) aktar\u0131r.<\/li>\n
  3. WRS, Googlebot kullanarak orijinal verilerde referans verilen kaynaklar\u0131 indirir.<\/li>\n
  4. WRS, bir kullan\u0131c\u0131n\u0131n taray\u0131c\u0131s\u0131n\u0131n yapaca\u011f\u0131 gibi indirilen t\u00fcm kaynaklar\u0131 kullanarak sayfay\u0131 olu\u015fturur.<\/li>\n<\/ol>\n

    \n Bir taray\u0131c\u0131ya k\u0131yasla, her ad\u0131m aras\u0131ndaki s\u00fcre, bir sayfan\u0131n olu\u015fturulmas\u0131 i\u00e7in gereken kaynaklar\u0131 bar\u0131nd\u0131ran sunucunun alg\u0131lanan y\u00fck\u00fc gibi zamanlama k\u0131s\u0131tlamalar\u0131 nedeniyle \u00f6nemli \u00f6l\u00e7\u00fcde daha uzun olabilir. \u0130\u015fte tam bu noktada
    \n     tarama b\u00fct\u00e7esi<\/a>
    \n konu\u015fmaya dahil olur.\n<\/p>\n

    \n Bir sayfay\u0131 olu\u015fturmak i\u00e7in gereken kaynaklar\u0131 taramak, kayna\u011f\u0131 bar\u0131nd\u0131ran ana bilgisayar ad\u0131n\u0131n tarama b\u00fct\u00e7esinden eksiltir. Bunu iyile\u015ftirmek i\u00e7in WRS, olu\u015fturdu\u011fu sayfalarda referans verilen her kayna\u011f\u0131 (JavaScript ve CSS) \u00f6nbelle\u011fe almaya \u00e7al\u0131\u015f\u0131r. WRS \u00f6nbelle\u011finin ya\u015fam s\u00fcresi (TTL), HTTP \u00f6nbelle\u011fe alma y\u00f6nergelerinden etkilenmez; bunun yerine WRS, sitenin tarama b\u00fct\u00e7esini di\u011fer tarama g\u00f6revleri i\u00e7in korumaya yard\u0131mc\u0131 olmak amac\u0131yla her \u015feyi 30 g\u00fcne kadar \u00f6nbelle\u011fe al\u0131r.\n<\/p>\n

    \n Site sahipleri a\u00e7\u0131s\u0131ndan, kaynaklar\u0131n nas\u0131l ve nelerin tarand\u0131\u011f\u0131n\u0131 y\u00f6netmek sitenin tarama b\u00fct\u00e7esini etkileyebilir; \u015funlar\u0131 \u00f6neriyoruz:\n<\/p>\n

      \n
    1. \n M\u00fcmk\u00fcn oldu\u011funca az kaynak kullan\u0131n<\/strong> , kullan\u0131c\u0131lara harika bir deneyim sunmak i\u00e7in; bir sayfan\u0131n olu\u015fturulmas\u0131 i\u00e7in ne kadar az kaynak gerekirse, olu\u015fturma s\u0131ras\u0131nda o kadar az tarama b\u00fct\u00e7esi harcan\u0131r.\n <\/li>\n
    2. \n \u00d6nbellek temizleme (cache-busting) parametrelerini dikkatli kullan\u0131n<\/strong>: kaynaklar\u0131n URL’leri de\u011fi\u015firse, i\u00e7erikleri de\u011fi\u015fmemi\u015f olsa bile Google’\u0131n kaynaklar\u0131 tekrar taramas\u0131 gerekebilir. Bu elbette tarama b\u00fct\u00e7esini t\u00fcketecektir.\n <\/li>\n
    3. \n Kaynaklar\u0131 farkl\u0131 bir ana bilgisayar ad\u0131nda bar\u0131nd\u0131r\u0131n<\/strong> , \u00f6rne\u011fin bir CDN kullanarak veya kaynaklar\u0131 farkl\u0131 bir alt alan ad\u0131nda bar\u0131nd\u0131rarak. Bu, tarama b\u00fct\u00e7esi endi\u015felerini kaynaklar\u0131 sunan ana bilgisayara kayd\u0131racakt\u0131r.<\/p>\n