Crawl Budget Nedir?

Crawl budget, Türkçede tarama bütçesi olarak adlandırılmaktadır. Google botları tarafından web sitelerine ayrılan tarama bütçesi olarak tanımlanmaktadır. Bu nedenle tarama maliyetlerinin düşürülmesi ve tarama sürelerinin daha kısa olması amacıyla kullanılmaktadır.

Her sitenin bireysel olarak tarama bütçesi bulunur ve bunların bütçeleri tamamen farklıdır. Crawl budget, sitelerin teknik uyumları, içerik sayıları ve otoritesine göre değişkenlik göstermektedir. Buna göre tarama bütçelerinin düşük seviyede olması sitelerin değerlerini de aynı oranda azaltmaktadır.

Crawl Budget Nasıl Hesaplanır?

Tarama bütçesi hesaplanmadan önce dizine eklenen sayfanın günlük taranacak ortalama sayfa sayısına göre oranlar belirlenir. Sayfaların sayıları günlük taranmış olan sayfa sayılarına bölünmesi ve sitelerin tarama bütçelerine göre sonuçlara ulaşılır. Sitenin tarama bütçesi, 10 üzerinde ise tarama bütçesini optimize etmesi için aksiyon alması gerekmektedir.

Crawl budget 3 ve 3’ün altında ise web sitelerinin seviyesi oldukça iyidir. Buna göre aksiyon alınmasına gerek kalmadan devam edilebilir. Web sitesinin tarama bütçesi 10 ve 3 arasında olan sitelerin günlük taranmış olan ortalama sayfa sayılarının takip etmesi her zaman faydalı olacaktır. Taranmış olan ortalama sayfa sayılarının düşük göstermesi durumunda geç kalmadan aksiyon alınması son derece önemlidir.

Google botları bir web siteye gerçekleştirdiği ziyaretlerde ilk olarak robots.txt dosyasına gider. Dosyaya ulaşılmasından sonra linkler tıklanır. Taranmış olan sayfalardaki stil dosyaları ve komut dosyaları çalışır hale gelir. Tarama bütçesinin miktarına göre linklerden ve önemli olan konularda indeksleme alır.

Crawl Budget Neye Göre Belirlenir?

Crawl budget genel anlamda 4 farklı faktör ele alınarak belirlenmektedir. Buna göre;

1. İndekse Eklenen Toplam Sayfa Sayısı: Google botları siteleri ziyaret etmesi sırasında sitedeki indekslenen sayfaları ve site haritasını kontrol eder. Kontrol sonucunda yeni bağlantıların olmasıyla birlikte bu sayfalar taranarak sınıflandırılır. Web siteye sürekli olarak özgün içerikler eklemek ve kalitesiz içeriklerin sitelerden kaldırılması son derece önemlidir.

2. Web Sitesi Boyutu: Google botlar, JavaScript, görseller, HTML dosyalar ve CSS dosyaların tamamını tarar. Dosyaların büyük boyutta olması sitenin değerini düşürür. Bu nedenle büyük boyuttaki dosyalar normallere göre daha geç taranması ve uzun sürmesi sebebiyle Google botları yüksek kaynak ve zaman ayırır. Sonraki ziyaretlerinde yüksek boyuttaki dosyaların web sitesinden kaldırılmamış olması durumunda botlar tarafından daha seyrek ziyaretlere neden olabilir. Bu da web sitesinin tarama bütçesini düşürür.

3. Web Sitesi hızı: Sitenin açılış hızı kullanıcılar için en verimli özelliktir. Bu hem kullanıcıların hem de Google botları tarafından verimli olması sebebiyle web sitesini daha hızlı şekilde tarar. Bu da daha az süre ve daha az kaynak alınmasını sağladığı için Google sıralamalarında ödül olarak üste çıkmasını sağlar.

4. Backlink Sayısı: Web sitesine verilen bağlantıların Google botları tarafından fark edilmesi durumunda botlar bağlantıları takip eder. Sitenizin farklı sitelerden referans verilmesi sitenin değerini de aynı oranda artırır. Bu da tarama bütçelerini ciddi oranda olumlu etkiler.

Web Sitesi Tarama Bütçesi Optimizasyonu Nasıl Yapılır?

Web sitesi tarama bütçelerinin iyileştirilmesi için uygulanabilecek farklı yöntemler bulunur. Web sitesinin tarama bütçelerinin artırılması sitenin arama motorlarında üst sıralarda yer almasına büyük katkı sağlar. Tarama bütçelerinin artırılması için yapılacak işlemler ise şu şekildedir;

• Web sitenin hızının artması için iyileştirmeler yapılmalı

• Düşük kalitede olan içeriklerin dizinlere eklenmesini engellemek için web sitesinden kaldırılması gerek. Düşük kalitede olan içerikler bot ziyaretlerinin sayısını düşürür.

• Web sitesinin mimarisindeki en küçük detaylar dahil olmak üzere iyileştirilmeler yapılarak gereksiz olan kodların silinmesi gerekmektedir.

• Web sitesinde linklenmeyen sayfaların tamamı sitede uygun bölümlere yerleştirilmeli

• Web sitesinde 404 hata kodu veren sayfa mevcut ise bu sayfaların düzenlenmesi gerekir.