Web sitesi yönetiyorsanız sunucu loglarında veya analiz araçlarında Baiduspider ismine denk gelmiş olabilirsiniz. Peki bu bot nedir, sitenizi neden ziyaret eder ve engellemek SEO açısından sorun oluşturur mu?
Kısaca Baiduspider, Çin merkezli arama motoru Baidu’nun web tarayıcısıdır. Google’ın Googlebot’u gibi internet üzerindeki sayfaları tarayarak Baidu’nun arama sonuçlarını oluşturmasına yardımcı olur.
Baiduspider ne işe yarar?
Baiduspider, web sitelerini ziyaret ederek sayfalardaki içerikleri tarar. Toplanan bilgiler Baidu’nun arama sistemlerinde sayfaların değerlendirilmesi ve arama sonuçlarında gösterilmesi için kullanılır.
Bu nedenle Çin’deki kullanıcılara ulaşmak isteyen web siteleri açısından Baiduspider’ın siteyi tarayabilmesi önem taşıyor.
Baidu’nun resmi açıklamasına göre Baiduspider’ı robots.txt üzerinden tamamen engellemek, sitenin Baidu arama sonuçlarında bulunmasını engelleyebilir.
Baiduspider User-Agent nedir?
Sunucu loglarında Baiduspider’ı tespit etmek için kullanılan en önemli bilgilerden biri User-Agent değeridir.
Baidu’nun resmi dokümanlarında masaüstü Baiduspider için şu yapıya sahip User-Agent örnekleri veriliyor:
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Mobil taramalarda ise User-Agent içerisinde Android veya Mobile gibi ifadeler bulunabiliyor.
Ancak yalnızca User-Agent bilgisine bakarak bir ziyaretçinin gerçekten Baidu’ya ait olduğunu kabul etmek doğru değil.
Gerçek Baiduspider nasıl anlaşılır?
Sahte botlar da kendilerini Baiduspider olarak gösterebilir. Bu nedenle özellikle güvenlik veya sunucu tarafında işlem yaparken yalnızca User-Agent kontrolü yeterli olmayabilir.
Baidu, gerçek botu doğrulamak için önce IP adresinin ters DNS sorgusuyla kontrol edilmesini, ardından elde edilen alan adının tekrar IP adresine çözümlenmesini öneriyor.
Gerçek Baiduspider adreslerinin baidu.com veya baidu.jp alan adlarıyla ilişkili olması gerekiyor. İki yönlü DNS kontrolünde IP adresleri eşleşiyorsa botun Baidu’ya ait olduğu doğrulanabiliyor.
Baiduspider robots.txt ile engellenebilir mi?
Evet. Web sitesi sahipleri robots.txt üzerinden Baiduspider’ın hangi bölümleri tarayabileceğini belirleyebilir.
Örneğin aşağıdaki yapı Baidu botunun siteyi taramasını tamamen engeller:
User-agent: Baiduspider
Disallow: /Baidu da robots.txt kullanılarak tarama izinlerinin kontrol edilebildiğini açıkça belirtiyor.
Ancak Çin’deki Baidu aramalarından trafik almak isteyen bir site için Baiduspider’ı tamamen engellemek mantıklı olmayabilir.
Baiduspider engellenmeli mi?
Bu tamamen sitenizin hedef kitlesine bağlı.
Çin’den organik trafik almak ve Baidu’da görünmek istiyorsanız Baiduspider’ı gereksiz yere engellememek daha doğru bir yaklaşım.
Buna karşılık sitenizin Baidu’da indekslenmesine ihtiyacınız yoksa veya sunucunuzda ciddi tarama yükü oluşuyorsa robots.txt ve sunucu tarafındaki kurallar değerlendirilebilir.
Ayrıca Baidu, botun fazla sık gelmesi nedeniyle sunucusunda sorun yaşayan sitelerin önce robots.txt, User-Agent engellemeleri ve IP tabanlı güvenlik kurallarını kontrol etmesini öneriyor.
Baiduspider SEO açısından önemli mi?
Google ağırlıklı çalışan bir web sitesi için Baiduspider, Googlebot kadar önemli olmayabilir. Ancak hedef kitleniz Çin’deyse durum değişiyor.
Baiduspider, Baidu SEO çalışmalarının temel parçalarından biri. Botun siteye erişememesi, özellikle Çin’deki arama sonuçlarında görünürlük açısından problem oluşturabilir.
Kısacası sunucu loglarında Baiduspider görmek tek başına kötü bir durum değil. Aksine sitenizin Baidu tarafından tarandığını gösteren normal bir bot trafiği olabilir. Önemli olan ziyaretin gerçekten Baidu’ya ait olduğunu doğrulamak ve sitenizin SEO hedeflerine göre gerekli erişim izinlerini vermek.
