robots.txt nedir?

Bir web sitesinde halka açık yazılar, arama sonuçları, API yolları ve yönetim ekranları bulunabilir. Tarayıcı robotların bu alanlarla nasıl karşılaşacağı aynı değildir. Robots.txt, uyumlu robotlara hangi URL alanlarını taramaları veya taramamaları gerektiğini bildiren dosyadır. Site kökünde bulunur ve kurallar belirli kullanıcı aracı gruplarına uygulanabilir. Bir güvenlik duvarı veya kullanıcı doğrulaması olarak düşünülmemelidir; adresi bilen bir kişiyi durdurmaz.

Örneğin site içi arama yüzlerce parametreli sonuç adresi üretiyor olabilir. Bu yolların taranmasını sınırlamak, önemli içeriklerin keşfine ayrılan kaynakları daha anlamlı kullanmaya yardımcı olabilir. Fakat hangi adreslerin gerçekten gereksiz olduğu içerik mimarisine bağlıdır. Bütün parametreleri tek hamlede engellemek, anlamlı filtre sayfalarını veya gerekli kaynakları da etkileyebilir. Kural yazmadan önce gerçek URL örnekleri ve sayfa görevleri incelenir.

En kritik ayrım tarama ile dizine eklenme arasındadır. Bir URL'nin taranmasının engellenmesi, o adresin hiçbir arama sonucunda görünmeyeceği anlamına gelmez. Başka kaynaklardan keşfedilen adresler içerikleri alınmadan da bilinebilir. Sayfa üzerindeki noindex bilgisinin görülebilmesi ise robotun o sayfaya erişmesine bağlı olabilir. Bu nedenle robots.txt ile noindex aynı düğmenin iki farklı adı gibi kullanılmaz.

Bir başka ayrım robot türleridir. Arama dizini oluşturan bot, bağlantı önizlemesi getiren bot ve bir yapay zekâ hizmetiyle ilişkili bot farklı amaçlara sahip olabilir. Her hizmetin yayınladığı kimlik ve davranış bilgisi kendi kaynağından incelenmelidir. Bir kullanıcı aracı adını tahmin ederek kural eklemek veya bütün yapay zekâ sistemlerinin aynı politikayı uyguladığını varsaymak yanlış beklenti yaratır. Dosyanın sınırı, ona uyan istemcilerin davranışıyla ilgilidir.

Kural değişikliklerinde eski ve yeni örnek adresleri yan yana yazmak faydalıdır. Örneğin yalnız site içi aramayı sınırlamak isterken bütün sözlük yollarını kapsayan bir eşleşme oluşturulabilir. Dosyanın kısa olması etkisinin küçük olduğu anlamına gelmez. Ortak bir şablondan üretiliyorsa değişikliğin hangi alan adlarına yayıldığını da bilmek gerekir. Birden fazla ortam veya alt alan adı kendi dosyasına sahip olabilir. Tek bir kök dosyanın bütün internet varlığını yönettiğini varsayma. Tarama tercihlerinin yayın sorumlusu belli olduğunda, yeni bir entegrasyonun dosyaya sessizce eklediği geniş kurallar daha kolay fark edilir ve amacı açıklanabilir.