--- title: "robots.txt nedir?" author: Androverse author_url: https://androverse.com.tr/yazar/androverse publisher: Androverse updated_at: 2026-10-15 url: https://androverse.com.tr/sozluk/robots-txt language: tr --- # robots.txt nedir? robots.txt, tarayıcı botlara bir sitedeki hangi yolların taranabileceğini bildiren dosyadır. Diğer adlar: Robots Exclusion Protocol. ## Nerede işine yarar? Botun bu kuralları izlemesi ve dosyayı okuyabilmesi gerekir. Özel verileri korumak için erişim kontrolü kullanılır; robots.txt gizli dosya kasası değildir. Tarama engeli ile bir URL’nin arama sonuçlarına eklenmesini engellemek farklı kararlardır. ## Bir cümlede uygulaması İç API yollarını taramadan ayırırken indexlenebilir yazılara erişimi açık tutmak. ## Neyle karıştırılmamalı? Bir yolu robots.txt ile engellemek o URL’nin bütün arama sonuçlarından kesin silinmesini sağlamaz. ## Kapıdaki yön tabelası, kapının kilidi değildir. Bir web sitesinde halka açık yazılar, arama sonuçları, API yolları ve yönetim ekranları bulunabilir. Tarayıcı robotların bu alanlarla nasıl karşılaşacağı aynı değildir. Robots.txt, uyumlu robotlara hangi URL alanlarını taramaları veya taramamaları gerektiğini bildiren dosyadır. Site kökünde bulunur ve kurallar belirli kullanıcı aracı gruplarına uygulanabilir. Bir güvenlik duvarı veya kullanıcı doğrulaması olarak düşünülmemelidir; adresi bilen bir kişiyi durdurmaz. Örneğin site içi arama yüzlerce parametreli sonuç adresi üretiyor olabilir. Bu yolların taranmasını sınırlamak, önemli içeriklerin keşfine ayrılan kaynakları daha anlamlı kullanmaya yardımcı olabilir. Fakat hangi adreslerin gerçekten gereksiz olduğu içerik mimarisine bağlıdır. Bütün parametreleri tek hamlede engellemek, anlamlı filtre sayfalarını veya gerekli kaynakları da etkileyebilir. Kural yazmadan önce gerçek URL örnekleri ve sayfa görevleri incelenir. En kritik ayrım tarama ile dizine eklenme arasındadır. Bir URL'nin taranmasının engellenmesi, o adresin hiçbir arama sonucunda görünmeyeceği anlamına gelmez. Başka kaynaklardan keşfedilen adresler içerikleri alınmadan da bilinebilir. Sayfa üzerindeki noindex bilgisinin görülebilmesi ise robotun o sayfaya erişmesine bağlı olabilir. Bu nedenle robots.txt ile noindex aynı düğmenin iki farklı adı gibi kullanılmaz. Bir başka ayrım robot türleridir. Arama dizini oluşturan bot, bağlantı önizlemesi getiren bot ve bir yapay zekâ hizmetiyle ilişkili bot farklı amaçlara sahip olabilir. Her hizmetin yayınladığı kimlik ve davranış bilgisi kendi kaynağından incelenmelidir. Bir kullanıcı aracı adını tahmin ederek kural eklemek veya bütün yapay zekâ sistemlerinin aynı politikayı uyguladığını varsaymak yanlış beklenti yaratır. Dosyanın sınırı, ona uyan istemcilerin davranışıyla ilgilidir. Kural değişikliklerinde eski ve yeni örnek adresleri yan yana yazmak faydalıdır. Örneğin yalnız site içi aramayı sınırlamak isterken bütün sözlük yollarını kapsayan bir eşleşme oluşturulabilir. Dosyanın kısa olması etkisinin küçük olduğu anlamına gelmez. Ortak bir şablondan üretiliyorsa değişikliğin hangi alan adlarına yayıldığını da bilmek gerekir. Birden fazla ortam veya alt alan adı kendi dosyasına sahip olabilir. Tek bir kök dosyanın bütün internet varlığını yönettiğini varsayma. Tarama tercihlerinin yayın sorumlusu belli olduğunda, yeni bir entegrasyonun dosyaya sessizce eklediği geniş kurallar daha kolay fark edilir ve amacı açıklanabilir. ### Amaç Bir yolu neden sınırlıyorsun? Gereksiz tarama, dizinden çıkarma ve özel veriyi koruma farklı hedeflerdir. Yanlış araçla doğru amacı gerçekleştirmeye çalışmak görünürde düzenli, gerçekte etkisiz bir yapı oluşturabilir. ### Kapsam Kuralın eşleştiği gerçek adres örneklerini listele. Kök yolu engellemekle belirli bir klasörü engellemek aynı etkiyi yaratmaz. Bir küçük karakter veya geniş eşleşme bütün halka açık içeriği etkileyebilir. ### Bağımlılık Sayfanın anlaşılması için gereken görsel, stil veya betik kaynaklarının erişimi de önemlidir. Yalnız HTML yoluna bakıp kaynakları düşünmemek render edilen deneyimi etkileyebilir. Engelin hangi içerik ve kaynakları kapsadığını birlikte değerlendir. ## Tarama kuralı ile gizlilik sınırı birbirine karışmasın. ### Robots.txt Uyumlu robotlara tarama tercihini bildirir. Dosya herkese açık olduğu için içindeki yollar da görülebilir. Bir robotun kurala uyması beklenir, ancak bu teknik olarak bütün istemcileri engelleyen bir yetkilendirme sistemi değildir. Özel verilerin korunması bu dosyaya bırakılamaz. ### Erişim kontrolü Kimlik doğrulama, yetkilendirme ve sunucu tarafındaki kurallar içeriğe kimin ulaşabileceğini belirler. Kullanıcı veya istemci gerekli yetkiye sahip değilse içerik verilmez. Yönetim paneli, özel belge veya hesap verisi için gereken sınır budur. Bir adresi robots.txt içinde listelemek onu gizli hâle getirmez. ## Tarama kuralını doğru kapsamda yazmak Robots kuralları düzenlenirken bütün siteyi etkileyen bir desenin yanlışlıkla önemli içeriği kapatmadığı kontrol edilir. Özellikle test ortamından üretime taşınan ayarlar risk yaratabilir. Sayfanın taranması, indekslenmesi ve kullanıcının ona erişebilmesi farklı konulardır. - Önemli URL'leri kural desenlerine karşı dene. - CSS ve gerekli görsel kaynaklarının erişimini kontrol et. - Özel içerik için gerçek kimlik doğrulama kullan. ## Noindex yerine robots engeli kullanılabilir mi? Aynı işi yapmazlar. Arama motorunun sayfadaki noindex bilgisini okuyabilmesi için çoğu durumda sayfaya erişmesi gerekir. Tarama engeli uygulanırken URL'nin sonuçlardan kaldırılacağı varsayılmamalıdır. ## Bu karar, işinin neresinde? robots.txt kavramının bir projede nasıl ele alındığını; yaklaşım, süreç ve teslimler üzerinden incele. [SEO](https://androverse.com.tr/hizmetler/seo) ## Karar masası ### Bir sayfayı arama sonuçlarından kaldırmak için yeterli mi? Genellikle bu amaçla tek başına robots.txt kullanılmaz. Tarama engeli ile dizinde görünmeme isteği farklıdır. Uygun noindex, erişim kısıtlaması veya kaldırılmış içerik durum kodu gibi seçenekler sayfanın gerçek durumuna göre değerlendirilir. Özellikle noindex'in okunması gerekiyorsa taramayı engellemenin etkisini düşünmek gerekir. Yöntemi seçmeden önce sayfanın herkese açık kalıp kalmayacağını netleştir. ### Geliştirme ortamını bununla koruyabilir miyim? Geliştirme veya önizleme ortamında özel bilgiler varsa gerçek erişim kontrolü gerekir. Robots.txt keşfi sınırlamaya yardımcı bir tercih olabilir, fakat gizlilik garantisi sağlamaz. Ayrıca geliştirme ortamındaki engelleme kuralının yanlışlıkla üretime taşınması halka açık sitenin taranmasını etkileyebilir. Ortamların yapılandırmasını açıkça ayırmak ve yayın öncesi hangi kuralın nereye gittiğini bilmek önemlidir. ### Bütün botlara tek kural vermek doğru mu? Basit sitelerde genel kurallar yeterli olabilir; farklı amaçlar için farklı tercihler de gerekebilir. Bu karar yayın politikasıyla birlikte alınır. Arama botu, sosyal önizleme istemcisi ve başka bir veri toplayıcı aynı hizmeti sunmaz. Belirli bir bot için kural yazılacaksa resmî kullanıcı aracı bilgisine bakılır. Tanınmayan bir adı eklemek gerçek istemcinin davranışını değiştirmeyebilir. ### Dosyaya site haritası adresi eklenebilir mi? Site haritasının konumu robots.txt içinde bildirilebilir. Bu, haritadaki bütün URL'lerin mutlaka taranacağı veya dizine ekleneceği anlamına gelmez. Harita keşif için ek bir yol sunar; tarama kuralları ve sayfa durumları yine ayrı değerlendirilir. Bir tarafta adresi önerip diğer tarafta erişimi engelleyen çelişkilerden kaçınmak gerekir. Dosyalar aynı yayın politikasını anlatmalıdır. ## Dört kapı, dört farklı karar. Bir sitedeki yazı, site içi arama, API ve yönetim ekranını ele al. Her yol için herkese açık olma, taranma ve arama sonucunda görünme beklentilerini ayrı yaz. Tek bir engelleme listesiyle başlamamaya çalış. - [ ] Yazı sayfasının ve onu oluşturan kaynakların neden erişilebilir olması gerektiğini belirt. İçeriğe giden iç bağlantıları düşün. Arama sonuçlarında görünmesi istenen sayfayı istemeden geniş bir klasör kuralının içine almamaya dikkat et. - [ ] Site içi aramanın ürettiği gerçek parametreli adresleri incele. Hangi sonuçların tekrar ettiği, hangilerinin anlamlı içerik taşıdığı konusunda karar ver. Geniş bir yıldızlı kural yerine önce adres ailesinin davranışını anlamaya çalış. - [ ] API ve yönetim ekranı için veri erişimini ayrı değerlendir. Özel bilgi varsa sunucu tarafında yetki kontrolü gereğini yaz. Robots.txt'nin yalnız uyumlu robotlara yönelik tarama tercihi olduğunu ekip notunda açıkça belirt. - [ ] Yayın ortamına ait son dosyayı okuyarak kuralların amacını açıklayabil. Her kuralın yanında zihninde bir neden ve etkilediği URL örneği olsun. Artık kullanılmayan kuralları biriktirmek yerine değişikliklerin gerekçesini kayıt altında tut. Robots.txt bir tarama anlaşmasıdır. Gizlilik, dizin tercihi ve erişim yetkisini ayrı düşündüğünde doğru aracı doğru yerde kullanırsın. ## Bağlantılı kavramlar - [Canonical URL](https://androverse.com.tr/sozluk/canonical) — Canonical URL, benzer veya yinelenen içerik sürümleri arasında tercih edilen ana adresi belirtir. - [Site haritası](https://androverse.com.tr/sozluk/site-haritasi) — Site haritası, bir sitedeki önemli URL’leri ve uygun güncelleme bilgilerini arama motorlarına bildiren keşif dosyasıdır. - [SEO](https://androverse.com.tr/sozluk/seo) — SEO, arama motorlarının içeriği bulmasını ve anlamasını, kullanıcıların da ilgili sayfayı keşfetmesini destekleyen iyileştirmelerdir. ## Konuyu uygulamaya taşı - [SEO](https://androverse.com.tr/hizmetler/seo) — robots.txt kavramının bir projede nasıl ele alındığını; yaklaşım, süreç ve teslimler üzerinden incele. - [Brief kısa olabilir. Düşünce değil.](https://androverse.com.tr/blog/brief-kisa-olabilir-dusunce-degil) — robots.txt ile ilgili tasarım kararını Androverse’nin uygulama örnekleri ve değerlendirme sorularıyla birlikte düşün. ## Kaynaklar - [Google Search Central — robots.txt](https://developers.google.com/search/docs/crawling-indexing/robots/intro) [Androverse profili](https://androverse.com.tr/yazar/androverse) · [Yayın ilkeleri](https://androverse.com.tr/yayin-ilkeleri)