Sitenizi Yapay Zekâ Eğitiminden Çıkarmak: Yeni Ortak robots.txt Kuralı Adım Adım

Bir web sitesinin içeriğinin yapay zekâ modellerini eğitmekte kullanılmasını istemiyorsanız, şimdiye kadar her şirketin botunu robots.txt dosyasında tek tek engellemeniz gerekiyordu. 30 Ekim 2026'da Google, OpenAI, Microsoft ve Anthropic, bu iş için tek bir ortak kuralı tanıyacaklarını açıkladı. Bu rehberde yeni kuralın ne olduğunu, ne zaman geçerli olacağını ve sitenize nasıl ekleyeceğinizi anlatıyoruz.

Yeni kural nedir?

Kural, Anthropic'ten Kevin Kelley'nin 30 Ekim 2026'da İnternet Mühendisliği Görev Gücü'ne (IETF) sunduğu bir taslağa dayanıyor. Taslağa göre site sahipleri robots.txt dosyasına __usage_ai-training adlı özel bir "kullanım" etiketi ekleyerek, içeriklerinin üretken yapay zekâ modellerinin eğitiminde kullanılıp kullanılamayacağını belirtebiliyor.

Bu etiket bir botun adı değil, bir kullanım türünün adı. Yani sitenizi tarayan botu engellemiyor; içeriğinizin eğitimde kullanılmasına ilişkin tercihinizi bildiriyor. Taslağa göre yalnızca sınıflandırma, sıralama ve puanlama gibi üretken olmayan işler için eğitilen modeller kapsam dışında.

Hangi şirket ne zaman uygulayacak?

• Anthropic: Kurala destek üzerinde çalıştığını, bunun zaman alacağını ve mevcut tarayıcı ayarlarının yerini almayacağını belirtti.
• OpenAI: "Önümüzdeki aylarda" uygulamayı hedefliyor; GPTBot ayarları geçerliliğini koruyor.
• Google: Tarayıcı belgelerine göre desteği 2027'nin başında getirecek.
• Microsoft: Tercihleri 1 Şubat 2027'den itibaren dikkate alacak.

Adım adım: Kuralı sitenize ekleyin

1. robots.txt dosyanızı bulun. Dosya, sitenizin kök dizininde yer alır (ör. alanadiniz.com/robots.txt). WordPress gibi sistemlerde SEO eklentileri üzerinden de düzenlenebilir.
2. Yeni bir grup ekleyin. Dosyaya ayrı satırlar hâlinde User-Agent: __usage_ai-training ve ardından Disallow: / yazın. Bu, sitenizin tamamı için eğitime izin vermediğinizi bildirir.
3. İstisnaları belirleyin. Belirli bölümlerin eğitimde kullanılmasına izin vermek istiyorsanız Allow: satırı ekleyin. Taslaktaki örnekte sitenin tamamı kapatılıp yalnızca /press-kit/ (basın kiti) klasörüne izin veriliyor.
4. Yıldız kuralına güvenmeyin. Taslağa göre User-Agent: * ile başlayan genel gruplar bu etiketi kapsamıyor. Tercihinizin geçerli olması için ayrı grubu mutlaka yazmalısınız.
5. Mevcut bot kurallarınızı silmeyin. Şirketler yeni kuralı henüz uygulamaya başlamadı. Bu süreçte OpenAI için GPTBot, Google için Google-Extended kurallarını korumaya devam edin.
6. Arama botlarını yanlışlıkla engellemeyin. OpenAI'ın belgelerine göre OAI-SearchBot'u engellerseniz siteniz ChatGPT arama yanıtlarında gösterilmez. Google-Extended ise Google Arama'daki sıralamanızı etkilemiyor.
7. Değişikliği kaydedip kontrol edin. Dosyayı tarayıcıda açarak satırların doğru göründüğünden emin olun. OpenAI, arama tarafındaki robots.txt değişikliklerinin sistemlerine yansımasının yaklaşık 24 saat sürebildiğini belirtiyor.

Bilmeniz gereken sınırlar

• Bu bir tercih bildirimi, teknik bir engel değil. Uyup uymamak şirketlerin taahhüdüne bağlı.
• Taslak henüz IETF tarafından onaylanmış bir standart değil.
• Site ile yapay zekâ şirketi arasındaki özel anlaşmalar bu tercihin önüne geçebiliyor.
• Microsoft, bu tercihlerin lisans ya da ödeme düzenlemesi anlamına gelmediğini vurguluyor.
• Google, yeni etiketi kullanıp Google-Extended için ayrı kural yazmayan siteleri, Google-Extended'ı engellemiş gibi değerlendirecek.

Türkiye'deki site sahipleri için anlamı

Haber siteleri, bloglar ve e-ticaret siteleri artık tek bir satırla tüm büyük yapay zekâ şirketlerine aynı mesajı verebilecek. Ancak karar verirken bir dengeyi gözetmek gerekiyor: Eğitimi kapatmak, arama görünürlüğünü etkilemiyor; arama botlarını kapatmak ise sitenizin yapay zekâ destekli arama yanıtlarında görünmemesine yol açabilir. Kuralı şimdiden eklemek, şirketler desteği devreye aldığında tercihinizin hazır olmasını sağlar.