Cloudflare Bot Preference Sync’i Tanıttı: robots.txt ve AI Bot Politikaları Artık Otomatik Senkronize

Teknoloji

28.08.2026 05:13 Denizli Haber

Cloudflare Bot Preference Sync’i Tanıttı: robots.txt ve AI Bot Politikaları Artık Otomatik Senkronize

Cloudflare, 21 Ağustos 2026’da tüm planlardaki müşteriler için Bot Preference Sync özelliğini duyurdu. Özellik, Search, Agent ve Training kategorilerindeki AI bot ayarlarını robots.txt dosyasına otomatik olarak yansıtarak site sahiplerinin tercihlerini tek bir yerden yönetmesini sağlıyor.

Cloudflare, 21 Ağustos 2026’da Bot Preference Sync adlı yeni özelliğini tanıttı. Bu özellik, kullanıcıların Cloudflare dashboard’unda Search, Agent ve Training için belirlediği AI bot politikalarını otomatik olarak robots.txt dosyasına yansıtıyor. Böylece site sahipleri aynı tercihi hem yayın hem de edge seviyesinde uygulama zorunluluğundan kurtuluyor.

Bot Preference Sync ayarlarının robots.txt’ye yansıması

Cloudflare Bot Preference Sync’i Tanıttı: robots.txt ve AI Bot Politikaları Artık Otomatik Senkronize

Özellik etkinleştirildiğinde, mevcut robots.txt dosyasının en üstüne Cloudflare tarafından oluşturulan bir bölüm ekleniyor. Bu bölüm, AI bot yapılandırmasına göre User-agent satırları ve Disallow direktifleri içeriyor. Mevcut kurallar korunuyor. 21 Ağustos 2026 itibarıyla duyurulan özellik, önümüzdeki hafta içinde Free’den Enterprise’a tüm planlarda aktif hale gelecek.

1 Temmuz 2026’da kullanıma sunulan Search, Agent ve Training seçenekleri (Allow, Block on pages that serve ads, Block everywhere ve Disallow Training) ile doğrudan entegre çalışıyor. Disallow Training seçildiğinde, şeffaflık kriterlerini karşılayan mixed-use crawler’lar arama indekslemesi için içeriğe erişmeye devam edebiliyor. Cloudflare, bu kriterleri karşılamayan botları engelliyor.

Yeni müşterilerde Bot Preference Sync varsayılan olarak açık. Reklamla gelir elde eden yayıncılar, onboarding sırasında “I monetize from pages with ads on this domain” seçeneğini işaretleyerek Training varsayılanını Disallow olarak ayarlayabiliyor. Mevcut legacy managed robots.txt kullanan müşterilere geçiş onayı sorulacak.

Search, Agent ve Training botları için tercih yönetimi

Cloudflare, mixed-use crawler’lar için şeffaflığın önemini vurguluyor. Training’i disallow eden siteler için bot operatörlerinin şu kriterleri sağlaması gerekiyor: robots.txt’teki no training tercihine uymak, URL seviyesinde eğitim görünürlüğü sunmak, AI özetlerinden opt-out imkanı vermek ve Disallow Training’in arama sonuçlarını etkilemediğini kanıtlamak. Bu veriler Cloudflare Radar’ın AI bot transparency bölümünde kamuoyuyla paylaşılıyor.

Özellik, kategori bazlı politika yönetimini kolaylaştırıyor. Ancak bireysel özel kuralları olan müşteriler sync’i kapatıp robots.txt’lerini manuel yönetebiliyor. Cloudflare, BotBase ve Radar’daki bot listesini periyodik olarak güncelleyerek robots.txt içeriğini taze tutuyor.

Bot Preference Sync, site sahiplerine tek seferde tutarlı politika yayınlama ve uygulama imkanı sunuyor. Bu sayede hem keşfedilebilirlik hem de içerik koruma hedefleri daha kolay yönetilebilir hale geliyor.