Cloudflare, Verified botların site tercihlerine uyumunu ölçen sistemi tanıttı

Cloudflare, Verified bot davranışının kurallardan sapmaya başladığı durumları değerlendiren ve raporlayan bir sistem tanıttı. Şirket, kimlik doğrulamanın tek başına güven anlamına gelmediğini, güvenin zaman içinde tutarlı davranışla inşa edildiğini belirtiyor.

Verified bot olmanın üç kriteri

Cloudflare Verified Bot olmak için üç kriter bulunur: kimliğini doğru ve güvenli şekilde tanıtmak, yalnızca söylediğini yapmak ve istismar edici davranışta bulunmamak. Botlar, kimliklerini oluşturan istekleri Web Bot Auth ile imzalar ve BotBase bunları açık bir formatta kataloglar.

Cloudflare, Perplexity'nin botunu 2025'te Verified bot listesinden çıkardı. Perplexity'nin botu, taramadan çıkmayı tercih eden sitelerdeki kaynaklara erişmeye çalıştı ve istekleri engellendiğinde kontrolleri atlatmaya çalıştı.

robots.txt ve HTTP 429 sinyalleri

Cloudflare, bir tarayıcının site tercihlerine ne sıklıkla uyduğunu ölçen bir sistem geliştirdi. Sistemin değerlendirdiği ilk sinyaller, botun talimatlara uyup uymadığı ve doğrudan geri bildirime yanıt verip vermediğidir.

Sistem, bir botun gözlemlenen trafiğinin zaman içinde robots.txt'te yayımlanan tercihlerle tutarlı olup olmadığını değerlendirir. robots.txt, tüm veya belirli botlara bir web sitesinin yalnızca belirli bölümlerini taramalarını söyler. Tekil ihlaller ve diğer bir defalık durumlar önemli olmayabilir; sistem bunun yerine site tercihlerini göz ardı eden tekrarlanan davranış kalıplarına bakar.

Sorumlu botların, RFC 9309 ile uyumlu olarak web sitelerinin yayımladığı tercihleri dikkate alması ve bunlara uyması beklenir. robots.txt, botların ve ajanların yapmaması gerekenler için asgari kuralları belirler; ancak belirtilmeyen her şeyin izinli olduğu anlamına gelmez.

Sistem ayrıca botun HTTP 429 yanıtı aldıktan sonra trafiğini yavaşlatıp durdurduğunu veya aynı hızda istek göndermeye devam edip ettiğini değerlendirir. HTTP 429, ziyaretçiye bazen ne kadar beklemesi gerektiğine dair rehberlik de içeren bir istek hızını azaltma direktifidir. Sürekli yavaşlamak veya durmak güveni artırırken, sinyali tekrar tekrar görmezden gelmek güveni düşürür.

Hesap verebilirlik döngüsü

Bu sistem, Bot Preference Sync ve Bot Management ile birlikte otomatik trafik için bir hesap verebilirlik döngüsü oluşturur. Bot Preference Sync, web sitesi sahiplerinin tercihlerini yayımlamasına yardımcı olur; Bot Management ise web sitesi sahiplerinin bu trafiğin nasıl ele alınacağına karar vermesini sağlar.

Cloudflare, güveni zaman içinde inşa edildiği için izole olaylar yerine süregelen davranış kalıplarını değerlendirir. Cloudflare müşterileri, otomatik trafiği yönetmek için Bot Management'ı kullanabilir. Müşteriler, yayımlanan tercihlerini yapılandırılmış politikalarıyla uyumlu hale getirmek için Bot Preference Sync'i kullanabilir.

Cloudflare, bu sistemi Verified botların site tercihlerine ne kadar tutarlı uyduğunu değerlendirmek için dahili olarak kullanıyor. Şirket, bu puanları gelecekte Radar üzerinde kamuya açık şekilde paylaşacağını belirtiyor.

Cloudflare, sistemi tüm Cloudflare müşterilerine sunmayı planlıyor; müşteriler Verified bot trafiğinin nasıl ele alınacağını belirleyen güven eşiğini seçebilecek.