Cloudflare, Zstandard ile Cache Depolama Kapasitesini Petabaytlar Ölçeğinde Artırmayı Hedefliyor
Cloudflare, Pingora tabanlı Cache Transcoding prototipiyle uygun metin varlıklarını Zstandard ile sıkıştırarak disk kullanımını ortalama 2.834 kata düşürdü. Stajyer Aashi Patel tarafından geliştirilen sistem, küçük CPU artışı karşılığında önemli depolama ve datacenter'lar arası bant genişliği tasarrufu sağlıyor.
Cloudflare, Zstandard (zstd) algoritmasını Pingora proxy’si içinde kullanarak cache depolama verimliliğini önemli ölçüde artırmayı hedefleyen bir prototip geliştirdi. Sistem, uygun yanıtları cache’e yazmadan önce sıkıştırıyor, Tiered Cache hareketlerinde compressed formu koruyor ve yalnızca istemciye servis ederken çözüyor. Bu yaklaşım, aynı donanım ile petabaytlar seviyesinde etkili cache kapasitesi yaratma potansiyeli taşıyor.
Prototip, 1.1.1.1 Intern Program kapsamında stajyer Aashi Patel tarafından tasarlandı. 1 Eylül 2026 tarihinde yayınlanan blog yazısında, sistemin test sonuçları paylaşıldı. Testlerde eligible varlıklar ortalama 2.834 kat küçüldü. Encode maliyeti 4.31 ns/byte (~232 MB/s) iken decode maliyeti 1.56 ns/byte (~641 MB/s) ölçüldü. Encode işlemi yalnızca cache miss sırasında bir kez yapılıyor.
Zstandard ve Sıkıştırma Performansı
Zstandard, 2016’da Yann Collet tarafından Facebook’ta geliştirilen ve açık kaynaklı bir lossless sıkıştırma algoritmasıdır. Cloudflare prototipi zstd level 3 kullanıyor. Bu seviye, önceki Brotli ve gzip testlerinde hız ve sıkıştırma oranı dengesi sağlayan bir nokta olarak seçildi. Test edilen compressible metin varlıkları (HTML, JSON, CSS, JavaScript) trafiğin %67.3’ünü, byte’ların ise %22.3’ünü oluşturuyor. Bunların yaklaşık %71’i orijinalde uncompressed geliyor.
Medya dosyaları (image, video, font) trafiğin %21.4’ünü ve byte’ların %63.3’ünü temsil ettiği için transcoding kapsamı dışında bırakıldı. Yalnızca Content-Encoding belirtilmemiş, Content-Type compressible text olan, bilinen Content-Length değeri 4 KiB ve üzeri olan 200 OK yanıtları işleniyor.
Cache Transcoding’in Çalışma Mantığı ve Tiered Cache Etkisi
Cache miss durumunda Pingora proxy’si yanıtı zstd ile encode edip diske yazıyor. Metadata orijinal content length’i ve compressed durumunu saklıyor. Tiered Cache devredeyken compressed nesne üst tier’dan alt tier’a transfer ediliyor; decode yalnızca client-facing sunucuda gerçekleşiyor. Üst tier zaten nesneye sahipse origin’e gitmeden compressed form doğrudan alt tier’a taşınıyor.
Depolama işaretçisi, nesnenin birden fazla kez encode edilmesini önlüyor. Testler bir milyondan fazla istekle, kontrollü bir zone üzerinde request logları, Prometheus metrikleri ve Jaeger trace’leri kullanılarak doğrulandı. İki test varlığı sırasıyla 195 KiB ve 272 KiB boyutundaydı ve her ikisi de yaklaşık 2.8 kat küçüldü.
Sistem, cache density’yi artırarak daha fazla nesnenin cache’te kalmasını sağlıyor ve datacenter’lar arası aktarılan veri miktarını azaltıyor. Cloudflare, prototipin CPU bütçesi içinde kaldığını ve ölçtüğü depolama kazancının önemli olduğunu belirtiyor. Sonraki adımlar arasında更高 zstd seviyeleri, daha geniş içerik tipleri ve ek parametre testleri yer alıyor.
