OpenAI, Habitat'ı Rust ile yeniden yazdı: saniyede 70 milyon istek
OpenAI, çevrimiçi depolama platformu Habitat'ı bağımsız bir hizmete dönüştürdü ve 2026'nın ikinci çeyreğinde Rust dilinde yeniden yazdı. Şirkete göre platform saniyede 70 milyondan fazla istek işliyor, haftada 1 milyardan fazla kişiye hizmet eden ürünleri destekliyor ve 500 petabayttan fazla veriye hizmet veriyor.
Habitat nedir ve neden bağımsız bir hizmete dönüştürüldü?
Habitat, OpenAI ürünlerinin ihtiyaç duyduğu bilgilere hızlı ve güvenilir erişim sağlamak için kurulan çevrimiçi depolama platformudur. Ürünlerin yanıt verebilmesi için gereken birçok ayrı veri aramasını yönetir; veri istekleri yavaş olursa ürün yavaş hissettirir, başarısız olursa ürün tamamen çalışmayı durdurur.
Habitat ilk olarak DevDay 2023'te GPT'leri desteklemek için ChatGPT'nin ana sunucusuyla etkileşime giren küçük bir Python kütüphanesi olarak kullanıma sunulmuştur. Kütüphane, ürün ekiplerine altta yatan ayrıntılara hâkim olmadan veri saklama ve alma imkânı sundu. Habitat verinin türünü, nereden gelip gideceğini ve isteğin izinli olup olmadığını belirleme işlerini üstlendi. Ürün mühendislerinin şema arama, yönlendirme, yetkilendirme, şifreleme, serileştirme, istek şekillendirme ve bağlantı havuzu yönetimiyle ilgilenmesi gerekmiyordu.
2025 yılının ortalarında Habitat istemci tarafı uygulama olarak sınırlarına ulaştı. Katman karmaşıklaştıkça ve OpenAI hizmet sayısı arttıkça geriye uyumlu protokol değişiklikleri uygulanamaz hale geldi. En kritik veri kümelerini bölgesel olarak dağıtılmış Azure Cosmos DB hesaplarına taşımak, istemciye ek yönlendirme mantığı eklenmesini gerektirdi; istemci kütüphanesindeki değişiklikler düzinelerce hizmet arasında karmaşık koordinasyon gerektirdi ve operasyonel arızalara açık hale geldi.
Bunun üzerine Habitat, dağıtım, gözlemlenebilirlik ve platform iyileştirmeleri için tek bir kontrol noktası oluşturmak amacıyla bağımsız bir hizmete dönüştürüldü. Parçalı güncellemeler yönetilmek yerine iyileştirmeler merkezi olarak uygulanabildi ve her OpenAI ürününe anında fayda sağlandı. Merkezi hizmet, erişim kontrolü politikalarını uygulamak, denetim günlüğü tutmak ve Azure Cosmos DB gibi temel depolama kaynaklarına erişimi sınırlamak için tek bir darboğaz noktası sağlar.
Ölçek: saniyede 70 milyon istek, haftada 1 milyar kişi
OpenAI'ya göre Habitat saniyede 70 milyondan fazla istek işlemektedir. Platform, haftada 1 milyardan fazla kişinin kullandığı ürünleri desteklemekte ve yaklaşık 40 coğrafi bölgede hizmet vermektedir. Bugün 500 petabayttan fazla veriye hizmet veren sistem, son üç yılda yıldan yıla 10 kattan fazla büyümüştür. Habitat, 1 milyardan fazla ChatGPT kullanıcısına hizmet verecek şekilde ölçeklenmiştir.
Python hizmetinin getirdiği gecikme sorunları
Python'un yüksek verimli bir hizmet olarak kullanılması ağ gecikmesini artırmıştır. OpenAI'ya göre Python kullanımı yerel kütüphane yürütmesine kıyasla önemli ölçüde CPU ve bellek ölçeklendirme maliyeti eklemiştir. Ortalama bir kullanıcı isteği yüzlerce veritabanı çağrısına yol açtığında, kullanıcının hissettiği gecikme en yavaş veritabanı çağrısıdır.
OpenAI, Python'un verimsizliklerinin 100x ölçekte kabul edilemez olacağını öngörmüş ve nihai bir yeniden yazımın neredeyse kesin olduğunu düşünmüştür. Kısa vadede Python hizmetinin performans ödünlerini kabul ederek daha acil zorluklara öncelik verilmiş, temel API'ler kurulmuş ve sağlam altyapı inşa edilmiştir.
Habitat, asyncio gecikmesini gerçek zamanlı olarak ölçmek için arka plan görevlerini periyodik olarak zamanlayıp beklenen ile gerçek yürütme süresi arasındaki farkı kaydetmektedir. Yüksek kullanımda, süreç başına mütevazı sayıda eşzamanlı istek bile yüzlerce milisaniyeye, bazı uç durumlarda birkaç saniyeye varan zamanlama titremesi üretebilmektedir. Bu nedenle her sürecin yalnızca az sayıda eşzamanlı isteğe hizmet etmesi sağlanmış ve bunun yerine Python çalışan süreç sayısı büyük ölçüde artırılmıştır. Bir pod başına 8'e kadar Python süreci çalıştırılması, daha yüksek CPU kullanımı ve daha düşük gecikme sağlamak için alınmış bir mimari karardır.
Hizmetin ilk sürümünde yüksek asyncio gecikmesinin bir kök nedeni, Statsig üzerinden yapılan özellik bayrağı yapılandırmalarının periyodik JSON ayrıştırmasıydı. Statsig varsayılan olarak yapılandırmaları her dakika titreşimsiz olarak yeniden sorgulayacak şekilde ayarlanmıştı ve yapılandırma her hizmetteki tüm üretim kurallarını içermekteydi. Bu nedenle her dakika her podun tüm çalışanları dev bir yapılandırma dosyasını ayrıştırmak için CPU döngülerini harcamıştır. Düzeltme olarak daha küçük hedefli bir yapılandırma dağıtılmış, yenileme aralığı uzatılmış ve bu tür arka plan görevlerine titreşim eklenmiştir.
Bağlantı havuzu ve LIFO kaynaklı metastabil arıza
Python'un aiohttp TCPConnector'ı varsayılan olarak LIFO bağlantı yeniden kullanımı yapmaktadır; bu yöntemde en son döndürülen bağlantı bir sonraki istek için seçilir. İstemci tarafı bağlantı havuzlamasıyla çok sayıda eşzamanlı istek yapan tek bir istemci süreci yalnızca birkaç sunucu bağlantısı kurup tüm yükünü yalnızca birkaç sürece gönderebilmektedir. İstek patlaması sırasında yavaş aşırı yüklenmiş sunuculara giden istekler bağlantıları havuza daha geç döndürmüş ve bu nedenle sonraki istekler tarafından daha sık seçilerek trafik zaten zorlanan podlarda yoğunlaşmıştır.
Bağlantı havuzunun FIFO yeniden kullanımına yamalanması metastabil arıza geri besleme döngüsünü kırmış ve kararlı durum istek varyansını da azaltmıştır. Bugün OpenAI altyapısında bağlantı havuzlama ve sunucu yüküne duyarlı dengeleme için çoğunlukla Istio ve Envoy kullanılmaktadır. Envoy, Python'un HTTP/1 bağlantılarını çoklama avantajından yararlanmak için HTTP/2'ye yükseltmekte, ardından bu bağlantıları havuzlayıp ömürlerini uzatmaktadır.
Basit NoSQL API ve CDC ile Rockset aktarımı
Habitat, istemcilerin rastgele SQL sorguları oluşturmasına izin vermek yerine basit bir NoSQL API sunmaktadır. Bu API, TAO'dan esinlenerek istemci tanımlı nesne ve kenar türleri etrafında modellenmiştir. Habitat, nesnelerin doğrudan kenarlarını sorgulama dışında tipik grafik geçiş sorgularını desteklememektedir.
Değişiklik verisi yakalama (CDC) ile çevrimiçi depolamadaki değişiklikler izole Rockset örneklerine neredeyse gerçek zamanlı olarak aktarılmaktadır. Böylece daha karmaşık sorgulama ihtiyaçları çevrimiçi depolamadan ayrıştırılmaktadır.
Rust'a geçiş: 6 kat CPU, 15 kat bellek verimliliği
OpenAI'ya göre Python, zirvede saniyede 20 milyondan fazla istek sunmaya yardımcı olmuştur. 2026'nın ikinci çeyreğinde hizmet yalnızca 2 mühendis, Codex ve GPT‑5.5 ile Rust dilinde yeniden yazılmıştır. Yeni Rust hizmeti üretim isteklerinin %95'ini işlemektedir; OpenAI'ya göre Python önümüzdeki haftalarda tamamen kullanımdan kaldırılacaktır.
OpenAI'ya göre Rust hizmeti Python sürümüne kıyasla 6 kat daha CPU verimli ve 15 kat daha bellek verimlidir.
