Ajan görevi geçti ama tekrar geçecek mi? Tutarlılık farkı 24,4 puandan 12,0 puana indi

Bir ajan gösterimde görevi tamamlıyor, ancak aynı kullanıcı isteği tekrarlandığında farklı bir yol izleyip başarısız olabiliyor. Hugging Face Blog'da IBM Research tarafından yayımlanan yazı, bu değişkenliğin ortalama başarı oranlarının arkasında gizlendiğini ve ayrı bir ölçüm gerektirdiğini ortaya koyuyor.

Ortalamanın gizlediği tutarlılık farkı

AppWorld üzerinde GPT-4.1 kullanan bir ReAct ajanı, beş tekrarlı çalışmada ortalama %77,4 başarı elde etti. Ancak aynı ajan, görevlerin yalnızca %53,0'ında beş çalışmanın tamamında başarılı oldu. Bu iki sayı arasındaki tutarlılık farkı 24,4 puan olarak ölçüldü.

Ortalama başarı oranı tek başına ajanın tekrar edilebilirliğini göstermiyor; çoğu kıyaslama bu sayıyı raporluyor. Görevlerin yaklaşık dörtte biri, bazen çözülebilen bazen çözülemeyen görevlerden oluşuyor ve görevler arasında hiçbir şey değişmiyor. Fark, yörüngenin zincirlediği onlarca kararın her birinde küçük bir sapma olasılığının birikerek büyük bir olasılığa dönüşmesinden kaynaklanıyor.

Tek bir ortalamanın en yanıltıcı olduğu yer en zor katman. Makaleye göre tutarlılık farkının zorlukla birlikte genişlemesi bekleniyor ve zor görevlerde fark 30 puana ulaşıyor.

Mean@k, Pass^k ve Pass@k arasındaki fark

Standart ajan değerlendirmeleri Mean@k metriğini raporluyor: bir görevin k kez çalıştırılıp ortalama geçme oranının bildirilmesi. Çoğu zaman k=3, bazen yalnızca k=1 kullanılıyor ve her liderlik tablosundaki sayı bu.

Pass^k ise ajanın k bağımsız çalışmanın tamamında başarılı olduğu görevlerin oranını veriyor; kullanıcının aynı sorguyu iki kez çalıştırması durumunda deneyimlediği şey bu. Pass@k ise k denemeden en az birinin başarılı olup olmadığını soruyor; iyimser karşıt olarak kod üretme makalelerinde yaygın ve denemeyi doğrulayıp yeniden deneyebildiğinizde doğru soru.

İlişki her zaman aynı: Pass^k ≤ Mean@k ≤ Pass@k. Bu nedenle makale, Pass^k'nin Mean@k ile birlikte raporlanmasını öneriyor.

Ajanlar neden yön değiştiriyor?

Her karar, bir sonraki tokenlar üzerindeki olasılık dağılımından çıkıyor ve belirleyici olan dağılımın şekli. Keskin olasılık dağılımlarında kütlenin çoğu tek bir token üzerinde toplanıyor ve aynı seçim her çalışmada çıkıyor. Bu tür dağılımlar dayanıklı; GPU kayan nokta ilişkisizliği ve istek gruplama gibi etkiler sayıları hafifçe kaydırsa da açık bir kazananı yeniden sıralamaya yetmiyor.

Düz olasılık dağılımlarında kütle birbirine yakın birkaç token arasında dağılıyor ve hangisinin kazanacağı yazı tura gibi. Bu dağılımlar, yakın beraberliklerin küçük bozulmalarla yeniden sıralanabildiği durumlara karşı savunmasız.

Açgözlü çözümleme ve sabit tohum, dağılımın kendisini değil yalnızca dağılımın tokena dönüşme biçimini belirliyor. Barındırılan bir uç noktada olasılıklar çalışmadan çalışmaya hafifçe kaydığı için aynı modele sıfır sıcaklıkta verilen aynı istem bir yakın beraberliği bugün bir yönde, yarın diğer yönde çözebiliyor. Deneylerde ReAct ajanı temperature 0.0 değerinde çalıştırıldı; bu kurulumda gözlenen varyansın hiçbiri olağan örneklemeden kaynaklanmadı.

Consistency Analyzer: teşhis

Consistency Analyzer, ajanın kendi kaydedilmiş yörüngesini yeniden örnekleyerek kararsız karar noktalarını buluyor. Kaydedilmiş bağlam üzerinde her karar adımını kontrollü yeniden örneklemeyle yeniden oynatarak modelin o noktadaki çıktısının ne kadar değiştiğini ölçüyor.

Analizör her karar noktasını varsayılan olarak k=5 tamamlama isteyen tek bir çağrıyla yeniden örnekliyor. Bu, yeni araç çağrıları veya yeni ortam etkileşimleri değil, zaten kaydedilmiş bağlam üzerinde çevrimdışı bir kez yapılan ek bir model çağrısı. Analizör görevi uçtan uca yeniden çalıştırmıyor; teşhis, üretim trafiğinde kullanılabilir olmasını sağlayacak şekilde bir görevi uçtan uca yeniden oynatmayı gerektirmiyor.

Teşhis için karar adımı başına ek bir LLM çağrısı yeterli. Analyzer tek bir iz gerektiriyor ve doğruluk etiketi (ground truth) gerektirmiyor. Tespit tamamen kara kutu: logit, model içi veya iz dışında bir enstrümantasyon gerekmiyor. Analizör başarısızlığı değil kararsızlığı hedefliyor; böylece ajanın bu sefer doğru yaptığı ama bir sonraki sefer kolayca yanlış yapabileceği adımları da yakalıyor.

Tutarlılık yönergeleri ve sonuçlar

İşaretlenen her adım, standart ALTK-Evolve formatında bir tutarlılık yönergesi adayına dönüşüyor ve mevcut depolama ve erişim hattına yerleşiyor. Yönergeler her görev için tek bir temel yörüngeden üretildi ve 5 yeni çalışmada test edildi.

Yazıda, AppWorld görevinden üretilen bir yönergede not içeriğindeki onay kutusu işaretlerini sayarken düz alt dize sayımı yerine satıra bağlı regex kullanılması öneriliyor; nota başlıklarının sık sık işaret simgesini bir açıklama satırında tekrarladığı belirtiliyor.

Değerlendirme, 168 görev içeren AppWorld test_normal üzerinde GPT-4.1 üzerinde bir ReAct ajanıyla yapıldı. Hugging Face Blog'da IBM Research tarafından yayımlanan yazıya göre toplu Pass^5 %53,0'dan %69,0'a yükselirken Mean@5 %77,4'ten %81,0'a çıktı; tutarlılık farkı 24,4 puandan 12,0 puana inerek yaklaşık yarıya düştü. Önceden tutarsız olan görevlerin yaklaşık üçte biri, ajanın her çalışmada geçtiği görevlere dönüştü.

Aynı görevde Pass⁵ 16,0 puan, benzer görevde 13,0 puan arttı. Benzer görev kazancı, yönergelerin çıkarıldığı senaryonun başka bir varyantına uygulandığında ölçüldü. Yönergeler ortalama doğrulukta herhangi bir kayba yol açmadı; ortalama doğruluğu korumak isteğe bağlı değil, katı bir gereklilikti.

Zorluk katmanlarına bakıldığında orta katman 22,9 puan (göreli %44), zor katman 14,3 puan (göreli %45) kazandı; kolay katman ise 12,2 puan arttı. Mean@5 her zorluk seviyesinde korundu veya iyileşti.

Genelleme ve öneriler

Makaleye göre tutarlılık yetenekten bağımsız bir eksen ve daha güçlü bir model tutarlılık farkını mutlaka azaltmıyor. Bu nedenle yazı, Pass^k'nin Mean@k ile birlikte raporlanmasını ve farkın zorlukla birlikte genişlemesinin beklenmesini öneriyor.

ALTK-Evolve açık kaynak deposu artık Consistency Analyzer'ı ve tutarlılık yönergesi üretimini içeriyor.