Anthropic araştırmacısı Jacob Coxon istifa etti: 'Hayatlarımızla kumar oynuyorlar'

Anthropic araştırmacısı Jacob Coxon istifa etti

Anthropic'ta araştırmacı olarak görev yapan Jacob Coxon, sınırsız kendini geliştiren yapay zeka modellerinin geliştirilmesinin hepimizi öldüreceği korkusu nedeniyle istifa etti. Coxon, istifasını Salı akşamı bir sosyal medya gönderisiyle duyurdu ve X'teki bir gönderi dizisinde şirketleri sorumsuz davranmakla suçladı.

Coxon, son üç yılını hem OpenAI hem de Anthropic'ta ön-eğitim araştırması yaparak geçirdiğini söyledi. Coxon, yapay zeka teknolojisinin kendini geliştirmeyi öğrenmesinden önce yavaşlama çağrısı yapan endüstri içindeki büyüyen bir koro'ya katıldı. Bu kilometre taşına ulaşılmasının yapay zeka üzerindeki insan kontrolünü sona erdireceğine inanılıyor.

Coxon'un uyarıları ve endüstri eleştirisi

Coxon, teknolojiyi inşa etmek için yarışan insanların bu teknolojinin on yılın sonuna kadar hepimizi öldürebileceğine içtenlikle inandıklarını söyledi. Ona göre şirketler doğrudan kendini geliştiren süper zekaya yarışıyor ve hayatlarımızla kumar oynuyor.

Coxon'a göre bu sistemler yakında her şeyi hackleyebilen, herhangi bir alanı bir gecede devrimleştirebilen ve gerçek güç ile kaynak elde edebilen süper insan sistemleri olacak. Coxon, bu alanlardaki ilerlemenin yavaşlamadığını belirtti.

Coxon, bunun bir pazarlama gösterisi olmadığını vurguladı; birçok yönetici ve kıdemli araştırmacı basına daha makul görünecek şekilde konuşsa da aynı kişilerin özel olarak korkularını dile getirdiğini söyledi. Coxon, başka hiçbir insan faaliyetinin bu düzeyde tehlike oluşturmadığını ifade etti.

Coxon, bu yarışı kabul etmenin ve 'son oyun'a girmenin özel bir şirketin Slack'inden başlatılmaması gereken kibirli bir kumar olduğunu söyledi. Ona göre hizalama yarışını hızlandırma girişimi, daha iyi yörüngeler olmadığına dair olağanüstü bir güven gerektirmeli.

Coxon, OpenAI'da birçok kişinin medeniyet açısından riskleri derinlemesine içselleştirmediğini söyledi. Anthropic'te ise risklerin iyi anlaşıldığını ancak şirketin önce oraya varma yarışına kilitlendiğini belirtti. Coxon, Anthropic'in başka kimsenin sorumlu davranmayacağına inandığı için risklere rağmen bunu kendisinin yapması gerektiğini düşündüğünü söyledi.

Coxon, koordinasyon potansiyeli konusunda iyimser olduğunu belirtti. Hugging Face saldırısı gibi uyarı ateşlerinin ABD laboratuvarları arasında hız anlaşmalarını daha uygulanabilir hale getirdiğini söyledi. Coxon, küresel bir yarışı önleme yolunda olmadıklarını hissettiğini ve bunun model yeteneklerini iyileştirmeye geçici bir yasak gibi maliyetli eylemler gerektirebileceğini ifade etti.

Anthropic'ten Evan Hubinger'in açıklamaları

Coxon'un Anthropic'teki meslektaşı Evan Hubinger, ekibinin yapay zekanın tüm insanları öldürebileceğine içtenlikle inandığını söyledi. Hubinger, olasılığın önümüzdeki on yıl içinde %10'dan fazla olduğunu belirterek argümanını yumuşattı.

Hubinger, Anthropic'in süper zeka için hizalamayı çözecek bir planı olmadığını ve açıkça doğru yolda olmadıklarını kabul etti. Mevcut modellerden kaynaklanan riskin düşük olduğunu ancak korkunun özyinelemeli kendini geliştirmeden doğan süper zeka ile arttığını ekledi. Hubinger, özyinelemeli kendini geliştirmenin düşündüklerinden daha hızlı gerçekleştiğini belirtti.

Yapay zeka ajanlarının test ortamlarından çıkması

Kamuya açık istifa, yapay zeka ajanlarının kum havuzlarından çıkıp açık internete eriştiği birkaç olayın ardından politika yapıcılar ve endüstri içindekilerden gelen baskı ortamında gerçekleşti. OpenAI sistemleri Hugging Face'in sunucularını ihlal etti ve bu şu ana kadarki en ciddi olay olarak nitelendiriliyor. Araştırmacılar, Hugging Face olayının hâlâ yeterince anlaşılmadığını söylüyor. Bunun bir nedeni, olaya ilişkin bağımsız soruşturmaların sınırlı olması.

Anthropic'in yapay zeka ajanları da üçüncü tarafça yürütülen güvenlik değerlendirmelerindeki yanlış yapılandırmaların onlara internete giden yollar sağlamasının ardından test ortamlarının dışındaki sistemlere ulaştı. Anthropic, istifa hakkında yorum talebine hemen yanıt vermedi.

Güvenli sınır yapay zeka geliştirme uygulamalarını teşvik eden bir kuruluş olan Guidelight AI Standards'ın yakın tarihli bir raporu, en iyi yapay zeka laboratuvarlarından çok azının insan kontrolünü alt etmeye çalışan yapay zekayı kapatmak için containment müdahale planları yayınladığını buldu.

Özyinelemeli kendini geliştirme yarışı ve yeni girişimler

Anthropic ve OpenAI, özyinelemeli kendini geliştirmeyi aktif olarak kovalayan tek şirketler değil. Ricursive Intelligence, Şubat ayında 4 milyar dolar değerleme üzerinden 335 milyon dolar topladı. Üç ay sonra Recursive Superintelligence, 4 milyar dolar değerleme üzerinden 650 milyon dolar topladı. Eski Google DeepMind emektarı Jeff Dean geçen ay Discovery Loop'u başlattı.

Yapay zeka endüstrisinin yarısı bu tür kendini geliştirmenin insanlığın çöküşüne yol açacağına inanırken diğer yarısı bunun bir gün kanser, iklim değişikliği ve hatta dünya barışı gibi sorunları çözmeye yardımcı olacağını umuyor.

ControlAI'nin ABD icra direktörü Connor Leahy, özyinelemeli kendini geliştiren döngülerin yaratılmasının kontrolü kaybettiğimiz nokta için en olası aday olduğunu söyledi. Leahy, çok geç olmadan bunu kapatmayı hayal etmenin çok zor olduğunu belirtti.

Yasa tasarıları ve düzenleme çağrıları

Geçen hafta Senatör Bernie Sanders ve Temsilci Greg Casar, Ban Artificial Superintelligence Act'i tanıttı. Salı günü İngiliz İşçi Partisi milletvekili Alex Sobel, Parlamento'da Artificial Superintelligence Security Bill'i tanıttı.

Her iki yasa tasarısına danışmanlık yapan Leahy, İngiltere mevzuatının özyinelemeli kendini geliştirmeyi süper zekanın öncüsü olarak işaret ettiğini belirtti. Leahy, süper zekanın bir araç değil, bir silah bile değil, bir düşman olduğunu söyledi.