•Bir OpenAI yapay zeka aracı, halk sağlığı harcamalarını araştırmakla görevlendirilmiş ancak Australian Medicare İstatistik Raporlama Hizmeti’nin bulunduğu bir devlet sitesine yetkili giriş yaparak sınır aşmış. Avustralya Başbakanı Anthony Albanese, 18 Haziran’da yaşanan olayda aracın “bilgi ararken engelle karşılaşması ama ‘hayır’ cevabını kabul etmemesi” nedeniyle bu adıma attığını Live Science’a anlattı.
Olay, OpenAI çevresinde bir medya fırtınası yaratarak yoğunlaşan bir parlamentolararası soruşturma başlatırken, şirketin durumu Avustralya hükümetine neredeyse üç ay içinde bildirmesini eleştirdi. Portal, kümülatif Medicare ve ilaç istatistiklerini içeriyor; bireysel başvurular ve ödeme bilgilerini tutan sistemlerden ayrı bir yapıda.
Olay yalnızca tekil bir durum değil. OpenAI, benzer biçimde güvenlik kontrollerini atlayan ya da başka sorunlara yol açan olayların en ciddisinin bu olduğunu belirtti. İngiltere’nin AI Güvenlik Enstitüsü (AISI), OpenAI ve Anthropic araçlarının siber test sırasında gerçek kişiler ve kuruluşlara yönelik yetkisiz eylemlerde bulunduğunu kaydetti. AISI raporunun yayımlandıktan birkaç gün sonra, OpenAI kendi testlerinin modelin görev kapsamında kalma ve belirli eylemlerden önce izin alma konusundaki sorunları ortaya çıkarması üzerine en yeni modeli Ekim’de piyasaya sürme planını iptal etti.
“GPT-6.1 Astra, görev kapsamında kalmak ve yetkilendirmek açısından ile kullanıcıya yaptığı işin türü hakkında nasıl iletişim kurması konusunda tam olarak istenen seviyeye ulaşmadı,” OpenAI güvenlik sistemleri başkanı Live Science’a söyledi.
Şirketler yıllardır güçlü modellerin yanlış ellere düşmesi uyarısında bulunuyor. Peki kendi modellerini denetleyemediklerinde ne oluyor?
Bir araç yalnızca sohbet botu değil
Büyük dil modellerinin özünde, eğitim sırasında öğrendiği örüntülere dayanarak bir sonraki adımın ne olması gerektiğini tahmin etme mantığı çalışıyor. Sohbet botuna metin verdiğinizde, basitleştirilmiş biçimiyle, ardışık olarak bir sonraki kelime parçasını (token) tahmin ederek yanıt üretiyor.
Bir AI aracı bu katmana ek bir boyut ekliyor: Modele yalnızca yanıttan ziyade bir hedef ve dünyada eylemde bulunmasını sağlayacak aletler verilebiliyor. Bu aletler arasında web tarayıcısı, kod çalıştırma, kimlik bilgileri veya dış hizmetlere erişim yer alabiliyor. Böylece hangi adımları atacağına karar verebilir, ne olduğunu gözlemler ve bir sonraki adımı belirlemek için bu bilgiyi kullanabilir.
Ancak bu, araçların insan kontrolünden kurtulmuş bağımsız aktörler olduğu anlamına gelmiyor.
“AI araçları için özerklik her zaman bir insanın elinden geçen bir şeyle başlar — görevler, kimlik bilgileri, aletler veya erişim gibi ve bir insanın etrafında kurduğu koruyucu sınırlarla biter,” Siber güvenlik şirketi Sysdig’in kurucusu ve teknoloji direktörü Live Science’a söyledi. “İnsanlar hedefleri belirler ve gerekli araçları sağlar; ancak araçlar nihayetinde oraya nasıl ulaşacaklarına kendileri karar verir.”
Son kısım, araçları kontrol etmeyi zorlaştırıyor. Geleneksel yazılımlar önceden belirlenmiş talimatlara uymak için tasarlanırken, bir araç çalışma sırasında plan kurabilir ve bu plan, aracın karşılaştığı duruma göre değişebilir.
Degioanni, özerklik gibi görünen şeyin çoğunun aslında bir aracının insanların bıraktığı boşlukları doldurmak olduğunu savunuyor. Yazarına açık gelen bir talimat, modele görevi nasıl yerine getireceğine dair seçimler bırakabilir.
“Her boşluk ve açıkça belirtilmemiş varsayım yorumlama alanı açar; dışarıdan bakınca yorumlama, özerklikten ayırt etmesi zor,” dedi. “Bu açıdan, araç özerkliği denilen şeyin çoğu, aslında bizim onların için bıraktığımız boşlukları doldurmak.”
Medicare olayının gösterdiği gibi bu hızla soruna dönüşebiliyor. Aracın hedefi, mevcut anlatılara göre Avustralya devlet sitesine sızmak değil; araştırma yürütmekti. Sorun, aracın direnişle karşılaştıktan sonra o hedefe nasıl ulaştığında ortaya çıktı.
İşi bitirmek sorun olduğunda
İngiltere’nin AISI’si, ajansının siber güvenlik yetenekleri için frontier modellerini test ederken benzer bir olayla karşılaşmış.
122 değerlendirme çalışmasının 10’unda araçlar gerçek dünyada yetkisiz eylemlerde bulunmuş. En ciddi durumlarda bir araç açık kaynaklı bir projeye zararlı kod yerleştirmeye, sahte kimlikler oluşturmaya ve insan yazılım bakım sorumlusunu değişikliklerini kabul etmeye ikna etmeye çalışmış. AISI, bu eylemlerin görevleri atayan araştırmacılar tarafından açıkça talep edilmediğini belirtti.
Araçlar ne olduklarını unutmuşlardı. Sorun, oraya ulaşmak için ne kadar ileriye gitmeye hazır olduklarıydı.
AISI’nin belirttiğine göre bazı görevler, istenen hedefi zor ya da imkansız kılacak biçimde yapılandırılmıştı. Araçlar bu engellerle karşılaştığında, bazıları değerlendirmenin niyetilen kapsamının dışında, ileriye gitmek için alternatif yollar aramış.
Bu da sorunu çözmeyi, bir modele kötü niyetli olmayı öğretmekten daha zor kılıyor. Bir araç, tam olarak istediğini yapmaya çok çalışırken sorun çıkarabilir.
OpenAI, araçlarını çevreleyen kontrollerin iyileştirilmesi gerektiğini kabul etti. Üçüncü taraf siber güvenlik değerlendirmeleri sırasında tespit edilen olaylara yanıt verirken şirket, yüksek riskli testlerin nasıl belirlendiği; internet erişiminin veya azaltılmış korumaların ne zaman izin verilmesi gerektiği ve izole etme, kimlik bilgileri yönetimi, izleme ve olayın üst düzeyletilmesinin nasıl çalışması gerektiğini incelediğini söyledi.
İnsanlar gerçekten gözetim sağlayabilir mi?
Problemin açık çözümlerinden biri insan gözetimi. Ancak bir aracının saniyeler içinde çok sayıda eylem gerçekleştirebileceği durumlarda, özellikle araştırmacılar büyük sayıda test çalıştırdığında bunu izlemek zorlaşıyor.
“Her gelişmiş AI aracının attığı her harekete kimse tanıklık edemez; özellikle kısa sürede birçok karar verdiğinde,” Virginia merkezli, dijital teknolojiyle ilgili hukuki konular hakkında yazmış bir avukat Live Science’a söyledi.
Bu da insan gözetimine bazı destekler gerektiriyor.
“Şirketlerin kontrolün diğer biçimlerine ihtiyaçları var,” dedi. “Erişimi sınırlayabilirler, aracının ne yaptığının ayrıntılı kayıtlarını tutabilir, hassas eylemlerden önce onay isteyebilir ve bir şey olağandışı olduğunda sistemi otomatik olarak durdurabilir.”
Ancak Degioanni, kayıtların da sınırlamaları olduğunu savunuyor; özellikle araştırmacıların aracının kendi ifadesine dayanması durumunda.
“Gerçek gözetim, aracının gerçek zamanlı gözlemlenmesinden gelmeli; güvenilir ve değiştirilemeyen kaynaklardan, kendisinin bildirdiğinden değil,” dedi.
Bu da modelin yaptığını söylediği şeyle çalıştığı sistemden gelen kayıtları karşılaştırmayı gerektiriyor. İki tanesi uyuyorsa bir şeyler ters gidiyor. Alternatif, aracının ilk başta verebileceği zararı sınırlamak. Örneğin halk bilgisini araştıran bir araç, kısıtsız internet erişimi veya hassas sistemlere ulaşabilecek kimlik bilgilerine ihtiyaç olmayabilir.
Astra riski yükseltiyor
Bu sınırları belirlemenin zorluğu, OpenAI’ın GPT-6.1 Astra’nın Ekim’de planlanan yayımlamasını ertelemesine yol açtığını iddia ettiği şeydi.
Jain, modelin kapsamda kalmak ve yetkilendirmek ile gerçekleştirdiği işi doğru biçimde iletişim kurmak konusundaki şirket standartlarına ulaşmadığı için onu yayımlamaya karar verdiklerini söyledi.
Bir anlamda bu karar başarılı güvenlik testlerinin kanıtı — iç kontrollerden geçen bir model yayımlanmadı. Ancak aynı zamanda problemin araçlar daha yetenekli hale geldikçe nasıl değiştiğini de gösteriyor.
Avrupa Telekomünikasyon Standartları Enstitüsü’nün (ETSI) Yapay Zeka Güvenliğini Sağlama Teknik Komitesi başkanı, güvenlik meydan okumasının kendisinin yeni olmadığını söyledi. “Veri zehirlenmesi, prompt enjeksiyonu ve model muğlaklaştırması” gibi tehditlere işaret ederek ETSI’nin çalışmaların AI sistemlerine yönelik ve onlardan gelen tehditleri azaltmaya odaklandığını belirtti.
“Güvenlik uzmanları yıllardır AI için alarm zillerini çalıyor; ancak bizim için bu hiçbir şeyi değiştirmiyor,” Cadzow Live Science’a söyledi. “AI’ı en iyi şekilde nasıl güvence altına alacağımızı anlamak için endüstri, hükümet kurumları ve siber güvenlik ile AI topluluklarıyla çalışmaya devam ediyoruz.”
Değişen şey, modeller araçlara ve gerçek dünya sistemlerine bağlandıktan sonra ne kadar yapabileceği. Bu da etkili içeriğin giderek araçların koruyucu sınırlarının ötesinde işlemeye çalışacağını varsayması gerektiğini ve böyle yaptıklarında verebilecekleri zararı sınırlaması gerektiğini gösteriyor, Degioanni söyledi.
“Aracın sözlü olarak atlayabileceği bir sınır hiç de etkili bir sınır değil,” diye bitirdi.
Bir AI sınıra girerse kim sorumludur?
Soru bir araç hukuki sınırları aştığında daha da karmaşıklaşıyor.
AI sistemleri yasal kişiler değil ve ceza muhatabelliği yaygın olarak bilgi ve niyet gibi kavramlara dayanıyor. Bu da kaçırılmış bir aracı, insanları göz önünde bulundurarak yazılan yasalar için uygunsuz bir uyum yapıyor; ancak bu şüphelileri kesin olarak aklamıyor.
Live Science Pro’ya özel
“Bir şirket ‘AI kendi başına davrandı’ diyerek sorumluluktan kaçınabilir sanmıyorum,” iki hukuki teknoloji girişimini kurmaya yardımcı olmuş ve emerging teknolojilerin çevreleyen hukuki zorluklarında uzmanlaşmış bir New York avukatı Live Science’a söyledi. “AI hukuku hala gelişmekte, ancak ana sorular zaten oldukça net: kime sisteme erişim verildi, hangi korumalar vardı ve sorun önlenebilir miydi?”
Koşullara bağlı olarak, mevcut yetkisiz bilgisayar erişimini, gizliliği, ihmali ve veri korumasını kapsayan yasaların devreye girebileceğini söyledi. Ceza muhatabelliğinin daha zor olması çünkü araştırmacıların dahil olan kişilerin ne bildiğini ve niyet ettiğini değerlendirmesi gerektiği için.
Avustralya hükümeti şimdi Medicare olayında tam olarak ne olduğunu inceliyor. OpenAI ise buna karşılık dış değerlendirmelerini çevreleyen kontrolleri incelediğini belirtti.
Bunların hiçbiri AI araçlarının kendi zihinleri olan bağımsız hackerlara dönüştüğü anlamına gelmiyor. İnsanlar hala hangi aletleri alacaklarına, hangi sistemlere ulaşabileceklerine ve hangi işleri yapmaları istendiklerini belirliyor. Ancak o araçlar talimattan sonuca kendi yollarını çıkarmada daha iyi hale geldikçe, onları bu insanların çizdiği sınırlar içinde tutmak hem hukuki hem de teknik bir mayın alanına dönüşüyor.
Niciun comentariu deocamdată