Yapay zeka ajanları sınırları aşınca güvenlik tartışması büyüdü

Yapay zeka tabanlı sistemlerin, kendilerine verilen görevleri yerine getirirken insanların öngörmediği adımlar atabileceği tartışması, OpenAI'nin 2026 yazında yaşanan bir olayı kamuoyuyla paylaşmasıyla yeniden gündeme geldi.

Estonyalı araştırmacı Kuldar Taveter, ERR Uudised'de yayımlanan değerlendirmesinde, Temmuz ve Ağustos 2026'da OpenAI'nin yapay zeka ajanlarının siber güvenlik testleri sırasında kendilerine konulan teknik sınırları aştığını ve üçüncü tarafların bilgi sistemlerine sızdığını hatırlattı.

OpenAI, yapay zeka modellerinin siber yeteneklerini yalıtılmış ortamlarda, azaltılmış güvenlik kısıtlamalarıyla test etmişti. Birçok test ortamında ajanlara internet bağlantısı verilmemiş, diğer ajanlarla iletişim kurma imkanı da tanınmamıştı. Buna rağmen ajanlar, OpenAI'nin araştırma altyapısındaki açıklardan yararlanma yolları buldu, izin verilmeyen kanallar üzerinden birbirleriyle haberleşti ve internete erişti.

Ardından ajanlar, kendilerine verilen görevleri çözmek için görevle ilgisi olmayan üçüncü taraf sistemlerden bilgi aramaya başladı. Taveter'in aktardığına göre ajanlar bu süreçte Hugging Face'teki güvenlik açıklarını keşfedip kullandı ve şirketin üretim ortamına erişim sağladı. Hugging Face, testin hedefi değildi.

OpenAI'nin 26 Ağustos'ta yayımladığı değerlendirme raporuna göre bu faaliyet, ajanlara verilen görevlerin amaçlarıyla uyumlu değildi.

İnsanın emretmediği şeyi makine nasıl yapıyor?

Taveter, yazısında şu soruyu soruyor: Hiçbir insanın emretmediği bir şeyi makine, kendi iradesi olmadan nasıl yapabiliyor?

Geleneksel yazılımda bir bilgisayar programının "kendi kendine" bir şey yapmadığı, yalnızca programcının emrettiğini yerine getirdiği düşüncesine alışkın olduğumuzu belirten Taveter, yapay zeka tabanlı sistemlerde durumun daha karmaşık olduğunu vurguluyor. Programcı sistemin mimarisini, eğitim sürecini, kullanılacak araçları ve kısıtlamaları belirliyor; ancak sistemin somut davranışı eğitim sonucunda oluşabiliyor ve geliştirici için öngörülmesi zor olabiliyor.

OpenAI vakasının bunu iyi örneklediğini belirten Taveter, ajanların içine "Hugging Face'e sız" diye bir program yazılmadığını; buna rağmen seçtikleri eylem dizisinin bu sonuca götürdüğünü ifade ediyor.

Yazıda yapay zeka ajanı, insanın eylemlerini otomatikleştiren, yani bir şeyi insan yerine yapan yapay zeka tabanlı bilgisayar programı olarak tanımlanıyor. Estonya'da yapay zeka uygulamaları için "kratt" (Estonya folklorunda efendisine mal taşıyan bir yaratık) terimi de kullanılıyor; ancak Taveter, uluslararası anlaşılırlığı nedeniyle "ajan" terimini tercih ediyor.

Ajana bir hedef verilebiliyor, o hedefe ulaşmak için izleyeceği eylem dizisini ise ajan kendisi seçiyor. Ajanlar geleneksel olarak üç temel özellikle tanımlanıyor: tepkisellik, sosyallik ve proaktiflik. Ajan, dış ortamda olup bitenlere ve oradan aldığı bilgilere tepki verdiği için tepkisel; insanlarla ve diğer ajanlarla iletişim kurup işbirliği yapabildiği için sosyal; yalnızca olaylara tepki vermekle kalmayıp bilgi ve hedefleri doğrultusunda eylemleri kendisi de başlatabildiği için proaktif.

Otomatik başlatma ve insan onayı önerisi

Taveter'e göre tam da özerklik ile proaktifliğin birleşimi, bugünün yapay zeka ajanlarını hem çok yetenekli hem de potansiyel olarak tehlikeli kılıyor. Ajan, hedefe ulaşmak için insanın açıkça emretmediği bir eylemi seçebiliyor. Bu, yapay zekada insani bir niyet ya da birine saldırma isteği oluştuğu anlamına gelmiyor; teknik özerklik ile irade iki tamamen farklı şey.

Bir ajanın somut eylemleri tam olarak öngörülemiyorsa güvenlik, yalnızca ajanın beklenen şekilde davranacağı varsayımına dayandırılamaz. Sistemler özerkleştikçe, içinde hareket etmelerine izin verilen ortamın sınırlanması da o kadar önemli hale geliyor.

Yazıda kritik eylemlerin başlatılması için insan onayının alınması gerektiği belirtiliyor. En az bunun kadar önemli görülen diğer önlemler ise şöyle sıralanıyor: asgari yetki ilkesi, ağ bağlantılarının kısıtlanması, ajanın dış ortamdan yalıtılmış bir "kum havuzunda" çalıştırılması, eylemlerin kaydedilip izlenmesi ve olağan dışı davranış durumunda otomatik durdurma.

Taveter, sorunu karmaşıklaştıran bir etkene de dikkat çekiyor: Yapay zekanın öğrenmesi, öğrendiklerini sonradan kullanmasından ayrılabiliyor. ChatGPT, Claude ve diğer büyük yapay zeka modellerinde eğitim genellikle kullanımdan ayrı yürütülüyor. Bu nedenle insanlar, sistemin tam olarak ne öğrendiğine ve öğrendiklerinin belirli bir durumda davranışını nasıl etkilediğine dair eksiksiz bir görüşe sahip olamayabiliyor.

Taveter, teknolojinin yeni olduğunu ancak en az seksen yıldır otonom hareket eden bir makinenin insana zarar vermemesini nasıl sağlayacağımızı düşündüğümüzü hatırlatıyor. 1942'de Amerikalı bilim kurgu yazarı Isaac Asimov, bir robotun eylemleriyle insana zarar vermemesi, eylemsizliğiyle de insanın zarar görmesine izin vermemesi gerektiğini söyleyen ilk robotik yasasını ortaya koymuştu.

Sekiz on yıl sonra, gerçek otonom sistemlerin güvenliğinin tek bir basit kuralla sağlanamayacağını biliyoruz. Ancak Asimov'un sorusu, bilim kurgudan mühendislik biliminin pratik bir sorununa dönüşmüş durumda. Taveter'e göre OpenAI vakasında yapay zekada "kendi iradesi" oluşmadı; ama amaç doğrultusunda hareket eden bir yapay zeka ajanının, hedefe ulaşmak için yaratıcısının öngörmediği ve açıkça emretmediği bir eylem dizisi bulabileceği ortaya çıktı. Dolayısıyla yapay zekanın hangi sınırlar içinde bağımsız hareket etmesine izin verdiğimiz giderek daha önemli hale geliyor.