Eston uzman: Yapay zeka sahte bilim makalelerini öğreniyor

Tallinn Teknoloji Üniversitesi (TalTech) doktorantı ve Tyche Institute araştırmacısı Anton Sokolov, bilimsel yayıncılıkta güven sorununu ve veri tabanlarından çıkarılan makaleleri inceliyor. Sokolov'a göre geri çekilen çalışmaların sayısı, tespit edilen sorunlu yayınların kapsamını gösteriyor; ancak bilimsel literatürde dolaşımda kalanların gerçek sayısını ortaya koymuyor.

Eston devlet yayın kurumu ERR'nin Novaator bilim portalının eylül başında yaptığı bir deney, makale fabrikalarının kara pazarında bilimsel bir makaleye ortak yazar olmanın ne kadar kolay olduğunu göstermişti. Yalnızca birkaç WhatsApp mesajı, 20 gün ve 800 ABD doları karşılığında yayına hazır bir bilimsel makalenin yazarı olmak mümkün hale geliyor. Ancak yazarlıkta usulsüzlük, bilimsel yayıncılıktaki dürüstlük sorununun yalnızca bir parçası.

Novaator, deneyin yayımlanmasının ardından TalTech doktorantı ve Tyche Institute araştırmacısı Sokolov ile iletişime geçti. Sokolov, kendi çalışmasında sahte bilimin veri tabanlarına girdikten sonra ne olduğunu araştırıyor. Araştırmasında, dünya genelindeki bilimsel makale geri çekme işlemlerini ve bilimin güvenilirliğiyle ilgili diğer vakaları bir araya getiren Retraction Watch veri tabanından yararlanıyor.

Sokolov, "Retraction Watch'ın kamuya açık veri tabanına bakarsak, 2010'dan 2025'e kadar geri çekilmiş yaklaşık 61 bin makale var. Şu anda yılda binde yaklaşık iki makale geri çekiliyor. Bu geri çekme sayısı temizliği gösteriyor, geride ne kadar çöp kaldığını değil" dedi.

Araştırması kapsamında bilgisayar bilimleri literatürüne odaklanan yaklaşık 15 bin geri çekme kaydı içeren bir veri kümesi oluşturan Sokolov, toplanan verilerin analizinde doğrudan yazarlıkla ilgili ihlallerin vakaların yüzde ikisinin altında kaldığını tespit etti. Sokolov, "Küçük oran, yazarlığın az satıldığı anlamına gelmiyor. Bu veri, yayıncının neyi kanıtlayabildiğini gösteriyor, ne kadar satıldığını değil" diye konuştu.

Geri çekme sayıları sorunun gerçek boyutunu göstermiyor

Bu durum yayıncılar için de zorluk yaratıyor. Satış işlemleri genellikle kapalı görüşmelerde gerçekleşiyor ve yayımlanan metinde satın alınmış bir yazarlığa dair doğrudan bir işaret bulunmuyor. Sokolov'a göre bu nedenle geri çekme bildirimlerinde hakem değerlendirmesindeki sorunlara çok daha sık atıf yapılıyor. "Bir bildirimde genellikle birden fazla gerekçe bulunuyor; hakemlik sorunu her on vakadan yaklaşık yedisinde belirtiliyor" dedi.

Bilim dünyasında son yıllarda bilgisayar tarafından üretilen içerik de giderek büyüyen bir sorun haline geldi. Sokolov'a göre bilgisayar bilimleri ve yapay zeka alanındaki geri çekmelerin en sık nedeni, vakaların yaklaşık üçte birini oluşturan program tarafından üretilmiş metin.

2023'te resmi olarak geri çekilen bilimsel çalışma sayısı ilk kez 10 bin sınırını aştı. Sokolov, bu sayının sorunlu makalelerin gerçek yaygınlığı hakkında fazla fikir vermediğini belirtiyor; çünkü geri çekilen makalelerin büyük bölümü tek tek bilimsel yayınevlerinin toplu temizlik programlarından kaynaklandı. Sokolov, "Geri çekme sayıları aynı anda sorunu, sorunun tespitini, sınıflandırılmasını ve yayıncının vakaları sonuna kadar işleme kapasitesini ölçüyor; sorunlu yazarlığın ya da yapay zeka kullanımının gerçek yaygınlığını değil" değerlendirmesini yaptı.

Bilim etiğini izleyen Retraction Watch portalında Eston bilim insanlarının ortak yazarlığıyla ilgili kayıtlar da bulunuyor. Sokolov, "Eylül itibarıyla Eston kurumlarıyla bağlantılı 13 geri çekme var ve bunların 11'i diğer ülkelerden ortak yazarlarla ilgili. Yaklaşık yarısı, örneğin iki kez yayımlanmış bir metin ya da analiz hatası gibi daha eski vakalar. Kalanlar 2023'ten itibaren daha yeni vakalar ve makalenin denetimi veya verileriyle ilgili sorunlar içeriyor" diye açıkladı.

Retraction Watch verilerine göre Estonya ile bağlantılı bir geri çekmede makale fabrikası işareti de bulunuyor. Sokolov, "Ancak bu, buradaki yazarlardan birinin yazarlık satın aldığını göstermiyor" dedi.

Araştırmacıya göre makale fabrikalarının etkisi yapay zeka sistemlerine kadar uzanabilir. Büyük dil modelleri internette ve bilimsel yayınlarda bulunan malzeme üzerinden eğitildiği için bu sistemlere hatalı veya manipüle edilmiş bilimsel çalışmalar da girebilir. Sokolov, "Tehlike gerçek ve halihazırda ölçüldü. Geçen yıl yayımlanan bir çalışmada bir dil modeline geri çekilmiş veya şüpheli makaleler değerlendirildi. 6.500'den fazla değerlendirmede geri çekilmeyi bir kez bile belirtmedi" dedi.

Sorun, yapay zekanın sahte bilim materyalini makale resmen geri çekilmeden önce öğrenebilmesinde yatıyor. Kamuya açık metin kontrol aracı Problematic Paper Screener, on binlerce makaleyi şüpheli olarak işaretledi. Sokolov'un ilk pilot hesaplamasına göre bunlardan haziran itibarıyla 20 binden fazla makale geri çekilmemişti.

Araştırmacı olası bir çözüm olarak bilimsel yayınlarda yazarlığın dijital imzayla kanıtlanmasını öneriyor. Sokolov, "Şu anda bir bilimsel makalede yazar sadece metindeki bir isim. Estonya'da sözleşmeleri ve beyanları ID kartla imzalıyoruz; aynı şekilde her yazar kendi katkısını dijital olarak imzalayabilir" diye konuştu.

Sokolov'a göre yazarların ve bilimsel yayıncılıktaki diğer tarafların dijital olarak tanımlanması şeffaflığı artırır ve yazarlıkla manipülasyonu zorlaştırır. "Bu henüz hayata geçirilmedi ama araştırmayı sürdürmeyi planlıyoruz" dedi.