TalTech araştırmacısı: Sahte bilim yapay zekayı da etkiliyor

Bilimsel makale fabrikaları ve yapay zeka tarafından üretilen içerikler, araştırma dürüstlüğüne yönelik büyüyen bir tehdit oluşturuyor. Tallinn Teknoloji Üniversitesi'nde (TalTech) doktora öğrencisi ve Tyche Institute araştırmacısı Anton Sokolov, geri çekme (retraction) kayıtlarının sorunun yalnızca küçük bir bölümünü ortaya koyduğunu belirtti.

Eylül başında Novaator'un yaptığı bir deney, kara borsada bir bilimsel makaleye ortak yazarlık satın almanın ne kadar kolay olduğunu gösterdi. Birkaç WhatsApp mesajı, 20 gün ve 800 dolar karşılığında yayına hazır bir bilimsel makalenin yazarı olmak mümkün. Ancak yazarlıkla ilgili usulsüzlükler, bilimsel literatürün dürüstlüğüne ilişkin çok daha geniş bir sorunun sadece bir kısmını oluşturuyor.

Deneyin yayınlanmasının ardından Sokolov, sahte bilimin veri tabanlarına girdikten sonra ne olduğunu araştırdı. Çalışmasında, dünya genelindeki geri çekilen bilimsel makaleleri ve araştırma dürüstlüğü vakalarını derleyen Retraction Watch veri tabanını kullandı.

Sokolov, "Retraction Watch'ın kamuya açık veri tabanına bakarsak, 2010'dan 2025'e kadar yaklaşık 61 bin geri çekilmiş makale var. Şu anda her yıl yaklaşık binde iki makale geri çekiliyor. Geri çekme sayısı ne kadar temizlik yapıldığını gösteriyor, ne kadar çöp kaldığını değil" dedi.

Geri çekme kayıtlarında yazarlık ihlalleri küçük bir pay tutuyor

Sokolov, bilgisayar bilimleri literatürüne odaklanan yaklaşık 15 bin geri çekme kaydı içeren bir veri seti derledi. Analiz, doğrudan yazarlıkla ilgili ihlallerin vakaların yüzde 2'sinden azını oluşturduğunu gösterdi. Sokolov, "Ancak bu küçük oran, yazarlığın nadiren satıldığı anlamına gelmiyor. Bildirim, yayıncının neyi kanıtlayabildiğini gösteriyor, gerçekte ne kadar satıldığını değil" diye açıkladı.

Sokolov'a göre geri çekme bildirimlerinde en sık dile getirilen sorun hakem değerlendirmesi. "Tek bir bildirim genellikle birden fazla nedeni aynı anda sıralıyor; hakem değerlendirmesi sorunları vakaların yaklaşık onda yedisinde belirtiliyor" dedi.

Bilgisayar tarafından üretilen içerik de son yıllarda akademide giderek ciddileşen bir sorun haline geldi. Sokolov'a göre bilgisayar bilimleri ve yapay zekada geri çekmelerin en yaygın nedeni, vakaların yaklaşık üçte birini oluşturan bilgisayar üretimi metinler.

2023'te resmi olarak geri çekilen bilimsel makale sayısı ilk kez 10 bini aştı. Sokolov, bu rakamın sorunlu makalelerin gerçek yaygınlığı hakkında çok az şey söylediğini belirtti; çünkü geri çekilen makalelerin büyük çoğunluğu birkaç akademik yayıncının geniş çaplı temizlik programlarından geldi. "Geri çekme sayısı aynı anda hem sorunun kendisini, hem tespitini ve sınıflandırılmasını, hem de bir yayıncının vakaları sonuçlandırma becerisini ölçüyor — sorunlu yazarlığın veya yapay zeka kullanımının gerçek yaygınlığını değil" diye konuştu.

Estonya ile bağlantılı geri çekmeler ve yapay zeka riski

Araştırma dürüstlüğünü izleyen Retraction Watch, Estonyalı araştırmacıların ortak yazarlığını yaptığı makaleleri de listeliyor. Sokolov, "Eylül itibarıyla Estonya kurumlarıyla bağlantılı 13 geri çekme var ve bunların 11'inde diğer ülkelerden ortak yazarlar bulunuyor. Yaklaşık yarısı mükerrer yayın veya analiz hataları gibi daha eski vakalar. Geri kalanı 2023'ten itibaren daha yeni vakalar ve makalelerin hakem değerlendirmesi veya verileriyle ilgili sorunlar içeriyor" diye anlattı.

Sokolov, makale fabrikalarının etkisinin yapay zeka sistemlerine de uzanabileceğini düşünüyor. Büyük dil modelleri internette ve bilimsel yayınlarda bulunan materyallerle eğitildiği için kusurlu veya manipüle edilmiş araştırmalar bu sistemlere de sızabiliyor. Sokolov, geçen yıl yayınlanan bir çalışmada bir dil modelinden geri çekilmiş veya sorgulanabilir makaleleri değerlendirmesinin istendiğini, 6 binden fazla değerlendirmede modelin geri çekilmeden bir kez bile söz etmediğini aktardı.

Sokolov'a göre olası bir çözüm, bilimsel yayınlarda yazarlığı doğrulamak için dijital imza kullanılması. "Şu anda bir bilimsel makalenin yazarı, metindeki bir isimden ibaret. Estonya'da sözleşmeleri ve başvuruları imzalamak için kimlik kartlarımızı kullanıyoruz; benzer şekilde her yazar kendi katkısını dijital olarak imzalayabilir" önerisinde bulundu. Sokolov, bunun henüz uygulanmadığını ancak araştırmayı sürdürmeyi planladıklarını söyledi.