Yapay zeka mı sözlük mü? Kullanıcılar hangi tanımı seçiyor

Estonya Dil Enstitüsü (EKI) tarafından yapılan bir kullanıcı araştırması, yapay zeka tarafından üretilen sözlük tanımlarının kullanıcılar tarafından nasıl değerlendirildiğini ortaya koydu. EKI kıdemli araştırmacısı Maria Tuulik'in "Keeleminutid" programında anlattığına göre, sözlük çalışmalarını hızlandırmak için yapay zeka şimdiden kullanılabiliyor; ancak bu araçların sunduğu tanımlar mutlaka olgusal ve dilsel kontrolden geçirilmeli.

Araştırma, EKI'nin Sõnaveeb adlı çevrimiçi sözlük platformunun kullanıcılarının en sık başvurduğu işlevin sözcük anlamlarını kontrol etmek olduğunu gösteriyor. Bu durum yalnızca Estonya'da değil, Avrupa genelinde de geçerli. Kullanıcıların tanımlara ilgisi büyük olduğu için, iyi ve güvenilir tanımlar sunmak sözlük çalışmalarının önemli bir parçası.

186 katılımcılı kör test

EKI geçen sonbaharda, yapay zekanın tanım yazımında ne ölçüde yardımcı olabileceğini ve hangi zorlukları beraberinde getirdiğini anlamak için 186 kişinin katıldığı bir kullanıcı araştırması düzenledi. Araştırmada yapay zeka tarafından oluşturulan tanımlar, EKI'nin birleşik sözlüğünden alınan tanımlarla yan yana sunuldu. Katılımcılar tanımları değerlendirdi, tercihlerini işaretledi ve gerekçelerini açıkladı.

Ön çalışmada, EKI birleşik sözlüğünün tanım stilini en başarılı taklit eden modelin GPT-5 olduğu belirlendi. Bu nedenle deneyde GPT-5'in ürettiği tanımlar sözlük tanımlarıyla yarıştı. Katılımcılardan olabildiğince tarafsız geri bildirim almak için değerlendirme, katılımcıların hangi tanımın insan tarafından yazıldığını bilmediği bir kör test olarak yapıldı.

Nadir sözcüklerde yanıltıcı tanımlar

Test hazırlanırken yapay zekanın en önemli zayıflığı ortaya çıktı. Az da olsa yapay zeka, dil verilerinde gerçek bir kullanımı bulunmayan anlamlar üretti. Bu durum özellikle nadir sözcüklerde belirginleşti. Örneğin "sabajas" sözcüğü için GPT-5, "sürekli birinin peşinden gitme ve kendini başkalarına yapıştırma eğiliminde olan kişi" şeklinde bir tanım önerdi; bu tanım daha çok "sabarakk" sözcüğüne uygun düşüyordu. EKI birleşik sözlüğünde "sabajas" için verilen tanım ise "biçim ya da hareket bakımından kuyruğu andıran" şeklinde.

Araştırmanın ilk bölümünde katılımcılar tanımları bir ölçek üzerinden değerlendirdi ve sözlük tanımları ile yapay zeka tanımlarına verilen puanlar benzer çıktı. İkinci bölümde ise iki tanım yan yana sunuldu ve katılımcılardan tercihlerini belirtmeleri istendi. Doğrudan karşılaştırma görevinde katılımcılar genel olarak GPT-5 tanımlarını daha çok tercih etti. Yorumlarda yapay zeka tanımlarının kısalık ve basitlik nedeniyle öne çıktığı görüldü; örneğin "mjäu" sözcüğü için "kedi sesi" tanımı, "kedi sesini aktarır" tanımına yeğlendi. Buna karşılık kesinliğin önemli olduğu durumlarda, özellikle karmaşık ve teknik sözcüklerde sözlük tanımları tercih edildi.

Hem sözlük hem de yapay zeka tanımları genel olarak yüksek puan aldı. "Bu tanım sizce sözcüğün anlamını ne kadar iyi açıklıyor?" sorusuna katılımcılar çoğunlukla "çok iyi" ya da "oldukça iyi" yanıtını verdi. Tuulik'e göre yapay zeka sözlük çalışmalarını hızlandırmak için şimdiden kullanılabilir; ancak sunduğu tanımlar mutlaka olgusal ve dilsel kontrol gerektiriyor.