Aynı soruyu iki farklı biçimde yazıyorsunuz; anlam neredeyse değişmiyor ama yapay zekânın cevabı belirgin biçimde değişebiliyor. Bu, yalnızca “iyi prompt yazma” meselesi değil. Dil modellerinin dili nasıl temsil ettiğine dair daha derin bir kararsızlığı gösteriyor.
Bir yapay zekâya “Bu metni özetle” deyin. Sonra aynı metni verip “Bu metnin ana fikrini ve en önemli ayrıntılarını kısa biçimde çıkar” yazın. İnsan açısından iki talep birbirine çok yakındır. İkisinin de amacı bellidir. Bir öğretmene, editöre ya da meslektaşınıza söyleseniz, ikinci cümleyi birincinin biraz daha açıklanmış hali olarak kabul eder. Dil modeli ise aynı rahatlıkla davranmayabilir.
Bazen yalnızca bir sözcüğü eşanlamlısıyla değiştirmek, örneklerin sırasını ters çevirmek, soruyu olumlu yerine olumsuz kurmak ya da talebin başına “dikkatlice düşün” gibi iki kelime eklemek sonucu şaşırtıcı ölçüde değiştirebilir. Kullanıcının gözünde küçük olan değişiklik, modelin iç dünyasında küçük olmak zorunda değildir.
Bu tuhaflık yeni keşfedilmiş değil. 2022’de Association for Computational Linguistics konferansında yayımlanan “Fantastically Ordered Prompts and Where to Find Them” başlıklı çalışma, birkaç örnekle yönlendirilen dil modellerinde yalnızca örneklerin sırasını değiştirmenin performansı neredeyse son teknoloji düzeyinden rastgele tahmin seviyesine kadar oynatabildiğini gösterdi. Aynı örnekler, aynı görev, aynı model; farklı olan yalnızca dizilişti. Araştırmacılar üstelik iyi çalışan bir sıralamanın başka bir modele aktarılamadığını da gördüler.
Bu sonuç ilk bakışta saçma görünüyor. Bir çocuğa üç örnek gösterip dördüncüyü çözmesini istediğinizde örneklerin sırası elbette biraz etkili olabilir; fakat matematiksel olarak aynı malzemeyi verdiğiniz halde çocuğun bir sıralamada konuyu öğrenip ötekinde neredeyse zar atması tuhaf olurdu. Dil modellerinde ise bağlamın kendisi yalnızca “bilgi kutusu” değildir. Kelimelerin ve örneklerin geliş sırası, sonraki kelime olasılıklarını kuran hesaplamanın parçasıdır.
2026’da yayımlanan iki çalışma bu sorunu daha da keskinleştirdi. “Same Meaning, Different Scores” araştırmasında 23 çağdaş dil modeli, anlamı korunmuş ama sözcükleri veya cümle yapısı değiştirilmiş sorularla test edildi. Eşanlamlı sözcük değişimleri bile birçok modelde istatistiksel olarak anlamlı performans kayıplarına yol açtı. Bazı görevlerde yalnız sonuçlar değil, modellerin birbirine göre sıralaması da değişiyordu. Yani bir benchmarkta “daha iyi model” dediğiniz sistem, aynı sorular biraz başka türlü yazıldığında yer değiştirebiliyordu.
Aynı yıl ACL’de yayımlanan “Understanding the Prompt Sensitivity” çalışması meseleyi modelin iç hesaplaması açısından incelemeye çalıştı. Araştırmacıların bulgularından biri özellikle dikkat çekici: Aynı anlama gelen girdiler modelin içinde zorunlu olarak birbirine yakın kümelenmiyor. Üstelik prompt şablonunun, bazı durumlarda asıl sorunun kendisinden daha büyük bir etki yaratabildiğine dair işaretler buldular.
Buradaki kilit nokta “anlam” kelimesi. İnsanlar dili büyük ölçüde anlam üzerinden değerlendiriyor. “Kapıyı kapatır mısın?”, “Kapıyı kapatabilir misin?” ve “Lütfen kapıyı kapat” üç ayrı cümledir ama gündelik hayatta aynı eylemi bekleriz. Bir dil modeli ise önce bu üç ifadenin pragmatik olarak aynı isteği temsil ettiğini soyutlayıp sonra cevap üretmiyor. Model, gördüğü token dizisinden başlayarak bir sonraki token için olasılık dağılımı hesaplıyor. Eğitim sırasında öğrendiği devasa örüntü ağında her kelime, her sıra ve her bağlam başka çağrışımları harekete geçiriyor.
Bu yüzden prompt, modele verilen bir “emir” olmaktan çok, modelin içinde gidilecek yolu seçen başlangıç koşulu gibi düşünülebilir. Bir dağın zirvesinden aşağı bırakılan iki bilyeyi düşünün. Başlangıç noktaları yalnızca birkaç santimetre farklıysa ilk anda neredeyse yan yana giderler. Fakat arazi karmaşıksa biri bir oluğa, diğeri başka bir yamaca sapabilir. Üretken modellerde de ilk birkaç olasılık farkı, sonraki kelimeler geldikçe büyüyebilir.
Üstelik cevap üretimi çoğu zaman deterministik değildir. Modelin her adımda en yüksek olasılıklı kelimeyi seçmesi şart değildir; sıcaklık ve örnekleme ayarları alternatifleri devreye sokabilir. Bu da küçük prompt farklarının üstüne ikinci bir belirsizlik katmanı ekler. Fakat “aynı soruya farklı cevap” meselesini yalnızca rastgeleliğe bağlamak hatalı olur. Sıcaklık sıfıra yakın olsa bile ifade biçimi, örnek sırası ve talimat yapısı performansı değiştirebilir.
İşin ilginç tarafı, insanlar da bağlama duyarlıdır. Bir sorunun nasıl çerçevelendiği kararlarımızı etkiler. “Yüzde 90 hayatta kalma” ile “yüzde 10 ölüm” aynı oranı anlatır ama aynı psikolojik etkiyi yaratmaz. Fakat dil modellerindeki prompt hassasiyeti bundan farklı bir probleme işaret eder. İnsanlarda çerçeve etkisi çoğu zaman duygu, risk algısı veya dikkatle açıklanabilir. Modelde ise yüzeyde eşdeğer görünen sözcük dizileri, hesaplama boyunca farklı olasılık patikaları açabilir.
Bu nedenle “iyi prompt” denen şey biraz yanlış anlaşılmaya müsaittir. İnternette prompt mühendisliği bazen sihirli sözcük koleksiyonu gibi sunuluyor: Şunu yaz, model zekileşsin; bunu ekle, hata yapmasın. Oysa belirli bir cümlenin işe yaraması onun evrensel bir anahtar olduğu anlamına gelmez. Bir model sürümü, görev veya bağlam için çalışan ifade başka birinde etkisiz kalabilir. 2022’deki sıralama çalışmasının iyi örnek dizilişlerinin modeller arasında taşınamaması tam da bunu gösteriyordu.
Daha sağlam yöntem, tek bir “mükemmel prompt” bulmaya çalışmak yerine önemli görevleri birden fazla eşdeğer ifadeyle test etmektir. Eğer bir hukuki metin özeti, veri sınıflandırması ya da tıbbi bilgi çıkarımı yalnızca sorunun virgülüne bağlı olarak değişiyorsa sorun kullanıcının edebiyat yeteneğinde değildir; sistemin güvenilirliğinde aranmalıdır. Kritik uygulamalarda prompt varyasyonları aslında bir tür stres testi olabilir.
Benchmark tartışması da burada başlıyor. Bir modelin sınav puanı, soruların belirli bir yazımına fazla bağımlıysa ölçtüğümüz şey ne kadar “yetenek”, ne kadar o özel ifade biçimine uyumdur? Aynı anlamı taşıyan sorular model sıralamasını değiştirebiliyorsa tek bir benchmark puanını virgülden sonra iki basamakla vermek olduğundan daha kesin bir tablo yaratabilir.
Bu durum dil modellerinin hiçbir şeyi anlamadığı anlamına da gelmez. Böyle bir sonuç, araştırmaların söylediğinden daha büyük bir iddia olurdu. Modeller çok farklı ifadeler arasında güçlü genellemeler yapabiliyor ve birçok görevde şaşırtıcı derecede dayanıklı davranabiliyor. Sorun, bu dayanıklılığın her zaman garanti olmaması. İnsanların “aynı soru” dediği iki metin ile modelin “yakın girdiler” olarak işlediği iki metin arasında boşluk kalabiliyor.
Belki de asıl şaşırtıcı olan, yıllarca bilgisayarlara verdiğimiz komutların tam tersine alışmış olmamız. Geleneksel yazılımda tek karakterlik hata programı bozabilir ama doğru yazılmış iki eşdeğer komutun aynı işlemi yapmasını bekleriz. Üretken yapay zekâ ise doğal dille konuştuğu için bizde başka bir sezgi yaratıyor: Bizi anlıyorsa, kastımızı biçimden ayırabilmeli.
Şimdilik bunu her zaman yapamıyor.
Bu yüzden geleceğin iyi yapay zekâsı yalnızca daha çok soruya doğru cevap veren sistem olmayabilir. Aynı şeyi farklı biçimlerde söylediğimizde, gerçekten aynı şeyi söylediğimizi anlayabilen sistem de olmak zorunda.