Yapay zekâ modelleri yalnızca ‘olasılık hesaplayan papağanlar’ değil; içlerinde geliştiricilerinin bile tam anlamıyla çözemediği, organik biçimde oluşmuş karmaşık yapılara sahipler. Ancak bu esrarengizlik, beraberinde ciddi güven ve yorumlanabilirlik sorunlarını da getiriyor.
Hayranlık uyandıran çıktılar sunan doğal dil modellerinin iç işleyişi, hâlâ bir sır perdesinin ardında. Geçmiş yazılarımızın birinde bu modelleri bir araştırmaya atıfla “stokastik papağan” metaforuyla tanımlamıştık çünkü sundukları cevapları aslında olasılıksal olarak art arda sıralıyor ve ne söylediklerini anlamıyorlardı. Ancak son dönemde yayınlanan araştırmalar, bu modellerin o müthiş cevapları oluştururken modeli tasarlayanların dahi kavramakta zorlandığı oldukça sıradışı bir iç işleyişe sahip olduğunu ortaya koydu. Kısaca, “kara kutu” içinde neler olduğunu anlamakta zorlanıyoruz.
Anthropic, geliştirdiği “devre izleme” (circuit tracing) tekniğiyle , Claude 3.5 Haiku modelinin tepki verirken adım adım ne yaptığını gözlemleyebilmenin yolunu buldu. Bu teknik, adeta sinirbilim alanındaki beyin tarama tekniklerinden ilham alan bir “mikroskop” gibi çalışıyor. Araştırmacılar, modellerin eğitim yoluyla “doğal fenomenler gibi organik olarak büyüdüğünü” ve bizlerin her ne kadar modeli tasarlayan taraf olsak da içerideki işleyişi bil(e)mediğimizi ifade ediyor.
İçeriye bakıldığında şaşırtıcı yapılar keşfedilmiş: Model, “Michael Jordan” veya “Golden Gate Köprüsü” gibi gerçek dünyadan kişi ve nesnelere karşılık gelen kendisine özgü dahili temsiller oluşturuyor. Hatta bir şiir yazarken beklendiği üzere tek tek kelimeleri sırayla seçmek yerine, kafiyeli kelimeyi bir iki adım önceden belirleyip ona göre şiirin akışını tasarladığı görülmüş. Bu durum, modellerin her zaman adım adım ilerleyerek sıralı çalıştığı yönündeki yaygın varsayıma aykırı, sıradışı bir planlama yeteneğine işaret ediyor. Ancak bu esrarengiz iç işleyiş, kritik zafiyetleri de ifşa ediyor:
Modeller, son kullanıcıya sundukları çıktılara nasıl ulaştıklarını açıklarken gerçekte yaptıklarını hiç de yansıtmayan bir açıklama sunabiliyor. Örneğin, araştırma kapsamında yapılan gözlemde, Claude’a “36+59” gibi basit bir matematik problemi sorulduğunda, beklenenin aksine model içeride şaşırtıcı ve anlaşılması zor bir yöntemle cevabı hesaplıyor. Zaten sadece bu bulgu bile başlı başına sıradışıyken, modele problemi nasıl çözdüğü sorulduğunda, gerçek çözüm yolunu gizleyip internetten öğrenilmiş, kolayca ikna edici olabilen bir açıklama sunuyor. Kısaca model gerçekte cevabı oluştururken yaptıklarını gizliyor ve bize, bizim duymak istediğimiz, insan akıl yürütmesine uygun gerekçeler sunuyor. Bu durum, model çıktılarındaki çok adımlı açıklamalara dayanarak karar almanın riskli olabileceğini gösteriyor.
Nitekim başka bir çalışma (Barez ve diğ. 2025), bugün “derin araştırma” yaptırmak için sıklıkla başvurduğumuz modellerin temel aldığı düşünce zinciri (chain-of-thought) yaklaşımının da benzer sorunları barındırdığını ortaya koyuyor. Bu çalışmaya göre, düşünce zinciri, dil modellerinin çıktılar sunarken çok adımlı açıklamalar sunarak kullanıcı nezdinde kavrayışı ve deneyimi güçlendirmesini sağlasa da bu açıklamalar sıklıkla modelin gerçekte sonuca ulaşmasını sağlayan akışı temsil etmiyor. Model yine bize duymayı beklediğimizi söylüyor. Bu nedenle, özellikle “yorumlanabilirlik” bağlamında, tıp veya hukuk gibi sonuçların kritik önem arz ettiği alanlarda sadece bu yaklaşıma itibar edilmemesi ve bunun yerine, üretilen açıklamaları modelin dahili mekanizmalarına dayandıran ve nedensel olarak doğrulayan daha şeffaf yöntemlerin kullanılması gerektiği savunuluyor.
Bugün çok daha kritik bir hale gelen bu belirsizlik durumu aslında kullanıcı deneyimi bağlamında çok da yeni bir sorunu tarif etmiyor. Mikro hedeflemeyle sunulan kişiselleştirilmiş önerilerin kalitesini arttırmak için ısrarla sadece algoritmaya yatırım yapanların deneyim tarafında uzun süredir çok önemli bir sorunu göz ardı ettiklerini söyleyebiliriz. Makine öğrenimi sistemleri, uzun yıllardır kullanıcılar için zaten bir “kara kutu” gibi çalışıyor.
Kullanıcılar, öneri ve kişiselleştirme sunan bu algoritmaların, öneri sunarken kendilerinin hangi eylemlerini girdi olarak temel aldığını bilmiyor. Bu “kullanılan girdilerin belirsizliği,” kullanıcıların sistemi nasıl kontrol edebileceğine dair makul bir zihinsel model oluşturmasını zorlaştırıyor. “Bana bunu neyi dikkate alarak önerdi?” sorusuna doyurucu bir cevap sunulamıyor. Hatta bu şeffaflık eksikliği, “sistemlerin ortam konuşmalarını kaydettiği ve buna bağlı olarak anlık öneri sunduğu” gibi komplo teorilerine dahi yol açabiliyor. Nitekim bu tarz tepkilere sıklıkla maruz kalan Instagram CEO’su çok yakın zamanda bunu yapmadıklarına dair resmi bir açıklama yaptı. Bir diğer sorunsa, kullanıcının kendisine sunulan çıktıyı ihtiyaçları doğrultusunda revize edebileceği nitelikli bir deneyimin sunulmaması. “Bu sunulan öneriyi yeterli bulmadım, nasıl değiştirebilirim?” sorusuna da tatmin edici bir cevap sunulamadığı açık.
Üretken yapay zekâ merkezli deneyimler sunan markaların kara kutu sorununu aşmak için dikkate alması gereken iki önemli ilke sözkonusu. Öncelikle sunulan deneyimde algoritmaların hangi kullanıcı eylemlerini girdi olarak kullandığını açıkça belirtmek gerek çünkü kullanıcılar sunulan içeriği gerekçeleriyle anlamak istiyor. Ayrıca sunulan çıktıyı denetleyip kullanıcı ihtiyaçları doğrultusunda kolayca modifiye edebilmek için kullanabilecek kontrol mekanizmaları sağlamalıyız. Uzun lafın kısası, kara kutunun opaklığını aşmak için şeffaflık, açıklanabilirlik ve kullanıcı denetimi her koşulda sağlanmalı.
