Bu yıl bütün derslerim Pazartesi günü. Günüm 8.40’ta doktora STS dersiyle başlıyor. 21.30’da Bibliyometri ve Sosyal Ağ Analizi dersi ile son buluyor. An itibariyle günün yorgunluğu üstüme çöktü. Bir sonraki derse kadar enerji toplamak için kendime bir kahve yaptım ve sabahki doktora dersindeki minik bir tartışma üstüne bir blog yazmaya karar verdim. Öğrencilere sorduğum soru hayli basitti aslında: “Sizce alanımızda yayınlanmış en kaliteli üç makale hangisi?”
Şimdi hangi alandan olursanız olun aynı soruyu sizin yanıtlamanızı istiyorum. Sizce alanınızdaki en iyi, kaliteli, en kusursuz makale hangisi?
Araştırma değerlendirme üzerine ne tartışılırsa tartışılsın iki kutuplu bir tartışma sürüyor. Bir grup “konuşuyorsun ama h-indeksin kaç, bakalım konuşma hakkın var mı?” diyor. Diğer grup ise buna karşılık “yayın ve atıf sayısı kalite göstergesi değildir, nicelik niteliği ölçemez” diye yanıt veriyor.
Benim bu tartışmada durduğum yeri zaten biliyorsunuz. Ama son zamanlarda bu pozisyonun sık sık yanlış yorumlandığını fark ediyorum. Yayın ve atıf sayıları her şeyi ölçmez/söylemez, fakat hiçbir şey söylemez gibi de görülemez. Bir şey söyler. Bu göstergeler akademik seviyeyi tek başına belirlemek için kullanılmaz. Ancak akademik faaliyet hakkında fikir vermek için kullanılır. Bibliyometrinin temel amacı da tam olarak burada: Kesin yargılar üretmekten çok belirli örüntüleri görünür kılmak. Bir araştırmacının hangi alanda çalıştığı, nerede söz ürettiği, hangi sorunlarla ilgilendiği bu göstergeler üzerinden kısmen izlenebilir. Ancak buradan doğrudan “kalite” hükmü çıkarmak başka bir aşamadır. Dolayısıyla burada siyah-beyaz bir taraf tutma meselesi yok. Olmamalı. Sayıları tamamen dışlamak da, onları tek ölçüt haline getirmek de aynı derecede sorunlu.
Peki neden derseniz, cevap aslında sabah derste ortaya çıktı.
Öğrencilerin cevapları…
Öğrencilerin söylediği makaleler daha önce bir şekilde okuma listelerine girmiş, aynı bölümde ders aldıkları hocaların önerdiği, sürekli okumaları için yönlendirildikleri dergilerde yayınlanmış çalışmalardı. Hep aynı isimler, aynı dergiler, aynı ekoller. Öğrenciler aslında kötü bir iş çıkarmıyordu. Bildiklerini söylüyorlardı. Daha doğrusu bildikleri/öğretildiği kadarıyla en iyiyi tarif ediyorlardı.
Sonra aynı soruyu bana yönelttiler. Ben de kendi okuduğum evrenden üç örnek verdim. İçlerinden bazıları biraz zorlama örneklerdi kabul. Onlardan daha çok okuduğum için daha fazla seçenek vardı belki ama sonuç değişmiyordu. Benim verdiğim örnekler de benim evrenimle sınırlıydı ve geldiğim ekolün, birlikte çalıştığım insanların, içinde yetiştiğim akademik çevrenin bir yansımasıydı. Yani benim cevabım da öğrencilerinkinden daha objektif değildi. Sadece farklı bir yerden taraflıydı.
Bir süre sonra fark ettik ki aslında en iyiyi ararken etrafımızdan etkilenme sebebimiz yeterince okumamış olmamızdan çok neyi okuyabildiğimiz, iyiyi nasıl tanımladığımız, kimlerden haberdar olduğumuz ve akademik olarak nasıl sosyalleştiğimizdi. Bir araştırmayı “iyi” yapan şey bizim dünyamıza ne kadar girebildiği ile ilgiliydi.
Kaliteye odaklanalım ama “kalite” ne ve neyin kaliteli sayılacağını kim belirliyor?
Buradan tartışma doğal olarak epistemik kalite konusuna kaydı. “En iyi” neye göre belirleniyor/belirlenmeli? Alanın sınırları sabit değilken, doğru kabul edilenler zamanla değişirken, farklı yaklaşımlar aynı anda varlığını sürdürürken, gerçekten nesnel bir kalite ölçütünden söz etmek mümkün mü? Yoksa “kalite” belirli bir akademik topluluğun üzerinde uzlaştığı geçici bir ortak dil mi?
Akademide metrik temelli sistemlerin en güçlü alternatifi uzun yıllardır akran değerlendirmesi olarak görülüyor. Nicelik yerine niteliğe bakmayı önerdiğimizde çoğu zaman işaret ettiğimiz yer burası. Ancak bu sistemin de kendi içinde ciddi sınırları var. Değerlendiren kişinin, değerlendirdiği çalışmadan bağımsız olması her zaman mümkün değil. Hatta bazı durumlarda değerlendirici değerlendirdiğinden daha yetkin olmadığında devreye bambaşka dinamikler giriyor. Akademik hiyerarşiler, ekoller, görünürlük, tanınırlık gibi unsurlar değerlendirme sürecine sızabiliyor. Epistemik kalite de belirli bağlamlarda tanımlanan ve yeniden üretilen bir değer haline geliyor. Bu noktada asıl soru şuna dönüşüyor: Kaliteyi kim belirliyor? Herkesin kalite algısı bir mi? Böyle bir şey olabilir mi?
Dersim genelde cevapsız sorularla ilerliyor. Cevapların gerçekten olmadığı, olsa bile üzerinde uzlaşmanın mümkün olmadığı sorular bunlar. Herkes haklı ama kimse tamamen haklı değil. İşte tam bu belirsizlik anında öğrenciler şu soruyu sordu: Madem insanlara güvenmiyoruz, o zaman araştırmaları ve araştırmacıları yapay zeka değerlendirse?
Çözüm insansız değerlendirme olabilir mi?
Mantıklı ve benim uzun yıllardır üstünde çok düşündüğüm bir soru bu. İnsanların taraflı olduğu yerde, makine daha objektif olabilir mi? Tabi ki denedik. ChatGPT’ye aynı soruyu sordum. Aldığım cevap benim akademik reflekslerime şaşırtıcı derecede yakındı (kesin beni deniyor bu kadın dedi ve spesifik makale adı vermedi). Çünkü model benim beklentilerimi, benim daha önce kurduğum cümlelerden, vurgulardan, tercihlerden öğrenmişti. Çünkü ona benimle ilgili bildiği her şeyi ben öğrettim anlıyor musun? Hiçbir şeyini almasa bile bakış açısını benden aldı.
Daha da acıklısı pek sık kullanmadığım için beni hiç tanımayan Gemini var olmayan yayınlar gördü. Halüsinatif hareketler içine girdi. Sanıyorum “o makaleler henüz yazılmadı tatlı kıs” demek istedi.
Neyse nihayetinde tüm bunlar başka bir sorunu görünür kıldı: Yapay zekanın bilgisi de ya öğrenilmiş önyargılardan ya da hatalardan oluşuyordu. Bu da yeni bir soruyu görünür kıldı.
E ne yapacağız hoca?
Eğer aynı değerlendirme toplulukları, aynı akademik ağlar ve aynı önyargılarla bu kez nitelik ölçmeye kalkarsak daha mı objektif olacağız? Nitelik ölçülebilir mi?
Niteliği ölçmeye kalkarsanız olacağı söyleyeyim. Ölçütleri belirsizleşmiş, gerekçelendirilmesi daha zor, dolayısıyla daha da subjektif kararlarla karşılaşacağız. Çünkü niceliğin sınırlılıklarını eleştirirken, nitel değerlendirmelerin güç ilişkilerinden tamamen bağımsız olabileceğini varsaymak zerrece gerçekçi değil.
Hepimiz en iyiyi değerlendirirken kendi konumumuzdan konuşuyoruz. Bize göre en iyiyi seçmek çok kolay. Ve ne hikmetse, o “en iyi”nin içinde çoğu zaman hiç tanımadığımız ya da sevmediğimiz insanlar yok. Çünkü neden olsun. Hepimiz çok elit bir çevreden geliyoruz neticede.
Bu konu sayıları tamamen bırakmak ya da yalnızca niteliğe odaklanmak gibi dar bir eksene sığmıyor. Değerlendirme biçimlerini konuşurken, o değerlendirmeleri yapanların konumunu da tartışmaya açmak gerekiyor. “Sayıların ötesine geçmek” istiyoruz ama henüz nereye geçeceğimizi tam olarak bilmiyoruz. Belki de başlangıç noktası tam olarak burası olmalı.
“En iyi” tek başına metriklerde de, tek başına uzman yargısında da saklı değil. O, her seferinde yeniden kurulan, tartışılan ve çoğu zaman da güç ilişkileri içinde şekillenen bir uzlaşma. Bu nedenle tek tip bir değerlendirme sistemi bir çözüm üretmiyor. Aynı sorunu farklı bir biçimde yeniden üretiyor.
Neyse ben tam da yeri gelmişken projemi övmeye geçeyim. Sözleşme süreçlerini başarıyla tamamlayabilirsek Haziran ayından itibaren tam 4 yıl boyunca OPENRAM’de yapmaya çalışacağımız şey de bu olacak: tek bir doğruya indirgenmeyen, çok boyutlu ve çoğulcu bir değerlendirme yaklaşımı kurmak. Bize şans dileyin.
Buradan bu konudaki başka bir yazıya geçmek isterseniz: Önyargının kör noktası olarak kendine körlük ve araştırma performans değerlendirme sistemleri
* Derse kadar yazdım ama son bir okumaya fırsat olmamıştı. Ders bitti, okudum ve yayınladım. Taslaklarda bir yazı daha bekliyor. O da şahane bir akademik içten beslenme makalesi üstüne. O da 24 saat içinde buralarda olacaktır. Çünkü bitmiş bir şeyi bekletmek hamurumda yok.