Açık/şeffaf akran değerlendirmesi nedir ve şeffaflığa neden ihtiyacımız var?

Dün, daha önce değerlendirmesini yaptığım bir makalenin kararına ilişkin mail gelince aşağıdaki twiti (evet tweet) attım. Etkileşimi neden bilmem çok oldu. Açık, bence ondan daha önemlisi şeffaf hakemlikle ilgili belli ki talep ve kafa karışıklıkları var. Şu an yıllık izinde kariyerimin şimdiye kadarki en büyük projesini yazmaya çalışıyorum ama bu sabah parmaklarımı açma aktivitesi olarak bu blogu yazmaya karar verdim. Hazırsak başlıyoruz.

… ama önce bir kavram karmaşasına son verelim

Buraya kadar hakemlik dedim ama önce kavram konusunda bir düzeltme yapayım. İngilizcede peer review dediğimiz sürecin Türkçedeki daha doğru karşılığı akran değerlendirmesi. Çünkü bu sistemin temel fikri bir çalışmanın o alanda bilgi ve deneyim sahibi başka araştırmacılar tarafından değerlendirilmesi. Buradaki peer, akademik hiyerarşide sizden yukarıda duran biri olmak zorunda değil. Aynı bilimsel topluluğun bir üyesi olmak yeter şart. Profesör de olsanız, kariyerinin başında bir araştırmacı da olsanız, gerekli uzmanlığa sahip olduğunuz sürece birbirinizin akranısınız.

Hakem sözcüğü ise Türkçede ister istemez farklı bir çağrışım taşıyor. Hakem tarafların üzerinde duran, karar veren, doğruyla yanlışı ayıran bir otorite gibi algılanabiliyor. Bilimsel değerlendirmede ise ideal olarak böyle bir hiyerarşi yok. Değerlendirici çalışmanın sahibi veya yargıcı pozisyonunda değil aslında. O çalışmayı uzmanlığı çerçevesinde eleştirel olarak değerlendiren ve tavsiye veren bir akran. Onun tavsiyesiyle son kararı verense editör.

Bu nedenle benim kavram tercihim akran değerlendirmesi. Ancak hakemlik Türkiye’de akademik yayıncılıkta çok daha yerleşik ve yaygın kullanılan bir ifade olduğu için yazıya onunla başladım. Bundan sonra ikisini zaman zaman birbirinin yerine kullansam da kastettiğim şey peer review, yani akran değerlendirmesi.

Geleneksel değerlendirme türleri

Bilimsel yayıncılıkta uzun yıllardır en yaygın kullanılan iki model tek körleme (single-blind) ve çift körleme (double-blind) akran değerlendirme modeli. Tek körleme değerlendirmede akran yazarın kim olduğunu bilir, yazar ise değerlendiricinin kimliğini bilmez. Çift körleme değerlendirmede ise ne yazar değerlendiricinin kimliğini ne de değerlendirici yazarın kimliğini bilir. Bu iki model arasındaki temel farkı açık ders platformunda şu şekilde ifade etmiştim:

Açık akran değerlendirmesindeki “açık”lık.

Tek ve çift körleme sisteminin ana öznesi raporlar değil. Kimlikler. Kimliklerin tamamen açık olduğu sisteme açık hakemlik veya açık akran değerlendirmesi deniyor. Hem yazar, hem değerlendirici birbirinin kimliğini biliyor.

Akran değerlendirmesinin hangi modelle yürütülmesi gerektiği tartışması yeni değil. Nature Neuroscience’da 1999 yılında yayımlanan “Pros and cons of open peer review” başlıklı editoryal bile meselenin iki tarafını oldukça net ortaya koyuyor. Anonim değerlendirmede hakem, özellikle kıdem, statü veya güç ilişkilerinin bulunduğu durumlarda, yazarın tepkisinden çekinmeden eleştirisini dile getirebiliyor. Buna karşılık anonimlik aynı zamanda hakemin söylediği sözün sorumluluğunu üstlenmemesine, yazarın ise haksız veya keyfî olduğunu düşündüğü bir değerlendirme karşısında kendisini savunmasız hissetmesine yol açabiliyor. Üstelik anonimlik değerlendirmeyi önyargılardan otomatik olarak arındırmıyor. Editoryalde aktarılan çalışmalar, örneğin hakemlerin kendi ülkelerinden gelen çalışmalara daha olumlu yaklaşabildiğini ve değerlendirme süreçlerinde cinsiyete dayalı önyargıların ortaya çıkabildiğini gösteriyor. Açık değerlendirme bu açıdan hesap verebilirliği artırma ve güç asimetrisini azaltma potansiyeline sahip. Ancak bunun da bir bedeli olabilir: Kimliği bilinen bir hakem, özellikle kendisinden daha kıdemli veya güçlü bir araştırmacının çalışmasını değerlendirirken daha temkinli davranabilir ve eleştirisini yumuşatabilir. Dolayısıyla tartışma basitçe “anonimlik iyi midir, açıklık iyi midir?” sorusuna indirgenemiyor. Bu noktada benim tweete geri dönüyoruz.

Şeffaf hakem değerlendirmesi

Tweette sözünü ettiğim makaleye üç hakem atanmıştı. İlk hakemin raporu yazara oldukça üstten bakan bir dille yazılmış, makalenin içeriğiyle ise pek az ilgilenmiş bir rapordu. “Bu böyle olmaz” diyen ama nasıl olabileceğini asla söyleyemeyen/önermeyen konuşmaları bilirsiniz. İşte tam da onlardan. Açıkçası hakemin makaleyi ne ölçüde okuduğundan bile emin olamadım. Yazarların Latin kimlikleri ve çalışmanın konusu düşünüldüğünde, birkaç cümleyle verilen bu ret kararının bende bıraktığı izlenim ayrıca rahatsız ediciydi.

Benim raporum ve üçüncü hakemin raporu ise birbirinden bağımsız biçimde oldukça benzer bir noktaya varıyordu: Makalenin mevcut haliyle kavramsal sorunları vardı ama çalışma daha güçlü bir kavramsallaştırma ve söylemle uçabilirdi. İkimiz de bu nedenle majör revizyon önermiş ve bunun nasıl yapılabileceğini ayrıntılı biçimde anlatmıştık. Yani ortada yazarların çalışmalarını geliştirmek için kullanabilecekleri iki ayrıntılı değerlendirme vardı. Hatta başkaları için bile öğretici olabilecek raporlardı. Gel gör ki sonuçta makale reddedildi. Raporlar da püf diye yok oldu. Umarım yazarlar dikkate alarak revize eder ve başka dergide şanslarını denemeye devam ederler.

Bu arada ret kararında kendi başına bir sorun yok. Üç hakemden ikisinin majör revizyon önermesi, editörün makaleyi kabul etmek veya revizyona göndermek zorunda olduğu anlamına gelmez. Bazı dergilere o kadar çok makale gider ki tek bir ret kararı yeterlidir ve eleme için tercih edilendir. Bu dergiler üç majör ve hatta üç minör revizyon kararına rağmen bile makaleyi reddedebilir. Bazılarıysa üç ret kararı alan makaleyi bile yayımlayabilir (keşke yayımlamasalar). Bazısı hakeme göndermez bile. Yazar doçent olacaktır, hızlıca yayınlanması gereken sayfalar vardır falan. Bilirsiniz böyle hikayeleri. Bunun ana sebebi ise editoryal kararın bir oy sayımı olmaması. Akran değerlendirmesi de esasen yukarıda da söylediğim gibi bir akran tavsiye sistemi.

Benim sorunum ise kararlarla veya kimliklerle ilgili olmaktan çok o kararın nasıl üretildiği ile ilgili.

Yıllardır bilimde coğrafi önyargılar ve merkez/çevre ayrımı üzerine çalışan biri olarak, akran değerlendirmesinin bir eşik bekçiliği mekanizmasına dönüştüğünü elimde kalemim ve cetvelimle izliyorum. Bilimsel bilginin dolaşıma girmesine kimin izin verdiğini, hangi gerekçelerle verdiğini ve hangi çalışmaların daha kapıda elendiğini göremediğimiz bir sistemde, mevcut eşitsizliklerin yeniden üretilip üretilmediğini de denetleyemiyoruz. Bunun önüne geçilmezse (ki geçilmeyecek) bir süre sonra bilimde söz söyleme hakkına sahip coğrafyanın zaten ayrıcalıklı olan %1’in %1’inden ibaret kalacağını görmek çok zor değil.

Bu nedenle benim için hakemin kimliğinin açık olması tek başına yeterli değil. Hatta raporların açık olmadığı bir açık hakemlik modeli, şeffaflık görüntüsü yaratırken eşik bekçiliğinin kendisini görünmez bırakabilir. Kimin değerlendirdiğini bilmek elbette önemli olabilir ama benim daha çok bilmek istediğim şey, neyin, hangi gerekçeyle ve nasıl değerlendirildiği. Bunlar ayrıca öğretici ek belgeler. Hem yeni yazmaya başlayacak için, hem diğer değerlendiriciler için. Üstelik bir de akranın değerlendirme performansını değerlendirmek için.

Bu yüzden açık hakemlikten söz ederken benim asıl önemsediğim şeffaf hakemlik: hakem raporlarının ve mümkünse yazar yanıtlarının bilimsel kaydın bir parçası olduğu bir değerlendirme sistemi. Şu yazımda bahsettiğim derginin yaptığı gibi: Başka bir bilimsel yayıncılık pratiği mümkün

Uygulamada ne getirir?

Şeffaf hakemliğin ne getirdiğini yukarıda bahsettiğim dergide yaşadığım bir olay üstünden anlatayım. O dergide yayınlanması için gönderdiğimiz makalenin sonuç bölümünde şöyle yazıyordu: The present study clearly shows that the main problem in the publishing sector is not predatory publishing, but the unequal state of academia. Bu çıkarımı yapmak istedik çünkü verimiz gerçekten clearly bunu söylüyordu. Ancak söyleyemedik. Çünkü yağmacı yayıncılığın dorukta olduğu iki ülkeden araştırmacıların, verisi ne söylerse söylesin bunu yazması çok bold bir hareketti. Üç tur döndük. Yumuşadı, yumuşadı… Artık makale sonuç kısmında onu söylemiyor.

Peki olumlu ne oldu derseniz şu an twitter’ın geldiği hal yüzünden bulamasam da bizim bu makalenin hakem raporları twitter’da benim alanımda çalışan akademisyenlerce çok tartışıldı. Çünkü Oxford Üniversitesinden bir akademisyen aynı şeyi, aynı şekilde söylediğinde kimse bu çok bold bir yaklaşım demiyordu. Biz ise bunu bu şekilde söyleyemiyorduk. Yumuşatmadan yayınlanamıyordu. Yani yazdığımız cümle gerçek hayatta kanıtlanmıştı ve bizim en önemli kanıtımız yayınlanmış hakem raporlarıydı. O raporlar açıkça yayınlanmasa her şey inkar edilebilirdi. Aksine, yeni ve şahane bir tartışma doğurdu.

Bizde en çok nerede ihtiyaç var?

Düşünsene, hayli güçlü bir dosya ile doçentlik unvanına başvurdun. Gelen raporda aşağıdaki yazıyor. Raporu kimse görmüyor. Seni kimin değerlendirdiğini kimse bilmiyor. Değerlendiricilerin değerlendirme yetkinliğini kimse sorgulamıyor. Bilimsel yetkinliklerini de kimse sorgulamıyor. Değerlendirici raporuna “ferdi çalışma kapasitesi” gibi şeyler yazdığında sistem bayrak kaldırmıyor. O da bunu bildiğinden her dönemde raporlarının tonunu artırıyor. Bir sonraki dönemde biraz daha. Sonra biraz daha. Onun raporunu gören ve merdiveni tırmananlar, raporların böyle yazılması gerektiğini düşünüyor. Her dönem bir öncekinden daha kötü oluyor. Böyle böyle sistem sürüyor.

… yani çare?

Drogb.. Şaka şaka. Benim için çözümün bir parçası akran değerlendirmesini ortadan kaldırmak ya da bütün hakemlerin isimlerini açıklamak değil. Değerlendirme sürecinde üretilen raporları görünür hale getirmek. Çünkü görünürlük yazarın hakkını korumasının yanında değerlendiriciyi de yaptığı değerlendirmenin arkasında durmaya, eleştirisini gerekçelendirmeye ve kullandığı dili düşünmeye zorluyor.

Üstelik şeffaflığın başka faydaları da var. İyi bir hakem raporu başlı başına bilimsel bir katkı. Bazen bir makalenin neden güçlü olduğunu, nerede tökezlediğini ve nasıl daha iyi hale getirilebileceğini makalenin kendisi kadar iyi anlatabiliyor. Fakat mevcut sistemde bu emeğin büyük kısmını yazar ve editör dışında kimse görmüyor. Makale reddedilirse çoğu zaman tamamen kayboluyor.

Ben bu nedenle hakem raporlarının, mümkünse yazarların bu raporlara verdikleri yanıtlarla birlikte, bilimsel kaydın bir parçası olmasını önemsiyorum. Hakemin ismi açık olmak zorunda değil. İsterse anonim kalabilir. Ama değerlendirmesi görünür olmalı. Çünkü şeffaflık iyi değerlendirmenin nasıl yapılacağını da görünür kılıyor.

Bir önceki bölümde anlattığım döngüyü kırmanın yollarından biri bu. İnsanlar yalnızca kötü raporları görerek “hakemlik böyle yapılır” diye öğrenmesinler. İyi raporları da görsünler. Eleştirinin aşağılamak olmadığını, ret önermenin iki cümleyle bir çalışmayı çöpe atmak anlamına gelmediğini, akran değerlendirmenin bilimsel tartışmanın bir parçası olduğunu görsünler. Kariyerlerinin en başında yaptıkları akran değerlendirmelerine bakıp bakıp “ulan ne biçim insanmışız” demesinler. Bu işi iyi örneklerden öğrensinler. Örneklerin hepsi açık olsun. Gerekise çarşaf çarşaf…

* Tüm değerlendirmeleri AI yapsın, daha objektif olur diyenlere ise kötü bir haberim var. AI bildiği her şeyi elindekilerden öğrendi. Bir ara algoritmic bias da yazarız kısmetse :=)

** Sayın editörler, raporları dergi politikası sebepli açamasanız da kendine atıf isteyen hakemler için şöyle editoryal notlar hazırlayabilirsiniz. Bu son yayınlanan makalem için gelmişti. Editöre ne kadar övgü düzeceğimi bilemedim.