Bilimin değerlendirilmesinde çok dillilik üzerine…

Bu hafta DORA’nın davetlilerinden biri olarak çok dilliliğin araştırma performans değerlendirmelerinde tanınması üzerine konuşacağım. Gerçi siz bu satırları okurken ben muhtemelen çoktaan konuşmuş olacağım. Bu yazıyı da kendime bir ön hazırlık, webinarı dinleyemeyenler için de bir özet olarak yazmaya karar verdim. Kısa bir özet yazmayı ben de isterdim ama şimdiden biliyorum çok kısa bir özet olmayacağını. O yüzden baştan uyarayım, oldukça uzun bir yazı olacak.

Ben neden çok dillilik konusunda konuşuyorum? Ben kimim, konu ne?

Öncelikle “neden bir yıldır çok dillilik üzerine çalışmaya başladın sen, hayırdır?” sorularına yanıt vermem gerek. Daha önce yaptığım hiçbir çalışmadan farklı değil aslında bu seçimim. Araştırma alanım hakkındaki fikirlerim 12 yıl içinde öyle değişti ki, yaptığım tüm çalışmalar bu değişimin bir yansıması.

Şöyle başlayayım. 2007 yılında mezun olup Web of Science’ın (WoS) Türkiye temsilcisi olan Mikro Bilgi’de (şimdi Online Bilgi) çalışmaya başladığımda akademisyenlerin ve karar vericilerin atıf dizini aşkına bizzat şahit oldum ve o dönem araştırma performans değerlendirmelerinin en büyük probleminin veri kalitesi ile ilgili sorunlar olduğunu düşünmeye başladım. Zira akademisyenler standardizasyon sorunu bulunan bir veri seti üzerinden değerlendiriliyor, doğru ve eksiksiz veriye ulaşmayı bilmeyen akademisyenler ise “doğru” ölçülemiyordu. Sonra bu konuda ne yapabilirim diyerek yüksek lisansa başladım. Yüksek lisans tezimi bu konu üzerine yazdım ve tek amacım karar vericilere veri temizleme sürecinden geçmemiş atıf verisinin ne kadar hatalı olabileceğini ispatlamaktı (tez / tezden çıkan makale).

Yüksek lisansı tamamlamamın üstünden çok zaman geçmeden fark ettim ki veri kalitesi ile ilgili sorunlar akademik performans değerlendirmelerinin en kolay yoldan çözülebilecek en küçük sorunları. “Ölçme” işi kökünden sorunlu ve eğer asıl sorunu görmek istemiyorsanız veri kalitesini bahane etmek en temiz kaçış yolu. Şöyle düşünün, siz akademisyenlere sana havuç vereceğim ama önce 10 kere zıpla derseniz her birinin zıplamak için seçtiği yol farklı olacaktır. Kimi trambolin kullanır, kimi sakatlanma riskini göze alıp limitlerini zorlar, kimi kendisi yerine başkasını zıplatır. Kiminin bacağı uzundur, kimi daha esnek. Her biri kendi zıplama modelini geliştirir -ama ahlaklı ama ahlaksız yoldan. Her gün onlarca akademik manipülasyon, intihal ve atıf çetesi haberi okuduktan sonra doktora konumu seçmem zor olmadı. Atıfları neden saymamalısınız, her atıf neden eşit değil, elmalarla armutlar neden toplanıp da araştırmacının kalitesini ölçmek için kullanılmaz soruları ile başladığım içerik tabanlı atıf analizi üzerine doktoramı da tamamladım (tez / tezden çıkan makale).

Doktora bitti. Doktora tezimde kullandığım yöntemi ve dil kapsamını iyileştirmeye yönelik olarak verdiğim proje önerisi Polonya Ulusal Ajansı tarafından kabul edildi. 9 aydır Polonya’dayım ve daha 15 ay daha burada olacağım. Projem için veri toplarken fark ettim ki (sürekli aydınlanma yaşıyorum, evet) atıf içeriğini anladığımızda da çözülmeyecek değerlendirmeye ilişkin sorunlarımız. O da en büyük problemimiz değil. Çünkü atıf içeriğini saptamak üzere kurulan taptaze firma onun için de bir faktör hesapladı bile. Çünkü “araştırma değerlendirmesi” hala sayma temeline dayanıyor. Bugün bizim yayın sayısından, atıf sayısından, etki faktöründen veya dergi çeyrek dilimlerinden daha önemli bir problemimiz var: Her şeyi değerlendirecek tek bir model arayışımız ve her seferinde bulduk sanışlarımız. Akademisyenler, konu alanları, alt konu alanları, ülkeler, kurumlar, literatürler birbirinden farklı iken herkesi aynı mezura ile ölçme arzusu her geçen gün büyüyor. Bazılarının coğrafi avantajı varken yaşadıkları coğrafya bazıları için dezavantaj. Akademik dergiler bazılarının adını duyunca hizaya geçiyor, bazıları ne yazsa yayınlanıyor, bazı disiplinler her gün bir makale üretebilirken bazıları tek bir makale yayımlayabilmek için yıllarca çalışıyor (bu konu üzerine yazdığım blog yazısı). İşte bu avantaj ve dezavantajların araştırma performans değerlendirmelerini ne denli etkilediğini küçük bir alan üzerinden topladığım verilerle doğruladığımda en önemli dezavantajın İngilizce dışındaki dillerde yapılan bilimsel makalelerde ve disiplin bazlı farklılıklarda olduğunu gördüm. Bunu fark ettiğimde en doğru yerdeydim çünkü geldiğim araştırma grubunun yöneticisi ENRESSH projesinin de yöneticisiydi ve aynı proje ekibi Helsinki Girişimini yayımlamıştı. Farklı kuruluşlardan gelen muhteşem akademisyenlerden oluşan küçük bir ekip kurduk ve bu konudaki ilk adımı bir blog yazısı ile attık: Science needs to inform the public. That can’t be done solely in English. Şimdi bir itirafta bulunacağım. Bu yazı ilk aşamada ABD menşeli janjanlı dergilerden birine gönderildi bir görüş yazısı olarak… ve derginin editörü yazımızı reddettiği e-postada dedi ki: “Those articles are written for scientists, most of whom read English”.

“Bilimsel araştırma profesyoneller için yapılır. Profesyoneller de İngilizce bilir”

Aslında biz tam da ulusal/yerel konu alanlarının genel kabulün çok dışında olduğunu ispatlamak için yazmıştık bu yazıyı. Evet, araştırmacıların pek çoğu İngilizce biliyordu ancak sorun zaten araştırmacıların İngilizce bilmiyor olması değildi. Evet, araştırmaların pek çoğu diğer araştırmacıların ilgisine sunuluyordu. Yani halk için bir üretim söz konusu değildi. Peki sahiden böyle miydi durum? Araştırmaların büyük çoğunluğu tanımlamasının dışında kalan gruptaki araştırmalar ne idi peki. Azınlıkta oldukları için görmezden mi gelinmeliydiler. Peki o araştırmaların temel özelliği neydi? Öte yandan madem bilimin halkı bilgilendirme misyonu bilimsel yayınlarla sağlanmıyorsa neden Covid-19 başladığından beri tüm haber bültenlerinde Lancet’in geri çekilen makalelerini tartışıyorduk? Bilim iletişimi ile bilimsel iletişim arasındaki ayrım netti evet ancak bilim iletişiminin bir unsuru görmezden geliniyordu hep: Ulusal pratikler için bilim iletişiminin bilimsel yayınlar üzerinden sağlanıyor oluşu.

Toplum için bilim ve bilimin halkı bilgilendirme misyonu

Şöyle bir örnek vereyim. 9 aydır yaşadığım ülke olan Polonya’nın topraklarının 9 milyon hektarı ormanlardan oluşuyor (tüm toprakların %30’u). Ben de dahil neredeyse herkesin yürüyerek erişebileceği mesafede bir orman var ve bu ormanlarda çok sık koruma ve iyileştirme çalışmaları yapılıyor. Peki başka ne var biliyor musunuz? Polonya’nın 200 yıllık bir ormancılık dergisi. Adı Sylwan. O kadar köklü bir dergi ki sahte versiyonu bile var ve English edition başlığı ile makale avlıyor. Peki bu derginin en önemli özelliği ne biliyor musunuz? Bu dergi yayın hayatı boyunca neredeyse hiç Lehçe dışında makale yayımlamamış. Derginin WoS’a girdiği 2007 yılından beri yayımladığı İngilizce makale sayısı yalnızca 14 (tüm yayınlarının %1’i). Sylwan’ın etki faktörü çok düşük, JCR’da Q4’te dizinlenen bir dergi. Sylwan’ın dergi kendine atıf oranı yüksek. Çünkü derginin hedef kitlesi akademisyenler olmadığı gibi amacı da bol atıf almak değil. Alanda başka alternatifi olmadığı için literatürü derginin kendisi oluşturduğundan dergi kendine atıfının yüksek olması kaçınılmaz. Hedef kitlesi ormancılar olan derginin bu derginin en önemli amacı Polonya’nın uçsuz bucaksız ormanlarının sürdürülebilirliğini sağlamak.

Sylwan’ın kanıtladığı başka bir gerçek daha var. Biz yıllardır yerel dilde yazılan makalelerin sıklıkla sosyal bilimler ve insan bilimleri dergileri olduğunu düşünmeyi yeğledik ama blog yazısındaki son şekle dikkatli bakarsanız azımsanmayacak ölçüde temel bilimler dergisini de o listede görebilirsiniz. Günümüzde çok dillilik sadece sosyal bilimler ve insan bilimleri ile uğraşanların derdi değil, tüm akademinin üzerinde düşünmesi gereken bir konu da aynı zamanda.

Çok uzağa gittiğimi biliyorum Polonya’nın ormancılık dergisini örnek vererek. Peki, daha yakına geleyim. 7 yıl Türk Kütüphaneciliği dergisinin editörlüğünü yaptım ve o dergide yayımlanan yalnızca hakemli makalelerin değil, hatta çoğunlukla ondan daha yoğun olarak görüş yazıları ve okuyucu mektuplarının bu alanda çalışan akademisyenlerden çok uygulamada çalışan kişilerce okunduğunu gördüm. Personel değişim hareketleri, dernek faaliyetleri, düzenlenen/düzenlenecek etkinlikler… Türk Kütüphaneciliği’nin de Sylwan gibi yayımladığı İngilizce makale sayısı çok az, dergi kendine atıf oranı çok yüksek, çeyrek diliminin hesaplanabileceği bir dizinde yer almıyor. Peki tüm bu olumsuz göstergeler bu dergileri gerçekten kötü dergiler mi yapıyor? Ya da şöyle soralım, bu dergilerde yayımlanan yazıların araştırma performansı açısından diğerlerinden farkı ne?

Araştırma değerlendirmelerinde İngilizceyi önceleyen yaklaşım

Günümüzde pek çok üniversite, araştırma performansının ölçümü için dergi temelli bir yaklaşım sergiliyor. Hazırladıkları dergi listelerine göre dergilerin kalitesi (!) (ünlem işareti bile koysam kalite terimini böyle kullanmaktan ar ediyorum) etki faktörüne ya da dergi çeyrek dilimine dayanıyor. Ancak öte yanda JCR’da çeyrek dilimleri hesaplanan dergiler arasında birinci veya ikinci çeyrekte yer alıp yerel dilde yayın yapan dergi yok denecek kadar az. Etki faktörü nispeten yüksek olan İngilizce dışındaki dergiler Almanca, Fransızca veya İspanyolca gibi birden fazla ülkede konuşulan dillerde yazılmış makaleleri kapsayan dergiler. Blog yazısının son sayfasında yer alan 20 dergiden biri üçüncü çeyrekte, kalan 19’u ise son çeyrekte yer alıyor. Çünkü bu dergilerin tamamı sınırlı bir konu alanında, yalnızca belirli bir bölgede konuşulan dillerde yayın yapıyor ve bu yayınların atıf alma potansiyeli diğerlerinden çok daha düşük. Bu olumsuzluk iki şekilde kendini gösteriyor: 1) araştırmacılar çalışma alanları ne olursa olsun İngilizce yayın yapmaya yönlendiriliyorlar, 2) ulusal dilde yayın yapan dergiler atıf sayılarını artırmak ve dizinlerde kalıcı olabilmek için politikalarını yeniliyorlar. Bunu biraz daha açmak gerekirse:

• Ulusal dergiler yazarların kendilerini tercih etmelerini sağlamak, makale bulabilmek veya atıf alabilmek (bu sayede girdikleri dizinlerde barınabilmek) için uluslararasıymış gibi yapma yolunu seçiyor. Dergi içeriğinin %99’u, okurlarının neredeyse tamamı kendi ülkesinden olmasına rağmen editör kurullarına eklenen yabancı isimlerle dergilere uluslararası dergi statüsü kazandırılmaya çalışılıyor ancak bu hem karar vericiler hem de araştırmacılar için kafa karışıklığını da beraberinde getiriyor. Bugün hala akademisyenler ulusal ve uluslararası dergi ayrımını yapabilir durumda değiller. Bunun temel sebebi de İngilizce üretimi önceleyen araştırma performans değerlendirmeleri.
• Dergilerin bir dil politikası olmadığı için yazarlar öz hakiki uluslararası dergilere kabul edilmemiş ya da kabul edilmeyeceğini düşündükleri yazılarını ulusal dergilerde yayınlama yolunu seçiyorlar ve dergiler de yukarıda saydığım gerekçe ile bu yayınlara sayılarında yer veriyorlar. Bu da Türkiye’de görev yapan ve Türkçe konuşan araştırmacıların Türkiye’de yayımlanan yerel bir dergide yer alan İngilizce makalelerini kimsenin okumaması/yararlanmaması ile sonuçlanıyor. Sylwan örneğine geri dönelim. Ormanların nasıl korunması gerektiğini Polonyalı ormancılara İngilizce anlatıyorsunuz ve hiçbir ormancı ne dediğinizi anlamıyor.

Yukarıya birkaç madde daha ekleyebilirim ancak ben somut iki örnekle devam etmek isterim netleştirebilmek için. Bunlardan biri blog yazımız kapsamında değerlendirdiğimiz ulusal dergilerden biri olan Teknik Dergi’nin dil politikası değişikliği. Düşük olan etki faktörünü yükseltme amacı ile yapıldığı belirtilen bu değişikliğin dergiye iletilen yayınların kalitesinde düşüşe yol açtığı editör tarafından uzun uzun açıklanmış. Etki faktörüne atfedilen değerin dergi politikaları ve ulusal bilim pratiklerine yaptığı etkiyi açıklamak üzere sayfalar dolusu şey yazsam yine de aşağıda ekran görüntüsünü koyduğum metinden daha iyi anlatamam sanırım. O zaman siz iyisi mi bkz. Örnek 1.

İkinci örneğim ise biraz daha eğlenceli. Bundan uzun yıllar önce SCI’ya kabul edilmiş bir Türkiye adresli derginin kutlama etkinliğine katılmıştım. Yanlış duymadınız bir kutlama etkinliği ancak eğlenceli olan kısmı bu kısmı değil. Etkinlik devam ederken daha önce aynı dizine girmiş başka bir derginin editörü kürsüye çıkarak söz istedi ve söylediği şey şuydu: “Bizim dergilerin kendine atıf oranları çok yüksek. Dergilerimizin dizinlerde kalabilmesi için dışarıdan da atıf alması gerek. Türkçe makalelere dizinlerden kim atıf yapsın. Buradaki editörlere teklifim yayınladığımız makalelerde birbirimizin dergilerine atıf yapılmasını sağlayarak etki faktörümüzü yükseltmek. Ne dersinizz??”. * Her iki dergi de hala dizinde, bahsi geçen manipülasyon hiç yapılmadı. Ara sıra kontrol ediyorum hayata geçirilip geçirilmediğini. Ancak yapılabilirdi de. Zira bir derginin etki faktörünü yükseltmek pek de zor bir işlem değil. Ülkemizde bu başarıya ulaşmış (!) yegane editörlerimiz de yok değil (örnek olarak bkz. https://mkoz.wordpress.com/2013/01/25/sisme-dergiler-yeniden/). Yani İngilizce üretimi önceleyen araştırma değerlendirme sistemleri ulusal pratikleri bozduğu gibi yeni yeni manipülasyon yöntemleriyle tanışmamıza ve tüm dünyada kötü ün kazanmamıza da yardımcı oluyor.

Araştırma performans değerlendirmelerinde yerel dillerdeki yayınların tanınmama sebebi ne?

Aslında bu sorunun yanıtı çok basit. Sizi 1960 yılına götürüyorum. Eugene Garfield ISI’ı kurduğunda çok iyi niyetliydi ama karar vericilere akademik performansı ölçmeleri için daha önce sahip olmadıkları kadar kolay bir araç sundu: atıf dizinleri. Sayılar vardı, sıralama vardı, bu sayılara bakarak kimin iyi kimin kötü olduğuna ilişkin yorum yapılabiliyordu. Sonra yeni yeni sayılar eklendi. Her bir yeni sayı araştırma performans değerlendirmelerinden ulusal bilimsel pratikleri biraz daha uzaklaştırdı. Atıf dizinlerinde sıklıkla küresel kuzey ülkelerinin dergileri dizinlenirken yerel bilimsel pratikler sıklıkla es geçildi. 2009 yılında Scopus’un da gelişmesi ile birlikte büyüyen rekabet ortamı bölgesel dergilerin bu dizinlere dahlini sağladı ancak bu dergilerin küresel kuzeye ait dergiler kadar güçlü ve kalıcı olabilmesi mümkün olmadı. Bazıları birkaç yıl sonra çeşitli sebeplerle dizinden çıkarıldı, bir kısmı halen dizinlenmeye devam ediyor. Bu süreçte bölgesel dergilerin daha geniş olarak kapsanması için yeni bir dizin daha piyasaya sürüldü (ESCI). Ancak alışkın olduğumuz performans değerlendirme sistemleri küresel kuzey ülkelerinin dergileri temel alınarak belirlenen ölçevlere dayanan bir yapıya sahip olduğundan ulusal dergiler bu gibi platformlardan kendilerine yeteri kadar yer bulamadılar. Bulmaları gerekli miydi sorusu da var elbette. Bulunduğu kuş kafesinin içine atıf sayısı düşük, bilimsel üretim sıklığı önceden beridir orada bulunan dergiler kadar yüksek olmayan dergiler girdiğinde ışıldadı küresel kuzey dergileri. Karar vericiler için daha ulaşılması gereken hedef olarak görüldüler. Bu sebeple araştırma değerlendirme politikaları hep o dergilere ulaşmak üzerine şekillendirildi. Bu gidişat da günümüzde pek kimsenin tanımadığı ve önemini anlamadığı ulusal literatürler yarattı.

Öte yandan bence son zamanlarda bu konularda sevindirici gelişmeler de olmuyor değil. Helsinki girişimi çok dilliliğin önemini topluluklara anlatma konusunda önemli bir misyon sahibi. Temeli ABD’de bulunmasına rağmen DORA gibi önemli bir girişimin performans değerlendirmelerinde sıklıkla görmezden gelinen çok dilliliğe verdiği önem heyecan verici. Sanıyorum ilerleyen yıllarda bu gelişmeler somut çıktılara ve çok dilliliğin öneminin anlaşılmasına ön ayak olacak.

Türkiye’de çok dilliliğin tanınması için neler yapılıyor? Çok dilliliğin tanınması neleri getirir, neleri götürür?

Türkiye’de çok dillilik konusunda çalışmalar yok değil. TR Dizin’in hazırlanması, tüm dergilerin tek bir platformda sunulması, araştırma performans değerlendirmelerinde ulusal dergilerde yayımlanan makalelere yer veriliyor oluşu oldukça anlamlı gelişmeler. Öte yandan Türkiye’nin en önemli fonlayıcısı TÜBİTAK’ın DergiPark aracılığı ile ulusal dergilere alt yapı ve doi hizmeti sunması da ulusal literatüre büyük katkı sağlayan gelişmeler. İşte bunlar tam da Helsinki Girişiminde bahsedilen iyileştirmeler. Helsinki Girişimi ikinci maddesi ulusal bilimsel pratikleri desteklemek için alt yapı desteği sunun derken üçüncü maddesi de araştırma değerlendirmelerinde ulusal yayınları da dikkate alın deniliyor. Yani bu açıdan bakıldığında iyi yolda olduğumuzu söylemek yanlış olmayacaktır.

Ancak bu gelişmeleri takip ederken bazen tehlikeli sularda yüzdüğümüzü hissediyorum. İşte tehlikeli sulardan bir örnek…

Yukarıdaki maddede dikkatinizi çeken şey ne? Benim “en az üç yayın yapmak zorunludur” ifadesi. En başta da bahsettiğim gibi tüm disiplinler birbirinden farklı. Bu disiplinlerin pratikleri birbirinden farklı. Uluslararası araştırma grupları var. Performans değerlendirmelerinde ulusal yayınların tanınmaması kadar zorunluluk haline getirilmesi de sorunları beraberinde getirecektir. Çünkü araştırmacılar ulusal literatüre katkı sağlamak için değil, yükselme veya teşvik alabilmek için yayın yapmaya başlayacaklardır o zaman. Bu da beklenen kalite artışını sağlamaktan ziyade mevcut yapının da bozulması ile sonuçlanabilir. Her geçen gün yeni bir fakülte dergisinin kurulması, bu dergilerin tek odak noktasının birilerine hiyerarşide yukarı çıkması için asansör görevini üstlenmesi gibi temel sorunlar bu “zorunluluk” sebebi ile sahip olduğumuz sorunlar. Çözüm istiyorsak anlık kararlarla hazırlanmış modeller değil, her yönü etraflıca düşünülmüş değerlendirme modelleri yaratmak zorundayız.

Öyle yapsak olmuyor, böyle yapsak dolmuyor. Çözüm ne?

Çözüm için dünyada şimdilik tek bir alternatif sunuluyor, etkili hakem değerlendirmesi. Ancak hakem değerlendirmelerine hala güvenen var mı emin değilim. Değerlendiricilerin değerlendirme yetenekleri, ön yargılar, bozuk değerlendirme sistemi, gönüllülük esasının getirdiği zararlar, kişisel husumet veya ilişkiler gibi pek çok problem sebebi ile bence hakem değerlendirmesi tek başına hiçbir zaman çözüm olamaz. Şeffaf değerlendirmelere geçilmeli. Kalın dosya değil, iyi dosya ödüllendirilmeli. Ancak tüm bunlar yine de yeterli değil. İşte bu sebeple çok yakın zamanda yayıncılık sisteminin kökten değişeceğine inanıyorum. Virüs mevzusu bunu hızlandırdı ve yakın zamanda çok daha farklı bir yayıncılık şeklini konuşuyor olacağız diye düşünüyorum.

Öte yandan yıllardır içerik tabanlı atıf analizi sistemi yaratmak için çabalıyor olmamın sebebi de bu. Artık yüzeysel bakışlardan uzaklaşmalı ve içeriğe odaklanmalıyız. İçeriğe odaklanmadığımız hiçbir performans değerlendirme modeli doğruya yakın sonuca ulaştırmayacaktır.

Sanıyorum yazmayı bitirdim. Webinarda bu kadar konuşacağımı sanmıyorum. Eksiğiyle fazlasıyla çok dillilik konusu özet olarak yukarıda. Dahasını dinlemek için takipte kalın. Hoş kalın.

ZT