Yeni doçentlik kriterleri: Pili bitik bir kumandayı tamir etmeye çalışmak

Bir haftadır tatildeyim. Tatilde en olmayacak şey oldu ve tam olarak çalışma alanımı ilgilendiren bir gelişme yaşandı: Doçentlik kriterleri değişti. Yine. Birkaç gündür ellerim kaşınıyordu zaten ama daha fazla dayanamadım, hazır tatilin Lapseki’de geçecek ikinci yarısı başlamışken kısa bir değerlendirme yazayım istedim. Çünkü Twitter’da veya ana akım medyada “devrim niteliğinde kararlar”, “işte artık niteliğe önem verilebilecek”, “yaşasın” nidaları görmekten sıtkım sıyrıldı ve artık bu konuda yazmak zorunda hissediyorum.

Gelişmelere geçmeden önce en önemli şeyi en başta söyleyeyim: Bir şeyin kalite seviyesini ölçecek bir araç yok. Bizim alanda tek yolun akran değerlendirmesi olduğu söylenir yıllardır ama bence o da en büyük yalan. Türk kanına sahip olan birinin covid’e yakalanmayacağına inanan birinin akranınız olduğu bir durumda size göre dünyanın en “kaliteli” makalesini de yazsanız “ona göre” hiçbir şeye yaramayan bir yayın yaptınız ve hiçbir şeye yaramayan bir akademisyensiniz. Bu sebeple size tavsiyem bu gibi konularda kalite sözcüğünü kullanırken bir fiske daha dikkatli olmanız. Bilime katkı olur, topluma katkı olur. Ölçmeye çalıştığımız şey çalışmaların etkisi, kalitesi değil. Çünkü “kalite” oldukça subjektif bir kavram ve kişiden kişiye değişebilir. Örneğin, “fen bilimcilere SCI yayın yapmayı nasıl öğrettiysek şımarık sosyalcilere de öğretiriz” diyen fen bilimcinin kafasındaki kalite=SCI. Ona ESCI’deki bazı dergilerin etki faktörünün SCI dergilerinden daha yüksek olduğunu söylemeniz, göstermeniz, hatta gözüne sokmanız faydasız. Çünkü görmek istediği o değil. Eğer bu konu ilginizi çekerse bir önceki blog yazıma da bir göz gezdirin derim (https://www.zehrataskin.com/index.php/2023/07/26/liyakat-ve-nepotizm-nedir/)

Hadi şimdi gelelim yine yeniden yenilenen kriterlere. En başından söyleyeyim, araştırma değerlendirme bir çalışma alanı. Türkiye’de az da olsa araştırma değerlendirme çalışan insan var. Ancak bu kriterlerin hiçbirinin herhangi bir araştırma değerlendirme uzmanına sorulup geliştirildiğini zannetmiyorum. Çünkü tüm değişiklikler kavram karmaşası dolu. Kavramsallaştırma hiç yok. Çok konuşan ve her şeyi bilen, daimi kadro sahibi temel bilimciler tarafından geliştirildiği çok açık. Bu şekilde geliştirilen sistemlerde de sık sık değişiklik yapılması kaçınılmaz.

Değişiklik haberini ilk gördüğümde Twitter’da yaptığım benzetme şuydu: Televizyonunuzun kumandası çalışmıyor. Kumandayı açtınız, içini döktünüz dağıttınız. Her nesneyi farklı yere yerleştirdiniz ve kapattınız. Kumanda hala çalışmıyor. Çünkü kumandanın pili bitikti, tek yapılması gereken pili değiştirmekti. Pil değiştirmek akla gelmedi. Korkarım gelmeyecek de. Çünkü kumandayı bozdunuz artık :=)

Hadi şimdi sıra sıra değişikliklere bakalım:

• SCIE veya SSCI kapsamındaki dergiler için Web of Science Quartile kategorisi dikkate alınmıştır: Web of Science çeyreği işi dünyanın en saçmasapan kararıydı. Türkiye akademik sisteminde bir virüs gibi yayılmaya devam ediyor. Bunun çeşitli sebepleri var. En önemli sebebi WoS konu sınıflama sistemi. Bakın aşağıdaki şekil benim bir makalemden. Ben LIS (library and information science) alanında çalışıyorum. WoS’un LIS kategorisindeki dergilerin alt konulara dağılımı aşağıdaki gibi. Her bir alt alanın atıf potansiyeli, yayın sıklığı ve her türlü özelliği birbirinden farklı. Geleneksel kütüphanecilik alanında çok yayın yapılsa da (tüm yayınların yarısından fazla) bu yayınların atıf alma örüntüleri diğer alanlardan çok farklı. Dolayısıyla tüm geleneksel kütüphanecilik dergileri Q4’te. Benim alanımın (information science) dergileri ise Q2 ve Q3’te. Birkaç sene öncesine kadar tüm dergilerim Q1’deydi, düştüler. Çünkü Q1’deki dergiler kütüphanecilik dergileri değil, yönetim dergileri. Yönetim dergilerinde bizden birinin yayın yapma ihtimali çok düşük.

Zannediyorsunuz ki bu sorun sadece sosyal bilimler için geçerli. Değil. Tıp etiği çalışan biri ile bir cerrahın yayın imkanları aynı değil. Dergi alternatifi sayısı aynı değil. O dergide bekleme süresi aynı değil. 3 ABD menşeili dergide bizim bir akademisyenimizin yayın yapma şansı ile 13293 Avrupa ve Doğu Asya dergisinde yapma şansı aynı değil. Merkez ülkelerin önyargısı diye bir şey var. Bakın Şekil 2’deki açıklama batı hegemonyası çalışan batılı bir akademisyene ait. Bunu “adam haklı beyler” diye paylaşan akademisyenlerimizden farklı düşünüyorum bu konuda. Bence değil. Hiç değil. Çünkü önyargılı ve bu bakış açısı sorunlu. Siz Türkiye’den makale gönderen bir akademisyen olarak dünyayı da kurtarsanız önyargı engeline takılıyorsunuz. Markanız yağmacı dergilerde yayın yapan akademisyenler tarafından lekelendi evet ama siz de hiç ona bulaşmamış bir akademisyen olarak bu önyargılarla boğuşmak zorundasınız. Böyle bir editörün makalenizi hakeme gönderme ihtimali yüzde kaçtır? Yayınlaması demiyorum bakın, masadan reddetmeden hakeme göndermesi. Büyük bir büyüklenme ile iyi bir desk rejection mektubu yazmanın öneminden bahsediyor ama bu saydığı ülkelere ilişkin bir önyargı geliştirdiğini gizleyemiyor. Boğuştuğumuz tek şey sayılar değil, merkez ülkelerinin biliminde yer edinme çabamızın çok da başarılı olamıyor oluşu. Bu değişiklikler de yakın zamanda yapılabileceğini göstermiyor.

• Temel alanlar özelinde farklılaşan ve karmaşıklığa sebep olan alan indeksleri tanımı kaldırılmıştır: Bu en bayıldığım değişiklik oldu. Ülkede içinden çıkamadığımız sorunu ortadan kaldırma refleksinin göstergesi gibi. Alan indeksi dediğimiz şey bilimsel alanlarda bibliyografik denetimi sağlamak için önemli ikincil kaynaklardır. Örneğin, matematik alanında konu sınıflaması geliştiren, yeni çıkan yayınları takip etmeyi kolaylaştıran, atıf bilgisini tutan alan indeksi MathSciNet’tir. Matematiğin alan indeksi odur. Alan indeksinin amacı performans değerlendirme değildir, bilimsel alanlarda bibliyografik denetimin sağlanmasıdır. Çünkü yayın sayısı her geçen yıl artıyor ve bu alanlarda takip her geçen yıl zorlaşıyor. Ancak bilgi erişim sistemlerinin ve arama motorlarının da gelişimi ile bibliyografik denetimde alan indeksleri artık eskisi kadar sık kullanılmıyor. Aslında bu değişiklik bu sebeple isabetli oldu sayılabilir. Çünkü yıllardır ESCI alan indeksi değildir, WoS ile aynı konu kategorilerini kapsar demekten ve inandıramamaktan sıtkım sıyrılmıştı. Kurtuldum :=) Şaka şaka, WoS’un veya Scopus’un dergi listelerinde her alan eşit şekilde temsil edilmiyor. Özellikle tekel (oligopol) 6 büyük yayıncının çer çöp de olsa pek çok dergisi dizinlenirken küçük yayınevlerinin pek çok dergisi bu listelerde yer bulamayabiliyor. Öte yandan Avrupa’da elmas açık erişim yaygınlaştırılmaya çalışılıyor. Elmas açık erişim demek dernek ve üniversite yayınları gibi tamamen gönüllü emeğiyle üretilen dergilerin desteklenmesi. Çünkü ancak bu dergilere yatırım yapılarak tekel yayıncıların tekeli kırılabilir. Sektörün büyüklüğünü görmek için ortak yazarımın şu makalesine bir bakın derim: https://academic.oup.com/spp/article/50/3/445/7043797 Bizim yeni sistem ise tekelleri nasıl daha fazla besleriz üzerine kurulu. Bu konuda çok doluyum ve metnin ilerleyen kısımlarında bununla ilgili birkaç dellenme daha okuyacaksınız. Spoiler veriyorum: Tüm sistemdeki “kaliteli kitap” tanımını Türkiye’den çok az kitabı/yayıncıyı kapsayan ticari bir dizinle yapmak :=)
• Bu tanım yerine AHCI, ESCI, Scopus kapsamındaki dergilerde yayımlanan makaleler için puanlamalar yapılmıştır: Bu yıl WoS tüm indeksler için etki faktörü hesaplamaya başladı. Bazı ESCI dergilerinin etki faktörü SCI dergilerinden fazla. Mesela benim alanımın dergisi QSS, LIS’in en yüksek etki faktörüne sahip 14. dergisi. Ancak SCI veya SSCI’da olmadığı için çeyreği yok. Yani aslında bizim politika yapıcıların mantığına göre en iyi dergi (yayın-atıf sayısı oranına göre) ancak çeyreği olmadığından kötü dergi de. Kavram karmaşası derken bundan bahsediyorum. Bu da kullandıkları kriterlerin ne anlama geldiğini bilmediklerini düşündürüyor. (Bu arada bu dergide tüm hakem süreçleri şeffaf. Bu dergide nasıl sancılı bir süreçten geçtiğimizi, nasıl güzel bir bilimsel iletişim deneyimlediğimizin devamını okumak isterseniz buradan: https://www.zehrataskin.com/index.php/2023/02/03/baska-bir-bilimsel-yayincilik-pratigi-mumkun/).

Bu ayrımda önemli bir konu daha var. Bilimsel alanlara bakış açısı. Sanat ve beşeri bilimler asla ve kat’a Q1 olamaz diyor sistem. Herkes Q1, Q2 veya Q3 yayın yapsın diyor. Yukarıda gösterdim, her alanın Q1-Q2-Q3 dergisi yok. Sanat ve beşeri bilimler diğer alanlardan çok farklı bir alan: https://sarkac.org/2019/07/akademik-performans-olcumunde-sanat-ve-insan-bilimleri/ Hepsini aynı kefeye koyarsanız insanların yapacağı ilk şey yeni yeni EEST’ler yaratmak olacaktır. Çünkü o daha kolay. Sistemle oynanmasını istemiyorsanız herkesin farklılıklarını gözeten ve dikkate alan, daha düşünceli bir sistem geliştirmeniz gerekir.

• İlgili kategoride kalitenin artırılması amacıyla asgari sınır getirilmiştir: KALİTE SAYIYA ÖLÇÜLMEZ. KALİTE ÖLÇÜLMEZ. SAYISAL ASGARİ SINIR GETİRMEK ARAŞTIRMACILARI SUPER MARIO’YA DÖNÜŞTÜRMEKTEN, YENİ ÇIKAR ÇATIŞMALARI DOĞURMAKTAN VE BİLİMSEL LİTERATÜRÜ BİR ÇÖPE DÖNDÜRMEKTEN BAŞKA İŞE YARAMAZ. Avrupa’da çok dilliliğe yönelik bir yönelim var. Ben de hem destekleyicilerinden, hem de çekirdek ekiptekilerden biriyim. Ancak çok dillilik bir “zorunluluk” olduğunda ulusal literatürünüzü çöpe dönüştürmekten başka bir işe yaramaz. TR Dizin’de okuyucuları, hakemleri ve yazarlarının tamamının Türkçe bildiği dergilerde yayınlanan İngilizce makalelerin sebebinin ne olduğunu düşünüyorsunuz? ‘En iyi’ olduğunu düşündükleri makalelerini İngilizce yazıyor insanlar. Sonra reddedildikçe puan skalasında aşağıya doğru iniyorlar. Onlar da yerel/bölgesel dergiler oluyor. Yerel bölgesel dergilerimizin herkesin bildiği çıkar çatışması esasına dayalı ahbap-çavuş yayın politikalarına hiç girmiyorum ama ulusal yayın bir zorunluluk olduğundan beri ulusal dergilerin seviyeleri her geçen yıl daha çok düşüyor. Bunun yerine yayın dilinin neye göre belirlenmesi gerektiğini konuşabilmeliyiz bence. Tamamen uluslararası ekiplerle, uluslararası konular üzerine çalışan bir temel bilimciye şu kadar ulusal yayın yap demek, o çok sevdiğiniz sıralama sistemlerinde yer edinmenizi sağlayacak birkaç yayının daha az üretilmesine neden olur hem. Benden söylemesi.

• Kitap ve kitap bölümü için WoS Book Citation Index referans alınmıştır. Bunun dışındaki kitap ve kitap bölümleri diğer şeklinde kategorize edilmiştir: En ama en problemli şey kitaplardı. Kitaplarla ilgili sorunun çözümü için yapılabilecek çok şey vardı (burada yazmıştık: https://sarkac.org/2021/03/akademik-performans-degerlendirmelerinde-kitaplarin-yeri/). Çünkü kitap matbaacıları (yayıncı demek istemiyorum) sebebiyle Aralık ayında gerçekleşen kitap içi bölüm enflasyonu sayesinde 393509 kişi doçent oldu, 3459094 kişi akademik teşvik aldı. Bir şey yapılması gerekiyordu. Ancak yapılan şey Türkiye’de kitap yayıncılığını bitirecek bir adım olarak tanımlanabilir.

Kitap yayıncılığının nasıl olması gerektiği ile ilgili İngilizce bir blog yazım yakın zamanda yayınlanacak. Ancak önden söyleyeyim, bizde kitap veya kitap bölümünün ne olduğu tam olarak bilinmediği için üretilen metinlere kitap demek zor. Makale olarak reddedilen yayınların küçük bir ücret karşılığında değişiklik yapılmaksızın yayınlanması kitap yazmak değildir. Ancak ‘kaliteli’ kitap yayıncılığını BKCI ile sınırlarsanız ulusal kitap yayıncılığı biter. Şekil 7’de BKCI’nın dizinlediği (1980-2023) 2 milyondan fazla kitabın dağılımı var. Bu size ne söylüyor? Türkiye’den dizinlenen 10.381 kitap türü eser var. Bu sayıyla 31. sırada. Dizinin sadece %0.5’i. Ancak dizinlenen kitap sayısı sadece 3. ÜÇ.

Tüm bunların yanında BKCI bir ticari veri tabanı. Ülkenin tüm kitap yayıncılığı sistemini ABD menşeili ticari bir yayınevinin dizinleme hızına, editoryal değerlendirmesine ve kararına bırakmak çok makul bir karar olmasa gerek.

Editörün üniversitesinden izinli profesör olması kararının neye göre alındığını bilmiyorum. Anlayamıyorum da. Bununla ilgili söylenebilecek her şey söylendi, yapılabilecek tüm şakalar yapıldı. Ben de tekrar etmiş olmayayım onları. Dünyaya yeni bir kriter kazandırmış olabiliriz. Tek sorun bu kriterin kazandırabileceği tek ödülün altın ahududu olması olabilir.

• WoS h-indeksi ve sıralama sistemleri: WoS h-indeksim şu anda 8. Bu 8 yayınımın 8 ve üzeri atıf aldığı anlamına gelir. Bunu sağlayabilmek için zaman gerekir. Muhtemelen birkaç yıla 10-15 olur. Bunun sebebi benim çok überkulade ‘kaliteli’ bir akademisyen olmam değil. Son birkaç yılda yaptığım çok uluslu bilimsel proje ve çalışmaların atıf potansiyeli. Çünkü atıf almak süre isteyen bir şey. Bir makalenin atıf almasını etkileyen pek çok şey var (atıf doktoruyum ben, bir bildiğim var, dinleyin). Çalışmanın konusunun popülerliği, en az bir atıf almış olması, ortak yazarları, çok atıf alan bir yayın tarafından atıf yapılması vs. H-indeks bizim alanın en çok tartışılan ölçüm araçlarından biri. Şu blog yazısına bir bakın: Halt the h-index. Tüm dünyanın kullanmaktan kaçındığı, sorunlu olduğu yıllardır tartışılan, alanlar arasında ve genç araştırmacılar için dezavantajları olan bir ölçevin kriterlerden biri haline getirilmesi kutlama malzemesi olamaz. Bununla ilgili çok fazla sayıda “işte budur, keşke 10 yapsalarmış” tweeti okuduğum için buna özellikle yorum yapmak istedim. Sıralama sistemlerinde yeri olan üniversitede araştırma yapmak maddesi de sakıncalı. Nijerya’da, Nijerya’nın en iyi üniversitesinde su kuyusu iyileştirme faaliyetinde çalışırsanız puan alamazsınız ama İspanya’nın sahil kıyısındaki bir üniversitesinde bürokratik süreçleri yerine getirmek şartıyla tatil yaparsanız (gözlem diyelim hadi) kriter sizin. Hayırlı olsun. Bu konudaki fikrim için buradan devam: https://www.zehrataskin.com/index.php/2023/03/10/liste-olusturma-hevesi-ile-disarida-biraktiklarimiz/

• Eğitim verme şartı: Eskiden doçent unvanı alabilmek için ders verme zorunluluğu vardı ama bazı üniversiteler doktor unvanı olan araştırma görevlilerine ders verdirmiyorlardı. Bu da çok ciddi sorun yaratıyordu. Bence iki yıl öğretim elemanı kadrosunda görev yapanlar iki puan almış sayılır maddesini bunun için eklemişler ama bu kriter o kişilerin ders verdiğini kanıtlamaz. Her şeyi -mış gibi yaptığımızı kanıtlar. Bunun yerine üniversitede ders verme kurallarının gözden geçirilmesi gerekir. Hepimizin bildiği ama bilmezden geldiği bir gerçek ders vermeyi öğrensin diye (!) derse sokulan araştırma görevlileri. O zaman bunu resmiyete dökmenin, yani bu dersleri kendi üstlerine verebilmelerinin yolunun açılması gerekir.

Ne olmalıydı?

Hayır, Norveç akademisinde olduğumuzu düşünerek “akran değerlendirmesi iyileştirilmeliydi” demeyeceğim. Akran değerlendirmesinin iyileştirilmesi için akranların değerlendirme yeteneklerine güvenmeniz gerek. Benim doçentlik dosyama olumsuz oy veren yoktu ama yorumlardan biri çok ilginçti. Tek yazarlı SSCI makalem olmadığından (vardı ama henüz sayıya girmemişti. Toplam SSCI yayın sayım o zaman 7 idi. Tek yazarlı olmasına gerek yoktu çünkü bu bir kriter değildi. Kendisi eğer bunu bir ‘kalite’ kriteri görüyorsa kendisinin en az bir SSCI makalesi olmalıydı. Tek yazarlı olmasa da kabulumdü, ama yoktu), alan dışı dergilerde yayın yaptığımdan (yayın yaptığım dergilerin neredeyse tamamı WoS’ta LIS kategorisinde dizinlenen dergilerdi, bence benim en büyük dezavantajım hep aynı üniversitenin aynı bölümünde eğitim almış olmamken ona göre alandan değildim, kendisi de hayatının hiçbir döneminde kütüphaneci olmamış, kütüphanecilik okumamıştı ama alanımın akranı oydu, beni değerlendirmek onun işiydi, kariyerim iki dudağının arasındaydı), en fenası da yalnız çalışma yeteneğim olmadığından endişe ettiğinden bahsediyordu. Yaptığım yayınların büyük çoğunluğunda başlıca yazar olmama, uzun yıllardır makalelerime author credit koymama rağmen böyle yazmıştı. Bu değerlendirmelerin hiçbirini sözlü sınavda yapmadı (bizde sözlü sınav devam ediyor), çünkü diğer jüri üyeleri buna izin vermediler ama akran değerlendirmesi bu ve bu düzelmeden sistemi komple akran değerlendirmesine dayandırmak ölümcül bir günah olur.

Öte yandan bildiğimiz hikayeler de var. Örneğin, alan indeksi karmaşasının nereden kaynaklandığını bilir misiniz? Zamanında bölümlere alan indeksiniz ne diye sordular, bölümler index copernicus dedi. En çok yağmacı derginin dizinlendiği indeks o… ve hayır, alan indeksi değil.

Uzman panelleriyle dergi listelerinin belirlenmesi bir seçenek ama bu da çok riskli. Bu noktada sayısal değerler fikir almak amacıyla kullanılmaya devam edilmeli. Yoksa Polonya’da olduğu gibi hakem değerlendirmesi olmayan dini dergilerin kriter puanı Nature dergilerini geçebilir, bu dergilerde yayın yapanlar en makbul akademisyenler kabul edilebilirler. Olamaz mı, e olabilir.

Dünyada araştırma değerlendirmelerinde çeşitlilik konuşuluyor. Bu kriterlerde çeşitlilik yok. Bilim iletişimi maddelerden biri değil. Bilimin halkı bilgilendirme misyonu hep gözden kaçırılıyor. Halk her geçen gün kıytırık ergen bilim iletişimcileri nedeniyle bilimden nefret ediyor. Bilim insanlarından nefret ediyor. Çünkü akademisyenin önceliği halkı bilgilendirmek değil. Kriterler buyken neden olsun!

Kimler karşılıyor?

Twitter’da gördüğüm en doğru yorum doğru ya da yanlış mevcut doçentlerin kaçının bu kriterleri sağladığı sorusuydu. Cevabı biliyoruz ama yine de soruyoruz işte. Merdiveni yardımla çıkmak, diğerleri çıkmasın diye merdiveni kırmak meselesi.

İmza atmak veya atmamak

DORA‘yı bir sürü üniversitemiz imzaladı. Yakın zamanda COARA‘ya da katılan çok olacaktır. Çünkü AB öyle istiyor. Açın o metinleri bir okuyun araştırma değerlendirmesi ne, nasıl olmalı, kim yapmalı vs. Biz sıralamaya karşıyız diye sıralama karşıtı bildiriye imza atan üniversitemizin web sitesindeki 5 duyurudan dördünün sıralama müjdesi olması gibi. Her şey öyle olması gerektiği için. yani -mış gibi.

Yine de son notum şu: Sistemin iyileştirilmesi için ne tavsiye ettiğinize dikkat edin. Siz kendi alanınıza özel tavsiye veriyorsunuz ama o tavsiye sadece sizin alanınızda geçerli. Ayrıca, sizin aklınıza gelen bir kriter inanın ilk sizin aklınıza gelmemiştir (profesör editör kısmını hariç tutarak yazıyorum). Dünyada denenmiş uygulamaların sonuçlarını öğrenin. Gelin sorun. Vallahi de para vermeseniz de anlatırım. Yönlendiririm. Norveç sistemini anlattırırım birine, İtalya sistemini başkasına. Amerika’yı yeniden keşfetmek için yeterli zamanımız yok. Ölüyü çok yıkarsanız, bir sistemle çok oynarsanız ne olacağını biliyorsunuz hem. XOXO.