Dergi çeyreği borsasında bu yıl: JCR 2023 verileri ile bazı “doğru”larımızı gözden geçiriyoruz

Dearest gentle reader…

Yaz geldi. Yaz tatilimin minik bir kısmını her yaz olduğu gibi Bridgerton izleyerek geçirince (ecnebiler buna guilty pleasure diyor) bu blog yazısına böyle başlamak geldi içimden. Tabi yine her yaz olduğu gibi bu yaz da alanımla ilgili en önemli gelişmeler ben tatildeyken yaşandı. Doçentlik sistemi değişir tatildeyim. JCR yeni sürüm çıkar tatildeyim. Hayır, o kadar çok tatil yapmıyorum gerçekten. Neyse. Dört yıldır akıl sağlığım için tatillerde çalışmamaya özen gösterdiğimden bu yazı bugüne kadar bekledi. Ancak sonunda hazırım.

Geçen yıl sadece Twitter’da yazdığım değerlendirmelerimden keşke dediklerim bu yıl nihayet uygulanmış. Keşkelerin sebebi daha iyi hale gelmesi değil, sistemi çorbaya çevirecek olması. Mevcut sistemlerimiz ve doğru kabul ettiklerimiz henüz bu değişikliklere uygun değil. Bu da her şeyin fena etkileneceğini söylüyor. Hadi hazırsak önce geçen yıl yazdıklarımı hatırlayarak başlayalım: https://x.com/zehrataskin/status/1674137621252001809

Geçen yıl uzun uzun yazdığım üzere en önemli değişiklik tüm indekslerdeki dergilerin etki faktörünün hesaplanmaya başlanmasıydı. Ancak bu durum çeyrek dilim hesaplamasına yansımamıştı ve ESCI hala farklı bir havuzda tutuluyordu. Ancak artık havuzlar bir. Kimileri için (özellikle fen bilimlerinde çalışanlar için) bu durum çocuk havuzu ile olimpik havuzun birleştirilmesi anlamına geliyor. Çünkü fen bilimcilere göre SCI ancak olimpik sporcuların yüzebildiği profesyonel bir havuzken ESCI veya AHCI (mealen sosyal bilimler/beşeri bilimler, yerel/bölgesel bilimsel pratikler, yeni kurulan dergiler ile İngilizce dışında yayın yapan dergiler vs.) çocukların eğlendiği, ayakların yere değdiği küçük bir havuz. Bu yazıyı gerçekten öyle olup olmadığını anla(t)mak üzere kurguladım. Ancak ona geçmeden önce çoğunluğun genellikle atladığı bir gerçeği yazayım, yayınlanan versiyon JCR 2023, 2024 değil. Hesaplama formülü de şu:

Derginin 2021 ve 2022 yılında yayınlanmış tüm türde yayınlarına 2023 yılında aldığı atıf sayısı / Derginin 2021 ve 2022 yılında yayınladığı makale ve derleme sayısı (citable items)

Eğer daha önceden bilmiyorsanız ve etki faktörü hesaplama yöntemini ilk kez görüyorsanız doğru görüyorsunuz. Amasya elmasını starking elmaya bölüyoruz (tüm yayınların aldığı atıflar/yalnızca makale ve derlemeler). Ha mesela bir de 2023 yılında bir editoryal yayınlayıp bir önceki yıldaki tüm yazarlarınıza yayınlarına atıf yaparak teşekkür ederseniz çeyreğiniz yükselebilir. Biz bunları analiz edip yazdık hep: Self-citation patterns of journals indexed in the Journal Citation Reports Ancak bugünkü blog yazısının konusu bu değil. Başka zaman oradan da devam ederim.

JCR’ın bir önceki yıla ait edisyonunun Haziran/Temmuz aylarında çıkma sebebi 2023 yılındaki atıfların dizinlenmesinin aşağı yukarı bir sonraki yılın ortasına kadar tamamlanıyor oluşu. Tamamlanmadıysa o kısım dahil edilmeden hesaplamalar gerçekleştiriliyor. Bu durum aslında sistemlerimiz için bir diğer kavramsallaştırma sorununu beraberinde getiriyor. Bir örnekle anlatayım:

Şu makalemiz Mart ayında yayınlandı, Nisan ayında sayıya girdi (hızlı bir dergi bu, sayıya girmek için iki yıl bekleyeni de var). Web of Science’da dizinlendiğinde dergi Q2’de idi. Son yayınlanan JCR 2023’te Q1’de (derginin ve haliyle yayınımızın kalitesi sadece bir gecede püf. Doruklarda). Hacettepe kriterleri “yayınlandığı tarihte hangi çeyrekte yer alıyorsa” diyor. Yayınlandığı tarih 2024, o yılın JCR’ı henüz yayınlanmadı. Bunun için üçüncü maddeye son yıl içindeki yayınlar için “derginin mevcut son Q dilimi” maddesi eklenmiş. Yani, aslında benim yayınımın gelecekteki asıl puanını (kimileri buna kalite diyor, bana dedirtemezsiniz) belirleyen şey makalemi yayınlayan derginin seneye alacağı atıflar. Dergi kapanabilir, editör kurulu istifa edebilir, yayıncı değişebilir, yayıncılık modeli değişebilir. Her şey olabilir. Ne kadar geleceğe yatırım yapan bir sistem değil mi :=) Hadi şimdi aynı vizörden iki yıl bekleyen dergideki makaleye bakalım: Makale 2022’de yayınlandı, bu yıl sayıya girdi. 2022’de dergi Q3’teydi. Sayıya girdiğinde Q2. JCR yılı ile makalenin yayın yılı kesiştiğinde ne olacağını kestirmekse güç.

Peki, birkaç soru daha. Derginin çeyrek dilimi yükselmese de düşseydi, bu dergiyi sırf Q1’de diye seçip yayın yapmış olsaydım ve dergi çeyreği bir gecede değişseydi bu adil bir sistem olur muydu? Bu akademik bir faaliyet mi, yükselip düşeceği belli olmayan bir borsada şansa para kazanıp kaybetmek mi? Bakın uzun bir paragraf yazdım ve hala “şu” sözcüğünün bağlantısıyla erişilen makalede ne yazdığını söylemedim size. Çünkü sistemde ne yaptığınızın zerre kıymeti yok. Nerede yaptığınızın kıymeti var ve o kıymet de sabit değil. Her sene bir ticari firmanın uygulamalarıyla değişebiliyor. Sizce de burada bir saçmalık yok mu?

İyi dizin-kötü dizin ayrımının sorunları artık daha net

Ne zaman sosyal medyada çeyrek dilimlerin kullanımlarının sorunlarından bahsetsem fen/sağlık bilimlerinde çalışanlar koşa koşa gelip “sözel bölümleri bilmem ama bizde çeyrek en iyi değerlendirme aracıdır, Q1 dergiler en birinç dergilerdir. SCI birdir, ESCI çöptür” yazanlar oluyor. Bu yıl bu söylenenlerin nasıl “sayısalcılar” için de yanlış olduğunu en sevdikleri “sayı”ları kullanarak yanlışlayacağım. Buyurun buradan:

Örnek: Eczacılık ve farmakoloji

İlk örnek olarak geçenlerde çok net bir şekilde Eczacılık alanında SCI dergilerinin en seçme, Q1’in de onlar arasından en kalitelilerini içerdiğini duyduğum için Eczacılık ve Farmakoloji alanını seçtim. Ancak eminim ki başka alanlar için de benzer örnekler buluruz. Önce iki yıl arasındaki farklara bakarak başlayalım:

Bu arada başlamadan önce bu muazzam örneği veren kişiye gerçekten teşekkürü borç bilirim. İstesem söylemek istediğim şeyi bu kadar net gösteren başka alan bulamazdım. Bazı önermeler üzerinden veride gördüklerimi yazayım.

“SCI’da yer alan dergiler ESCI’dekilerden iyidir. ESCI dergisinde yayın yapanın kendisine saygısı yoktur. ESCI çöptür”

Yukarıdaki önermeyi yazarken abartmadım. Tam olarak bu söyleniyor sıklıkla. ESCI’nin yerel/bölgesel dergiler için önemli bir dizin olduğu, ancak yine de ticari rekabette Scopus’un dergi sayısını yakalamak için geliştirildiği gibi gerçeklerini bir kenara bırakarak yukarıdaki önerme için aşağıdaki soruları sormak isterim:

ESCI çöp ise SCI’da dizinlenen dergilerden daha yüksek etki faktörüne sahip olduğu için bu sürümde birinci çeyrekte yer alan üç ESCI dergisi ACS Pharmacology & Translational Science, World Journal of Traditional Chinese Medicine ve Journal of Cannabis Research de çöp mü yoksa çeyrek dilimler mi anlamsız? Aynı şekilde Q2’deki 9, Q3’teki 22 ve Q4’teki 46 ESCI dergisi için yorum ne olmalı? Alandan değilim, dergilerin seviyesini yargılayacak kişi ben değilim ancak SCI iyidir ESCI kötü önermesi şimdilik çöpe gitmiş görünüyor. En azından çeyreklerin kalite ölçtüğünü söyleyenlerin kalite tanımı ile ESCI’nin kalitesiz olduğuna yönelik tanım çarpışıyor. Dizinlerin aynı havuza konması dergiler arasındaki benzerlikleri daha görünür kılmış, ki bu bence çok hoş.

Buna bir örnek de alanımdan vereyim. Çünkü derginin hikayesini biliyorum. Journal of Informetrics editörlerinin Elsevier’e tepki için istifa ettiklerinde kurdukları QSS dergisi bence alanımın en iyi dergilerinden biri. Ancak hala ESCI’de. Alanımda yayınlanan ve şu ana kadar yayın yaptığım dergiler arasından en yüksek etki faktörlü dergi de o. Q1’de. Ancak ESCI. Kimine göre çöp, kimine göre çocuk havuzu. Peki gerçekten öyle mi? Bence değil. Çünkü o dergide yayınlanan her makalenin hakem raporunu görebiliyor, süreçlere etkin katılabiliyor ve yayınlanan her makaleyi büyük bir zevkle okuyor/takip ediyorum. Bu saydıklarımı gösterecek bir metrik var mı? Etki faktörü bunu gösterir mi? Cık.

“İyi akademisyen ise Q1’de yayın yapar. Yapmalı. Yapamıyorsa ölsün”

Ne çok duyuyorsunuz buna benzer şeyler değil mi? Ancak burada genellikle dergilerin yayın pratikleri bilinmeden konuşuluyor. Bu alanda 354 dergi varmış, ki bu açıdan çok şanslı sayılır. Çoğu alanın dergi alternatifi bu kadar çok değil. Çok dergi olduğu için hepsini arama fırsatım olmadı ama alanın en yüksek etki faktörlü üç dergisine bakmak ister misiniz?

NATURE REVIEWS DRUG DISCOVERY: Bakın derginin sayfasında ne diyor: “Nature Reviews only publishes non-primary articles (such as Reviews, News & Views and Comment articles)“. Yani, pay kocaman (derleme yayınlar çok atıf alır), payda minicik. Şu ana kadar yayınladığı eserlerin yalnızca %23’ü paydaya dahil edilecek türde eserler (citable items). İşte o yüzden ilk sırada. Daha da anlamlı ve hatta bana göre ilginç bazı istatistikler var. Şu ana kadar -JCR hesaplama yılında demiyorum- dergi tarihinde Türkiye adresli yayınlanmış iki eser var:

• Biri kanser aşılarıyla ilgili bir düzeltme (correction). Düzeltmenin yazarlarından biri Uğur Şahin ve aslında orijinalinde Türkiye adresi yok. İndeksleme yapılırken Biontech adresi Türkiye olarak girilmiş. WoS indeksçisinin hatası yani. Adresi Türkiye olan bir yayın bile değil.
• Gerçekten Türkiye adresli tek yayın (5,363 yayın arasından) 2009 yılında yayınlanan ve Türkiye adresli Osman Uğur Sezerman’ın 6 ana yazardan biri değil, GPCR Dock 2008 yazar grubu altında listelendiği makale. Q1 yayın yapmak çok kolaydır ancak Nature Reviews’de değil diyorsanız buyurun ikinciye.

PHARMACOLOGICAL REVIEWS: Aaaa, yine bir derleme dergisi. Ne şaşırtıcı değil mi? Yoksa etki faktörü yüksek dergilerin çoğu atıf potansiyeli yüksek derleme dergileri mi? Belki de bilgibilim literatüründe kanıtlanmıştır bu. Kimbilir :=) Neyse ki bu derginin paydası bu kadar küçük değil. Ancak yine, bu dergide de, kurulduğu günden bugüne Türkiye adresli yayınlanmış yalnızca iki derleme var. Biri 1996 yılındaki şu makale, diğeri 2020 yılındaki bu makale. İkincideki Türkiye adresli yazarın ilk adresi Univ Paris.

DRUG RESISTANCE UPDATES: Daraaaa, yine yayınlarının %83’ü derlemeler olan bir derleme dergisi. Bu dergide Türkiye adresli 3 derleme (2016, 2020, 2021), bir makale (2023) ve bir editoryal materyal (2024) var. Nispeten diğer iki dergiye göre bu dergide Türkiye adresli daha fazla yayın olsa da toplam bir elin beş parmağı kadarının geçmesine izin verilmiş.

Tüm dergileri tek tek listelemek isterdim ama burada keseyim. Daha genel bir çerçeve çizeyim. InCites’tan 2021-2022 yılları arasında Türkiye adresli Eczacılık/Farmakoloji alanında yapılmış yayınları indirdim. Çeyreklere göre analiz ettim. Sonra tüm dünyanınkini indirdim. Sonra karşılaştırdım. Buyurun sonuçlar:

Yukarıdaki gibi grafikleri “Bak görüyor musun ne kadar kötüyüz, Q1’de dünyaya katkımız sadece 0.01” diye okuyan bol malum. O yüzden Çin ve ABD sütununu ekledim. Alanda yayınlanan tüm çalışmaların yarısını altı ülke üretiyor. Bunlar: Çin, ABD, Hindistan, Birleşik Krallık, İtalya ve Almanya. Bu ülkelerin çoğunun ortak özelliği bilime fon ayıran, laboratuvarlar kuran, iyi araştırmacıları çeken (çekmeye çalışan) ülkeler olmasının yanında bilimin “seçilmişleri” olmaları da. Bu konuda daha fazla okumak isterseniz bu blog yazısından devam edebilirsiniz: https://www.zehrataskin.com/index.php/2023/08/31/aci-gercekler-bilimsel-iletisim-sureclerinde-bir-fiske-esitlik-icin-kucuk-tavsiyeler/

Bu kısmı çok uzattığımın farkındayım ama vurgulamak istediğim şey şu: Dergilerin yayın sıklıkları eşit değil, yayın örüntüleri eşit değil, hakem süreçlerinde çok ciddi bir önyargı var. Laboratuvar imkanlarına ve bilimsel fonlara en çok ihtiyaç duyan alanlardan biri olan eczacılık alanında iyi uygulamaları hayata geçirebilmek ve iyi araştırmalar yürütebilmek için altyapı gerek. Bu altyapının bizde var olup olmadığını ben değil alandan olanlar söylesin.

“Q1 Q2’den, Q2 Q3’ten, Q3 Q4’ten iyidir.”

En sevdiğim kısma geldik. Çünkü eskiden etki faktörü virgülden sonra üç hane olarak yayınlanıyordu, son iki yıldır tek haneye düşürüldü. Bu da aynı sırada bir sürü dergi anlamına geliyor. Eczacılık alanı için etki faktörlerinin çeyreklere dağılımı şöyle:

Violin plot okumayı biliyorsanız (lütfen biliyor olun) Q1’deki 122,7 etki faktörlü Nature’dan sonra gelen derginin etki faktörünün ondan çok uzaklarda, 19,3 olduğunu görürsünüz. Q1’deki son dergi ile (Expert Opinion on Drug Metabolism & Toxicology, 3.9) Q2’deki ilk derginin (American Journal of Pharmaceutical Education, 3,8) arasıdaki farkın 0,1 olduğunu ve bunun tüm çeyrekler için geçerli olduğunu görürsünüz. Q1’in 3,9 ile 122,7, Q2’nin 2,6 ile 3,8, Q3’ün 1,5 ile 2,5 ve Q4’ün 0,1 ile 1,4 arasında olduğunu, yani aralarında devasa farklar olmadığını görürsünüz. Bu devasa farkların yalnızca en tepedekiler için (bu örnekte bu dergilerin hepsi derleme dergileri) söz konusu olduğunu görürsünüz. Oldukça uygulamalı bir alan olan Eczacılıkta durum buysa “sözelciler”in durumu nedir tahayyül edin bakalım.

Uzattım çok. Eczacılık örneğini bırakıp Türkiye örneğine geçiş yapayım biraz.

Türkiye adresli dergilerin durumu

Türkiye adresli dergilere geçmeden yazdıklarımı yansıtan önemli bir hususun bizim dergilerimizin de başına geldiğini geçenlerde meslektaşım Hüseyin Murat Yücel hatırlattı. AHCI’da dizinlenen Belleten ve Osmanlı Araştırmaları Dergisinin etki faktörleri aynı, aynı dizinde ve aynı sıradalar. Aynı alanda yayınlanan dergilerin atıf-yayın sayılarının da benzer olması kaçınılmaz ve örnek olması açısından iyi bir denk geliş bence. Birazdan AHCI dergilerine ayrıca eğileceğimden burada keseyim ve Türkiye adresli dergilerden devam edeyim.

JCR’da Türkiye adresli 263 dergi var. Birden fazla konu kategorisine giren dergileri en yüksek çeyrekte dizinlendikleri alanı dikkate alarak sınıfladım. Elde ettiğim sonuçlar şöyle:

Yukarıdaki box-plotlar çok şey söylüyor da en önemli bir iki tanesini söyleyeyim:

• SSCI’da dizinlenen dergilerimizle ESCI’de dizinlenenler arasında çok büyük bir fark yok. ESCI’de dizinlendiği halde SCI/SSCI dergilerinden daha yüksek etki faktörüne sahip dergilerimiz var. Görmek isteyen için genel kabullere çok aykırı şu durum.
• AHCI bambaşka bir boyut. Bambaşka şekilde değerlendirilmeli. AHCI’yı diğerleriyle aynı havuza kolluksuz atmak büyük risk. Boğulur çünkü. Ölür. Sonra sanatsız kalan bir milletin can damarını arar bulamazsınız. Zaten bence WoS da bulamamış olmalı ki 654 AHCI dergisinin 485’ine çeyrek atamamış. Yukarıdaki grafikte yer alan N/A bu anlama geliyor. Diğer yandan bence aşağıdaki grafik neden AHCI asla etki faktörü ile değerlendirilemez sorusunun cevabı gibi.

Yanlış görmüyorsunuz. AHCI’da yer alan dergilerin ortalama etki faktörü 0.9 (ortanca: 0.8). Dergilerin çoğunun etki faktörü aynı. Aynı sıradalar. Tıpkı Belleten ve Osmanlı Araştırmaları Dergisi gibi. Sıkı durun, bu dergilerimizin dizinlendiği Tarih alanında 0.2 etki faktörüne sahip toplam 93 dergi var. Artık blogu sonlandırırken Tarih alanından da bir görselle kapatayım.

Tüm bir ülkenin akademik sistemini tek kaynaktan yönetmek

Benim alanımda olduğu gibi sizin alanınızda da neredeyse tüm dergilerin çeyrekleri bu yıl bir gecede yükseldi. Herkes halinden memnun. Çünkü daha önce havuzda olmayan dergiler artık havuzda. Çoğu yerel/bölgesel dergiler olduğu için yayın/atıf örüntüleri diğerlerine benzemiyor. Benzemediği için bir kısmı havuzun kenarında kaldılar. Sizinkiler parladı. Bu demek değil ki bir sonra da böyle olacak. Ülkenin tüm akademik performans değerlendirme sistemi tek bir kaynağa dayanıyor. Yerel kaynaklar zaten güvenilir değil ve kimse güvenmiyor, güvenilir hale getirmeye çalışmıyor. Tüm eforumuzu ticari bir veri tabanının uygulamalarını kendimize uyarlamak için kullanıyoruz. Bu blog yazısının amacı da en azından sorular sormak/sordurmak. Soru sorduğumuz kadar iyileştirebiliriz çünkü. Farkında olduğumuz kadar değiştirebiliriz.

Son paragrafa ne yazacağımı bilemedim. Günlerdir bu blogu yazıyorum. Başta ne yazdığımı unuttum. Dönüp bir okuyup yayınla butonuna basacağım. Okumak için uzun ve sancılı bir metin. Okuyana yoktan yere sahip olduğu sancısı hayırlı olsun :=)

Yayınladıktan sonra aklıma gelen minik not: Havuz metaforunda işaret etmek istediğim fen bilimleri olimpik havuzdur, diğerleri değildir değil. Hepsini aynı havuza atıyorlar ve attıkları havuz fen bilimlerinin havuzu demek istiyorum. Her şeyin yanlış anlaşılmaya müsait olduğu zamanda bunu açıklayayım ki tersinden anlaşılmasın :=) Yukarıdaki tüm metin size bunu fısıldıyor zaten.