Benim sesimden dinlemek için: https://youtu.be/iZ7KEQXQ7L4
İki gün önce Mersin’de EkoEvo‘nun düzenlediği EEBST 2026‘nın ön etkinliği olan “Bilimsel Yayımcılığın Geleceği” başlıklı panelde konuştuk. Çağatay (Tavşanoğlu) Hocamın harika sorularla yönlendirdiği, şimdiye kadar karşılaştığım en keyifli izleyici gruplarından biri tarafından yöneltilen mükemmel sorularla lafın lafı açtığı, upuzun süren etkinlik son zamanlarda en çok zevk aldığım etkileşim ortamlarından biri oldu. Etkinlik posterini de ekliyorum hemen aşağıya.
Gel gelelim son birkaç aydır içinde bulunduğum kaos ortamı sebebiyle (11 yıldır oturduğum evden taşınma, bir proje kapanışı, bir diğerinin açılışı, eğitim dönemi kapanışı, konferanslar, konuşmalar, makale revizyonları vs.) asla gündemimin bir parçası olamayan bloguma bugünlük kısa bir geri dönüşün sebebi, etkinlikte Güleda tarafından etki faktörünün hesaplama yöntemi açıklandığında salonda oluşan buz gibi atmosfer. “Nasıl yani”ler. “Yok artık”lar. Tahminimden daha az kişi tarafından bilindiğini düşündüğüm etki faktörünün nasıl hesaplandığına ve bu hesaplamanın neden koskoca ülkelerin araştırma değerlendirme politikalarını yönlendirmemesi gerektiğine ilişkin bir blog yazısıyla geldim bugün. Hazırsak başlıyoruz.
Önce Formül
Etki faktörünün hesaplama yöntemi şu:
X yılı etki faktörü= X yılında, önceki iki yılda yayınlanmış eserlere yapılan atıflar / Önceki iki yılda yayınlanmış makale ve derleme sayısı
Yani şöyle. Geçen ay JCR 2025 açıklandı. Bu hesaplamada benim alanımın dergilerinden biri olan JASIS&T’in etki faktörü şöyle hesaplanmış.
Yani pay kısmında yayınlanmış her şeye, her türlü doküman tipinden gelen atıflar dahil. Buna “sayın okuyucum, bak geçen sene ne de güzel makaleler yazdık” diyerek bir önceki yıl yayınlanmış tüm eserlere atıf yapılan editoryaller bile dahil. Bunun nasıl bir manipülasyon malzemesi olabileceğini daha önce şu makalemizde, ampirik bulgularla destekleyerek yazmıştık: Self-citation patterns of journals indexed in the Journal Citation Reports
Payda kısmındaysa yalnızca citable items olarak kabul edilen makale ve derlemelerin sayısı var. Yani starking ve amasya elması farkı değil bu, elma ve armutu birbirine bölmek gibi biraz. Dergilerin yayınladıkları editoryaller, kitap kritikleri, mektuplar atıf değeri olarak kabul edilirken yayın değeri olarak sayılmıyor.
Bu formülün sıkıntıları ile ilgili yazmaya devam edeceğim. Ancak önce öğrendiklerinizi hazmedebilmeniz için süre tanımak açısından kim bulmuş bu hesaplama yöntemini onu anlatayım.
Bu belayı başımıza kim sardı ve neden?
Şimdi gelelim hikâyenin başına. Aslında bu noktada küçük bir haksızlık yapıyoruz çünkü etki faktörü bugün kullandığımız amaç için ortaya çıkmadı. Etki faktörü fikrini ortaya atan kişi de Eugene Garfield. Siz onu benim önceki yazılarımdan da tanıyorsunuz. Garfield bu kavramdan ilk kez 1955 yılında Science dergisinde yayımladığı, daha sonra Science Citation Index’in de temelini oluşturacak makalesinde bahsediyor. İlginç olan şu ki Garfield, yıllar sonra yaptığı bir konuşmada 1955’te “etki” kavramının bir gün bu kadar tartışmalı hale geleceğini hiç düşünmediğini söylüyor. Hatta etki faktörünü nükleer enerjiye benzetiyor: Doğru kullanılırsa faydalı, yanlış ellerdeyse kötüye kullanılabilecek bir araç.
Normal olarak aklınıza dergileri ölçmek için geliştirmedilerse neden geliştirdiler sorusu gelmiştir. Araştırmacıları sıralamak için mi? Üniversitelerin performansını ölçmek için mi? Ülkelerin bilim politikalarını belirlemek için mi? Hayır. Amaç çok daha basit: Yeni oluşturulan Science Citation Index’e hangi dergilerin dahil edileceğine karar verebilmek. Çünkü yalnızca toplam atıf sayısına bakarsanız büyük ve çok yayın yapan dergiler doğal olarak öne çıkar. Küçük ama kendi alanı için çok önemli uzmanlık dergilerini kaçırabilirsiniz. Bunun için dergileri büyüklüklerinden bağımsız karşılaştırabilecek basit bir yönteme ihtiyaç vardı ve “journal impact factor” böyle doğdu. Yani bugün bir derginin ‘kalitesini’, bir makalenin değerini ya da bir kurumun başarısını ölçmek için kullanılan sayı aslında kütüphanecilikte indeksleme problemini çözmek için geliştirilmişti.
Garfield’ın kendisi de yıllar içinde kavramın anlamının genişlemesinden rahatsız olduğunu söyledi. Çünkü bir derginin ortalama atıf performansını karşılaştırmak başka, o dergide yayımlanan tek bir makalenin ya da araştırmacının değerini derginin genel geçer artimetik ortalamasını dikkate alarak ölçmeye çalışmak bambaşka bir şeydi. Yani suç sanki Garfield’da değil de, elindeki termometreyle boy ölçmeye çalışan bizlerde gibi gibi.
Çarpık veriye aritmetik ortalama
Şimdi gelelim ikinci soruna. Diyelim ki elmalarla armutları ayırdık, pay ve paydayı tertemiz hale getirdik. Yani gerçekten yalnızca makalelere gelen atıfları, makale sayısına böldük. Sorun çözüldü mü? Keşke o kadar kolay olsaydı.
Çünkü karşımızdaki veri aritmetik ortalamanın çok da sevmediği bir veri türü: aşırı çarpık bir dağılım. Çarpık veriyi raporlarken medyan değil ortalama veren öğrenciyi eleştirirken, bilimsel dergilerin kıymetini tahsis eden sayının ortalama olmasını dert etmiyor olmamız beni bir fiske üzüyor.
Bir derginin etki faktörü 10 olduğunda, o dergide yayımlanan makalelerin büyük kısmının yaklaşık 10 atıf aldığı gibi bir algı oluşuyor. Oysa gerçek çoğu zaman bundan çok farklı. Birkaç makale yüzlerce hatta binlerce atıf alırken, aynı dergide yayımlanan birçok makale çok daha az atıf alabiliyor. Hatta sıfır atıfta da kalabiliyor. Ama biz hepsini topluyoruz, yayın sayısına bölüyoruz ve ortaya tek bir güzel sayı çıkarıyoruz. Matematiksel olarak doğru. İstatistiksel olarak ise temsili tartışmalı.
Şimdi şöyle düşünün, bir şirkette 99 kişi 30.000 TL maaşla çalışıyor. Genel müdür 10 milyon alıyor. Şirketin ortalama maaşını hesaplayın ve bu hesaplamanın saçmalığına oturun ağlayın.
Çok uzatıyorum ama işte tam da bu gibi konular yüzünden 2012 yılında yayımlanan San Francisco Declaration on Research Assessment (DORA) en temel önerilerinden birini bu noktaya ayırdı: Dergi temelli göstergeleri, özellikle de etki faktörünü, tekil araştırma makalelerinin kalitesini veya araştırmacıların performansını ölçmek için kullanmayın.
Alan bazlı atıf potansiyelleri ve farklılıklar
Bir diğer sorun da şu: Her elma bahçesi de aynı hızda meyve vermiyor.
Yani diyelim ki hesaplama yöntemindeki tüm sorunları çözdük. Atıfları doğru yayınlarla eşleştirdik, çarpık dağılımları dikkate aldık, ortalamalar yerine daha anlamlı göstergeler kullandık. Yine de önümüzde büyük bir sorun var: Her bilim alanı aynı hızda ve aynı miktarda atıf üretmiyor. Bunun sebebi alanların yayın yapma ve atıf verme kültürlerinin birbirinden tamamen farklı olması.
Bazı alanlarda bir makalenin kaynakçasında yüzlerce çalışma yer alırken, bazı alanlarda 20-30 kaynak gayet normal kabul ediliyor. Bazı alanlarda bilgi çok hızlı eskiyor ve yeni yayınlara hemen atıf geliyor, bazı alanlarda ise bir çalışmanın gerçek etkisini göstermesi yıllar alıyor. Sonuç? Matematik alanındaki en prestijli dergilerden birinin etki faktörü 3 civarında olabilirken, hücre biyolojisindeki üst düzey bir derginin etki faktörü 30 olabilir. Bu bize hücre biyolojisinin matematikten 10 kat daha kaliteli bilim ürettiğini mi gösterir yoksa sadece iki alanın atıf ekonomisinin farklı olduğunu gösterir?
Leiden Manifestosu’nun da altını çizdiği noktalardan biri tam olarak bu: Alanlar arasındaki farklılıkları dikkate almadan yapılan karşılaştırmalar yanıltıcıdır.
Uyuyan güzeller (sleeping beauties)
Bizim alanda benim en sevdiğim tabirlerden biri uyuyan güzeller. 50 sene önce zamanın ötesinde bir makale yayınlıyorsunuz. Değerini kıymetini kimse bilmiyor. 50 sene sonra bir anda atıf almaya başlıyorsunuz ama hiçbir kıymeti yok. Çünkü iki sene içinde almalıydın diyor güncel hesaplama. Tarih alanı gibi atıf yarı yaşamı daha uzun olan alanlardaki dergilerin etki faktörlerinin düşük olmasının ana nedeni de bu.
Etki faktörü en yüksek dergileri zirveye taşıyan ne?
Şimdi önemli bir soru geliyor. Bir dergi etki faktörü sıralamasında en üstteyse, onu gerçekten “en iyi” yapan şey ne? Daha iyi makaleler yayımlaması mı? Daha kaliteli bilim üretmesi mi? Yoksa etki faktörü hesaplama sisteminin avantaj sağladığı bazı özelliklere sahip olması mı?
Biz de tam olarak bu sorudan yola çıkarak Güleda, Emanuel ve Janne ile birlikte yaptığımız bir çalışmada JCR’da etki faktörüne göre ilk 20 sırada yer alan dergileri inceledik. Sorumuza da açık açık şunu yazdık: “What makes top 20 JIF journals top?” Yani “Etki faktöründe ilk 20’ye giren dergileri zirveye taşıyan şey ne?” Sonuçlar oldukça ilginçti.
İlk olarak alan konusu yine karşımıza çıktı. JCR’daki dergilerin yaklaşık dörtte biri tıp, dörtte biri doğa bilimleri alanındaydı. Ama ilk 20 dergiye baktığımızda sosyal bilimler, beşeri bilimler ve tarım bilimlerinden hiçbir dergi yoktu. İlk 20’nin tamamı tıp, doğa bilimleri, mühendislik/teknoloji ve multidisipliner alanlardan geliyordu.
İkinci önemli nokta ise yayın türüydü. Zirvedeki dergilerin önemli bir kısmı klasik anlamda yeni araştırma makaleleri yayımlayan dergiler değildi. Özellikle derleme dergileri büyük avantaja sahipti. Çünkü derleme makaleleri doğaları gereği daha geniş literatürü toparlıyor ve ortalama olarak daha fazla atıf alıyorlar. Hatta ilk 20’deki dergilerin yarısından fazlası, yayın yapıları açısından JCR’daki genel dergi evreninden ciddi biçimde ayrışıyordu. Örneğin bazı Nature Reviews dergilerinde “citable item” olarak sayılan içerikler içinde araştırma makalesi oranı yok denecek kadar düşüktü.
Bir başka ilginç bulgu en yüksek etki faktörlü dergiler aslında en çok yayın yapan dergiler değildi. Tam tersine, ilk 20’deki dergilerin yarısından fazlasının atıf alabilir yayın sayısı JCR ortancasının altındaydı.
Yani zirveye çıkmanın formülü sıklıkla çok sayıda mükemmel araştırma yayımlamak değil. Bazen doğru alanda olmak, daha fazla atıf üreten yayın türlerine sahip olmak, sayısal olarak az ama çok atıf alma potansiyeli yüksek içerik yayımlamak gibi yapısal avantajlar da bu sıralamaları şekillendiriyor.
‘Etki’ faktörü olmayan dergi etkisiz midir?
Buraya kadar hep etki faktörü olan dergiler üzerinden konuştuk. Peki hiç düşündünüz mü, hangi dergilerin etki faktörü var? Çünkü etki faktörü dünyadaki tüm bilimsel dergiler için hesaplanan evrensel bir değer değil. Yalnızca Web of Science kapsamındaki belirli indekslerde yer alan dergiler için hesaplanan bir gösterge. Yani bir derginin etki faktörünün olmaması, o derginin etkisinin olmadığı anlamına gelmiyor. Çoğu zaman sadece bu hesaplama sisteminin içinde olmadığı anlamına geliyor.
Bu ayrım özellikle sosyal bilimler ve beşeri bilimler için çok kritik. Çünkü bilimsel iletişim pratikleri tüm alanlarda aynı değil. Bazı alanlarda araştırmanın doğal hedef kitlesi küresel akademik toplulukken, bazı alanlarda yerel toplum, politika yapıcılar, meslek grupları veya belirli dil toplulukları olabiliyor.
Leiden Manifestosu’nun da dikkat çektiği gibi dünyanın birçok yerinde araştırmada mükemmeliyet, İngilizce yayın yapmakla eş tutuluyor. Oysa bölgesel veya ulusal öneme sahip araştırmaların görünürlüğü, yalnızca İngilizce ve uluslararası indeks merkezli ölçütlerle değerlendirildiğinde kolayca gözden kaçabiliyor.
Düşünün, Türkiye’de eğitim sistemi üzerine yapılmış ve öğretmen politikalarını değiştiren çok önemli bir çalışma mı daha “etkili”, yoksa kimsenin uygulamasına dokunmayan ama yüksek etki faktörlü bir dergide yayımlanan makale mi? Cevap etki derken neyi kastettiğimizle ilgili.
Sonuç yerine: Bu yazı burada bitmez
Buraya kadar geldiyseniz artık etki faktörünün aslında ne olduğunu, daha önemlisi ne olmadığını biliyorsunuz. Elimizde yanlış bir sayı yok, hatta tam tersine, belirli bir amaç için geliştirilmiş bir gösterge var. Sorun, bu sayının cevap vermek üzere tasarlanmadığı soruların karşısına çıkarılması.
Bir derginin kısa dönemli ortalama atıf performansını ölçmek başka, bir makalenin niteliğini, bir araştırmacının değerini, bir kurumun başarısını ya da bir ülkenin bilimsel kapasitesini tek bir sayı üzerinden değerlendirmek bambaşka.
O yüzden etki faktörünü yakıp yıkmadan önce, belki de ona Garfield’ın başta verdiği görevi hatırlatmamız gerekiyor. Termometreyle ateş ölçebiliriz ama boyumuzu ölçmeye çalışırsak sorun termometrede olmayabilir.
Bu yazıyı burada bitirmeyeyim. Çünkü dergi metrikleri dünyasında konuşacak daha çok şey var. Eğer buraya kadar okuduysanız ve “peki o zaman Q1, Q2 meselesi nedir?” diyorsanız sizi bir önceki yazıma alayım: “Dergi çeyreği borsasında bu yıl: JCR 2023 verileri ile bazı ‘doğru’larımızı gözden geçiriyoruz”
Çünkü hikâyenin devamında başka elmalar, armutlar ve bolca karıştırılan sepetler var :=)