Yükseköğretimin sermayesi, araştırma değerlendirme ve metriklere hapsedilmiş akademi üzerine…

Bu hafta şahane bir konferansta (6. Uluslararası Yükseköğretim Çalışmaları Konferansı) davetli konuşmacıydım ve konuşmamın başlığı olarak “sayıların ötesine geçmek” cümlesini seçtim. Tüm vurgum da sayıların ötesine geçmenin mümkün olabilmesi için araştırma değerlendirmeden önce araştırmanın ne demek olduğunu anlamak gerektiği üzerineydi.

Ne tesadüf bugün European Universities – Critical Futures konferansının metriklerle yönetilen üniversite sisteminin tartışıldığı oturumunda Jakub’un ilk slaytı da oldukça haklı bir soru işareti ile sonlandırılmış bir “beyond metrics” idi (Bkz. Şekil 1). Çünkü artık metriklerin ötesinde bir akademiyi düşünme zamanı geldi. Ancak bunu nasıl yapacağımız hala büyük bir soru işareti.

Bugünkü etkinlikte ben de davetli panelist olarak aklımdaki soru işaretlerini somut örnekler üzerinden ilettim. Çok sevilmese de somut örnekleri, hatta bazen anekdotları çevre ülkeden bir akademisyen olarak tüm konuşmalarımda çok sık kullanıyorum çünkü sözde veya yazılan raporlarda her şey mükemmel. AB eşitlik, çeşitlilik ve çok dilliliğe büyük önem veriyor. “Sorumlu araştırma” en önemli gündem maddesi ve metriklerin araştırma değerlendirmesinde kullanılması önerilmiyor. Ancak bizim günlük hayatta yaşadığımız deneyimler söylenenlerden çok farklı. Yağmacı yayıncılık üzerine yazdığımızda bu konuda konuşacak son ülke Türkiye diyorlar. Aynı şeyleri herhangi bir sıralama sisteminde ilk 10’da yer alan üniversitelerden bir akademisyen dile getirdiğinde -ki çoğunlukla hepsinin ilk 10’u aynı üniversiteler biliyorsunuz- akademinin büyük bir sorununa ışık tutmuş oluyor. Sorun bizim sorunumuz, çözüm yollarını da en iyi ancak biz bulabiliriz ancak bu hiç önemli değil. Duymak istedikleri ses bizim sesimiz değil.

Konferanslarda hep aynı kişiler eşitlik konuşuyor. Çeşitlilik olsun diye davet edilen akademisyenler zaten ismi olan, ayrıcalıklı akademisyenler. Diğer taraftan atıfların değerlendirilmesinde içerik analizine geçilmeli diyoruz ama ortada çevre ülkelere veya dezavantajlı gruplara (kadın akademisyenler, genç araştırmacılar vs.) karşı bilinçli bir görmezden gelme varsa ve kasti olarak atıf yapılmıyorsa atıfların içeriğinin analiz edilmesi gerçekten iddia edildiği gibi “kalitenin değerlendirilmesi”ni sağlar mı, yoksa her türlü yaratıcı “sorumlu” girişimin hayatımıza yeni metrikler eklemekten başka bir işlevi yok mu gibi bir sürü soru işareti var kafamda. Hiçbirinin net bir yanıtı yokken metriklerin ötesinde bir değerlendirme sistemine geçilmesi mümkün mü şimdilik bilmiyorum.

Değerlendirmelerin iyileştirilmesi için sunulan yegane alternatif: Akran değerlendirmesi

İstanbul’daki konferansta aşağıdaki paragrafa değindim (bkz. Şekil 2). Konferansın diğer davetli konuşmacısı olan ilgili derginin eş editörü bu açıklamaya inanmakta güçlük çekti. Ancak bu açıklama var ve uzun süredir orada duruyor. Bence daha da kötüsü içeride de bu editörün sahip olduğu coğrafik önyargının haklılığına kendini inandırmış binlerce akademisyenin varlığı. Ben ülkeden kaçabilmek için kötü araştırma kültürümle İngilizce yayın yapmaya çalışan bir akademisyen değilim ve bu röportajda bahsedilen özelliklerin tam tersi özellikleri taşıyan şahane araştırmacılar biliyorum. Hiçbiri bu önyargıyı hak etmiyor. Ancak sistem tamamen hakem değerlendirmesine dayandırıldığında elimizdeki malzeme bu. Maalesef fazlası değil.

Diğer taraftan içerideki akran değerlendirmesine de güvenmiyorum. Yayınlarının tamamını alanın en önemli dergilerinde yapmış birinin doçentlik değerlendirmesinde alanla zerre ilişkisi olmayan ama nepotizm sayesinde profesör koltuğunda oturan birinden “alanı dışında at koşturmuştur” raporunu da gördüm. “Sizin aklınıza Prof. X’e atıf yapmak gelmediyse benim içimden de size yayınlanabilir demek gelmiyor” diye yersen çift körleme hakem değerlendirmesinde ret tavsiyesi veren hakem de. Tamamen akran değerlendirmesine dayanan bir sistemin varlığı beni inanılmaz korkutuyor. Daha başka çözümler olmalı ama ne? [Spoiler alert] Açık erişim demeyin, onun kendine hayrı kaldı mı ondan emin değilim. Yazının devamında onunla ilgili bir kısım da var :=) [/spoiler alert]

İşte bu soruya yanıt ararken son zamanlarda keyifle okuduğum iki kitaptan biriyle devam etmek istedim çünkü bu şahane kitaptan alıntılarla bizi bu düzene kavuşturan adımları listelemek istiyorum.

Yükseköğretimin Sermayesi (Capital of Higher Education)

Bu yıl benim için -yeni çıkan kitaplar açısından- oldukça doyurucu geçti. Şef Emanuel Kulczycki’nin the Evaluation Game kitabı üzerine daha önce yazmıştım. Bu blog yazısı için rehber olarak Krystian Szadkowski tarafından kaleme alınmış Capital in Higher Education: A Critique of the Political Economy of the Sector kitabını kullandım. Hala okumadıysanız çok şey kaybediyor olabilirsiniz :=)

Ölçemediğimiz şeyi gerçekten yönetemez miyiz?

Çok bilmişlerin araştırma değerlendirmede sayısal metriklerin geride bırakılmasına ilişkin her tavsiyeyi çürüttükleri (çürüttüklerini sandıkları) argümanları bu: Ölçemediğimiz şeyi yönetemeyiz! Bazen Drucker’e atfediyorlar, bazen Deming’e. İddia ettikleri şey şu: Yönetebilmek için ölçüyoruz. Mahcubiyet içeriyor gibi bazen, bazen “deli misin, biz keyfimize mi ölçüyoruz her şeyi” der gibi. Ölçme işini Krystian nasıl tanımlıyor bakalım:

It (measure) is a medium of subsumption as an enforced relationship between capital and labour, allowing capital to establish and define its parameters. It enables calculation, and once the calculation is complete, its result can quickly become a norm or yardstick, for the reality being measured. Commensurate entities are obliged to conform to the norm. The measure could thus serve as a vehicle for an empty, homogeneous, linear progress. (s. 125)

Daha önce atıf dizinlerinin çıkış hikayesini yazmıştım: https://www.zehrataskin.com/index.php/2023/08/24/sci-ssci-yayin-yapmanin-ipuclari/ Ölçmeye yönelik sonsuz arzunun somutlaştırılmasının ve günümüzde norm/kıstas haline gelmesinin en önemli adımlarından biri şüphesiz atıf dizinlerinin ortaya çıkışı. Kitapta öncesi ve bibliyometrinin/sıralama sistemlerinin temellerinin ortaya çıkışının hikayesi de var. Benim en keyifle okuduğum bölümler de onlar. Kitabın early bibliometrics bölümü aşağıdaki paragrafla başlıyor ve bu kısımdan itibaren önemli sorular sorduruyor.

By counting references, articles or the numbers of “brilliant minds” employed by universities, they were comparing academic institutions or scholars or preparing and developing rankings or indexes that would corroborate the scientific identity and contribute to the prosperity of Psychology as an academic discipline (Godin, 2006) (s. 130).

En şahane beyinleri kaynakça sayarak saptayabileceğimizi iddia eden araştırmacının fikri Lotka Yasasının bilimsel yayınlar için de geçerli olduğu anlaşılınca boşa çıkıyor aslında. Çünkü araştırmacıların sadece çok azı 10 makalenin üstünde üretime sahipken, büyük çoğunluk belirli bir süre içinde yalnızca bir/iki yayın üretiyor. Dolayısıyla eşitler arasında bir yarış söz konusu. Tabi ki ölçme sevdalılarını bu gerçek durduramıyor. Hemen işe yarar bir başka yasa bulunuveriyor: Bradford yasası. İşte bu yasa da bugün bildiğimiz anlamdaki atıf dizinleri ve onların ürettiği sayıların çıkış noktası oluyor.

… However, a few years later, in 1934, a fundamental principle governing the modern analysis of productivity and estimating the value of academic publications, the so-called Bradford’s law, was crystallised. This law states that the core of the most important literature in a given area of science is published only in a narrow group of journals. Searching for valuable texts in any other group of journals yields “diminishing returns”. Building on Bradford’s law, Eugene Garfield developed the Science Citation Index, a revolutionary tool for measuring science, which he described in his 1955 article and which was commercially implemented in 1963. (s. 131)

Bu arada bir kütüphaneci olarak minik bir parantez açayım bu kısma. Bu yasalar kütüphane koleksiyon geliştirilmesi için yardımcı bir araç olarak kullanıldığında verimli. Çünkü kütüphanelerin kaynakları kısıtlı. Sadece en çok kullanılan kaynakların alınması lazım. Bu gibi yasalar aslında buna hizmet ediyor. Ediyordu demek daha doğru belki. Çünkü sayısal ölçüm araçlarının araştırma değerlendirmesinde kullanılmasıyla hepsi birer kıstas veya norm olarak “kaliteyi saptayabilen yöntemler” olarak tanımlandı ve bu da günümüze kadar gelen sürede akademideki sayısal değerlendirme yolunun taşlarını muntazaman döşedi.

Kitabın bu kısmından hemen sonra Krystian batıda egemen olan ve Derek de Solla Price tarafından şekillendirilen “bilimin bilimi” (science of science) bakış açısının önemli bir adım olduğunun hakkını vererek dikkate alınması gereken bir sınırlılıktan bahsediyor:

Price’s ontological perspective on science is atomistic; he views it as composed of individual scientists, or “molecules,” each behaving distinctively. Consequently, scientometrics, in Price’s view, aims to determine meaningful averages from the entirety of these behaviours. His primary unit of analysis is the individual scientist, focusing on eminence, productivity, and understanding talent distribution topography... The fundamental unit for tracking scholars’ activities is the article, which Price believes emerged from the solidification of the intellectual property rights regime. He regarded authorship and prestige through publications as “a social device rather than a technique of evaluating the quanta of information” (Price, 1963, p. 65), asserting that scientists were more driven to write papers than to read them (Price, 1963, p. 70)… Garfield’s Science Citation Index aimed to visualise and objectify relations within these invisible colleges by indexing references, thus helping scientists manage information overload (s. 135).

Yukarıda da açık şekilde ifade edildiği gibi Price’ın yayın sayısının devasa artışından duyduğu endişe, bu yayınların kontrolünün sağlanması için atıf dizinlerinin geliştirilmesi gibi tüm olaylar aslında literatür takibini/kontrolünü kolaylaştırmayı amaçlıyordu. Bir kütüphaneci olarak sizi temin edebilirim. Garfield’ın ana amacı ya da dileği de bilimin onun ürettiği sayılarla değerlendirilmesi değildi. Kitaptaki bu bölüm Alfred Nobel’in “dinamiti bulmayacaktık hacı” pişmanlığını hatırlattı biraz.

One of the Garfield’s goals was to create a tool that would aid the historical and sociological study of science (Zuckerman, 2018). At the same time, the creator of the index himself protested from the very beginning against the use of the index to evaluate individual scientists or to objectively determine the value of specific publications or contributions to science deserving of, say, a Nobel Prize. However, history has developed somewhat differently than Garfield initially wished. As Paul Wouters rightly claimed, “citation is the product of citation indexer, not scientist” (1999, p. 4), it is a second-order representation of science, “a mirror image of the reference” (1999, p. 11). In measuring and visualising the system of referencing in science, the actual helpful practice of scientists, Garfield, with his Science Citation Index, contributed substantially to the establishment of the actual political economy of science—the domination of the abstractly expressed and quantified value over the use value in scientific communication.

Peki devamında ne mi oluyor? Bilimsel dergiler için yayın ve atıf sayılarıyla hesaplanan etki faktörü kanalıyla kazanılan “prestij” akademinin tamamen sermaye kontrolüne girmesine sebep oluyor. Aslında sadece o da değil, kütüphanelerin dergi seçimlerinin de kullanıcı talep ve beklentileriyle değil, kaliteyi ölçtüğünü iddia eden bu sayısal değerle yapılması kütüphane koleksionlarının da tektipleşmesine sebebiyet veriyor… ve tüm dünya uzun yıllardır kalitenin sayılarla ölçülebildiği sanrısıyla bu sistemi kullanmaya devam ediyor.

… because Garfield succeeded in constructing a quantitative index that showed the hierarchy between the journals he included and allowed it to be objectified as a hierarchy of contributions to science and, thus, a quantitative scale of prestige… The JIF encapsulated in the abstract measures certain social relations in global science, reinforcing the impetus for treating citations as the proper and almost sole currency within the field. It was supported not only by the line of reflection on the measurement of academic labour that preceded it but also by concrete social processes of creating and disseminating metrics in higher education and science systems. The design and implementation of the JIF was the culmination of efforts to develop measures of the science and higher education landscape, which opened the door to its further capitalist subsumption (s. 138).

Dahası var…

As a quantitative measure designed to assess the relative importance and impact of scientific journals, the JIF was a pivotal point in the development of metrics in science and became an essential tool for measuring the scientific impact and prestige of journals and, by extension, the researchers who published in them… As government and capital demands for more comprehensive evaluation tools increased, so did the complexity of metrics. The proliferation of different indicators allowed for a more granular examination of different aspects of academic work. Nevertheless, the emergence of the JIF as the cornerstone metric for evaluating journals controlled by capitalist publishers has done capital a favour (s. 139).

Sonrasında atıf dizinleri, kapitalist yayınevleri ve onların ürettiği her türlü metrik akademiyi şekillendirirken 2000’lerin başında kafası çalışan birilerinin sorduğu “yahu entelektüel sermaye bizim, kamu kaynağı bizim, biz neden cebimizde ne var ne yoksa onlara veriyoruz?” haklı sorusuyla yeni bir çağ açılıyor. Açık erişim çağı. E peki ne oldu sonra derseniz bir sonraki bölüme hoş geldiniz. İyi başlayan ama sonuda başrol karakterin öldüğü bir drama evrilen bir hikaye o. Mendillerinizi hazırlayın.

Kapitalist ‘açık erişim’

Bu hafta (23-27 Ekim) Uluslararası Açık Erişim Haftası. Ancak açık erişim uzunca süredir o canhıraş savunduğumuz açık erişim değil; kapitalist açık erişim. Her renk açık erişimin kazanç getiren tarafı bulundu ve en dişli açık erişim neferleri de dahil hepsi kesesini doldurdu. Yükseköğretimin entelektüel sermayesi para olup yayıncıların cebine girdi. Tüm bu sistemi Krystian “kapitalist açıklık” olarak tanımlıyor ve bu kapitalist açıklığı da üç sınıfa ayırıyor:

• Tekel yayıncılarla yönlendirilen kapitalist açık erişim yani APC tabanlı altın açık erişim yoluyla milyonlarına milyonlar, eşitsizliklere eşitsizlik ekleyen sistem,
• Veri sağlayan satıcılar yoluyla metrik, veri, istatistik satarak (analiz araçları, altmetrik araçlar vb.) açık erişimden ekstra katma değer (!) damıtan sistem,
• Henüz diğerleri kadar yaygınlaşmasa da yapay zeka ile otomatikleştirilmiş araştırma üreten sistem.

Artık açık erişim denildiğinde insanların aklına ilk gelen slogan “kamu kaynaklarıyla üretilen bilimsel çıktılar herkesçe erişilebilir olmalıdır” değil, “bize de mi 387506 dolar ağbi, fakiriz biz” :=)

Tüm bunlara paralel olarak bu yılki Açık Erişim Haftasının ana teması “community over commercialization”. Tabi gerçek durum “commercialization over community” olduğu için en sessiz kutlanan açık erişim haftası da bu yıl gerçekleşiyor. Hepimizin açık erişim savunucusu olduğu günlerden bugünlere gelinmesi tam bir dram filmi izliyormuşum hissi veriyor bana. Daha mutlu yeni filmler çekilmiyor değil ama bu yeni filmler henüz kimseye kazanç getirmediğinden o tarafa bakmak çok da tercih edilmiyor.

“Her aşın kaşığı olmak” ve imza aktivizmi

Sosyal medya etkisi mi, aktivizmin prestij getiriyor olması mı bilmiyorum ama inanılmaz bir her köşeyi tutma, her aşa kaşık olma alışkanlığı var. Bir üniversite DORA’yı imzalıyor, sonra dergilerin değerlendirilmesinde çeyrek dilimi kullanmaya devam ediyor. Bir diğeri sıralamalardan çıkan Utrecht Üniversitesini saygıyla andığı günün hemen ertesinde üniversitesinin THE sıralamasında 1328. oluşunu kutluyor. Yani aslında metrikler geride bırakılmalıdır diyenlerin de ne istediklerini bildiklerinden emin değilim uzunca süredir. AB istiyor diye, fonlayıcılar istiyor diye veya para getiriyor diye popüler olunur belki ama aktivist olunmaz. Dolayısıyla mevcut sorunları imza aktivizmiyle çözebileceğimizi sanmıyorum. Nasıl çözebileceğimize ilişkin fikirlerimi de yakın zamanda yazarım. Çünkü çok uzun bir yazı oldu bu. Hala buralardaysanız ve hala okuyorsanız teşekkür ederim. Yeni yazılara da beklerim.

*Kitaptan altını çizdiğim bölüm sayısı çok fazla. Bu yazıyı nerede sonlandıracağımı bilemedim. Bahsetmek istediğim bölümlerin çok azından bahsedebildim. O yüzden siz burada yazılanlara ek olarak tüm kitabını okursanız daha çok mutlu olursunuz.