URAP

URAP (University ranking by academic performance) Araştırma Laboratuvarı 2009 yılında Orta Doğu Teknik Üniversitesi Enformatik Enstitüsü bünyesinde kurulmuştur. URAP'ın amacı yükseköğretim kurumlarını akademik başarıları doğrultusunda değerlendirebilmek için bilimsel metotlar geliştirmek ve yapılan çalışmaların sonuçlarını kamuoyu ile paylaşmaktır.^[1] Bu çalışmaların bir ürünü olan 2016 URAP Dünya Sıralaması 2000 dünya üniversitesini, Türkiye Sıralaması da Türkiye'de yer alan ilk 76 üniversiteyi çeşitli akademik performans kriterlerine göre sıralamaktadır.

URAP sıralamaları üniversiteleri iyiler ve kötüler şeklinde ayırmayı hedeflememektedir. URAP'ın hedefi, çalışmalar sonucunda elde edilen veriler ile üniversitelerin kendi akademik performanslarını diğer üniversitelerle karşılaştırabilmesine ve belirlenen kriterlere göre gelişmeye açık yanlarını fark etmelerine yardımcı olmaktır.

URAP dünya sıralamalarında, değerlendirme yılında dünyada en fazla makale yayınlayan 2500 yüksek öğretim kurumunu temel almaktadır. Her yüksek öğretim kurumunun toplam puanı, belirlenen göstergelerdeki performanslarına dayalı olarak hesaplanmaktadır. Değerlendirme için seçilen 2500 yükseköğretim kurumu arasında en yüksek puana sahip 2000 kurum URAP tarafından açıklanmaktadır. URAP alan sıralamaları için, Avustralya ERA (Excellent in Research for Australia) tarafından belirlenen 23 bilim alanı temel alınmaktadır.

URAP dünya sıralamasında, 6 gösterge kullanılmaktadır. Bu göstergeler; makale sayısı, atıf sayısı, toplam bilimsel doküman sayısı, toplam yayın etkisi, toplam atıf etkisi ve uluslararası işbirliğidir. Bu göstergelere temel oluşturan ham bibliyometrik veriler istatistiksel olarak çarpık bir dağılıma sahiptir. Bu nedenle puanlamalarda ortanca(medyan) değerleri esas alınmıştır. Her göstergenin ağırlığı uzmanlardan oluşan bir grubun katıldığı Delphi yöntemi ile belirlenmiştir. Aşağıdaki tabloda 2014 itibarıyla URAP dünya sıralamaları için kullanılan göstergeler ve ağırlıklar verilmiştir.

Yükseköğretim kurumlarının Web of Science tarafından taranan dergilerde son yılda yayınladığı toplam makale sayısıdır. Bu gösterge, güncel bilimsel üretkenliğin ölçümü için kullanılmaktadır. Bu göstergenin toplamdaki ağırlığı %21’dir ve makaleleri, derlemeleri ve bilimsel notları kapsamaktadır.

Bu gösterge, bir kurumun bilimsel üretkenliğindeki kalitenin sürdürülebilirlik düzeyini göstermektedir. Bu gösterge için, son üç yılda yapılan yayınların aynı dönemde aldığı atıf sayısı kullanılmaktadır ve toplam puan içindeki ağırlığı %21’dir.

Toplam bilimsel doküman sayısı, bir kurumun bilimsel üretkenliğinin devamlılığını ölçmektedir. Bilimsel dokümanlar; Web of Science veritabanı tarafından sağlanan ve son üç yılda yayınlanan konferans bildirileri, derlemeler, akademik mektuplar (letters), irdelemeler (discussions), yazılı metinler (scripts) ve bilimsel dergilerde yayınlanan makaleler olmak üzere tüm akademik literatürü kapsar. Bu göstergenin toplamdaki ağırlığı %10’dur.

Toplam yayın etkisi (TYE), bilimsel üretkenliğini ölçmektedir. Her yükseköğretim kurumunun 23 bilim alanındaki makale başına düşen atıf sayısının, o alandaki dünya ortalamasına oranı hesaplanmaktadır. Bu oran ilgili alandaki yayın sayısı ile çarpılıp 23 bilim alanı için bu çarpımlar toplanır. TYE aşağıdaki formül kullanılarak hesaplanmıştır:

${\displaystyle TYE=\sum _{i=1}^{23}{\Bigg [}{\Bigg (}{\frac {CPP_{i}}{CPP\_{World_{i}}}}{\Bigg )}*Articles_{i}{\Bigg ]}}$ Bu göstergenin toplam puandaki ağırlığı %18’dir.

Toplam Atıf Etkisi (TAE), bilimsel üretkenliğin kalitesini ölçmektedir. TAE; her yükseköğretim kurumunun 23 bilim alanında makale başına düşen atıf sayısının, o alandaki dünya ortalamasına oranıdır. TAE aşağıdaki formül kullanılarak hesaplanmaktadır:

${\displaystyle TAE=\sum _{i=1}^{23}{\Bigg [}{\Bigg (}{\frac {CPP_{i}}{CPP\_{World_{i}}}}{\Bigg )}*Citations_{i}{\Bigg ]}}$ Bu göstergenin toplam sıralamadaki ağırlığı % 15’tir.

Uluslararası işbirliği göstergesi, bir kurumun uluslararası tanınırlığını ölçmeyi hedeflemektedir. Üniversitelerin yabancı ülkelerdeki kurumlar ile işbirliği yaparak yayınladığı çalışmaların toplam sayısı ile hesaplanan bu gösterge için InCites verileri kullanılmaktadır. Bu göstergenin toplam sıralamadaki ağırlığı %15’tir.

2011'de ilan edilen son URAP Türkiye Sıralaması'nda YÖK'ün 2010 toplam yayın sıralamasında^[2] yer verdiği 125 üniversite değerlendirmeye alınmıştır. Genel sıralamanın^[3] yanı sıra üniversiteler mühendislik,^[4] temel bilimler,^[5] sosyal bilimler,^[6] yaşam bilimleri,^[7] tıp^[8] ve ziraat/çevre^[9] alanlarında da sıralanmaktadır. Bunlara ek olarak 2000 yılından önce kurulan üniversiteler, tıp fakültesi bulunan kurumlar ile devlet ve vakıf üniversiteleri de kendi grupları içerisinde ayrıca sıralanmaktadır.^[10]

Sıralamada, YÖK,^[2] ÖSYM,^[11] ISI Web of Science^[12] gibi açık, güvenilir kaynaklardan alınan ve yayın sayısı, kişi başına düşen yayın sayısı, atıf sayısı, kişi başına düşen atıf sayısı, toplam bilimsel doküman sayısı, kişi başına düşen toplam doküman sayısı, doktora öğrenci sayısı, doktora öğrenci oranı, kişi başına düşen öğrenci sayısı gibi bilimsel üretkenliğe dayanan veriler kullanılmaktadır.^[13][14][15] Genel Türkiye sıralaması, 2000 yılından önce kurulmuş olan üniversiteler, 2000'den sonra kurulmuş yeni üniversiteler, tıp fakültesi olan ve olmayan üniversiteler, devlet ve vakıf üniversiteleri aşağıdaki tabloda açıklanan 9 kriter üzerinden hesaplanan puanlara göre sıralanmıştır:^[16]

Dünya Sıralaması

Alan Sıralaması

Ülkelere göre Sıralamalar

Kıtalara göre Sıralamalar

URAP, diğer büyük sıralama sistemlerinden daha fazla kurumu kapsamaktadır. European Education Dergisi’nde yayınlanan “Where Are the Global Rankings Leading Us? An Analysis of Recent Methodological Changes and New Development” başlıklı çalışmanın URAP ile ilgili bölümünde URAP’tan, “SRG, ARWU, THE ve QS’ten daha az tanınmış olmasına rağmen ilgi çekici bir sıralamadır, çünkü adı geçen sıralamalar en fazla 700 üniversiteyi kapsarken URAP 2000 üniversiteden oluşan bir liste yayınlamaktadır.” şeklinde söz edilmektedir. Aynı şekilde Avrupa Üniversite Birliği (European University Association) “EUA 2013 Sıralaması Raporu”nda benzer bir ifade kullanılmaktadır: “URAP ve SCImago sıralama sistemlerinin göstergeleri önemli miktarda üniversitenin performansını ölçerek sıralama piyasasında önemli bir boşluğu doldurmaktadır. Bu miktar URAP için 2000, SCImago için ise 3000’in üzerindedir. Diğer sıralamalarla kıyaslandığında THE’nın sadece 400, ARWU, NTU Sıralama Sistemi ve CWTS Leiden ‘in 500, QS’in ise 700 civarında üniversite sıraladığı görülmektedir.” URAP’ın sadece akademik performansı ölçen dört sıralama sisteminden biri olduğu bahsi geçmektedir. Diğer üçü ise; Dünya Üniversiteleri Akademik Yayınları Performans Sıralaması (Performance Ranking of Scientific Papers for World Universities), CWTS Leiden Ranking ve SCImago Kurum Sıralamaları’dır. URAP küresel sıralamalarda yer alan öğrenci kalitesi ve eğitim performansı gibi öğretim ile ilgili göstergeleri dahil etmemekte, yalnızca araştırma odaklı göstergeleri kapsamaktadır. URAP, İngiltere’deki Yükseköğretim İstatistikleri Kurumu’nun “International Benchmarking in UK Higher Education” raporunda, akademik performansı ölçen ve kıyaslamada kullanılacak kaynaklar arasında listelenmiştir. Aynı raporda URAP “tüm üniversite sıralamaları” içerisinde kategorize edilmiştir.

URAP, çeşitli çalışmalarda küresel sıralamalara atıfta bulunularak bahsedilmekte ve kullanılmaktadır. Higher Education Policy and Management Dergisi’nde yayınlanan “World University Ranking Systems: An Alternative Approach Using Partial Least Squares Path Modelling” makalesinde önerilen modelde URAP, dünya çapındaki 9 büyük sıralama sistemleri arasına dahil edilmiştir (Diğerleri ARWU, QS, Times, Webometrics, Taiwan, Leiden, SIR ve CWUR’dur.). Aynı çalışmada URAP yalnızca yayın performansına dayalı sıralama sistemleri arasında kategorize edilmiştir. Aynı kategorideki diğer sıralama sistemleri Performance Ranking of Scientific Papers for World Universities, CWTS Leiden Ranking ve SCImago Institutions Rankings’tir.
Aşağıda URAP’ı ele alan ya da modellerine veya kıyaslamalarına URAP’ı dahil eden kitap, hakemli makaleler ve konferans bildirilerinin bir kısmı listelenmektedir.

• Where Are the Global Rankings Leading Us? An Analysis of Recent Methodological Changes and New Developments, European Journal of Education
• World university ranking systems: an alternative approach using partial least squares path modelling, Journal of Higher Education Policy and Management
• Sustainable Development and Quality Assurance in Higher Education: Transformation of Learning and Society
• Determinants of University Choice: A Study on Economics Departments in Turkey, Journal of Higher Education.
• Collecting University Rankings for Comparison Using Web Extraction and Entity Linking Techniques, Information and Communication Technologies in Education, Research, and Industrial Applications.
• URAP-TR: a national ranking for Turkish universities based on academic performance, Scientometrics.
• Using VIKOR methodology for ranking universities by academic performance, Journal of Mathematics, Statistics and Operations Research (JMSOR).
• Global University Rankings and Their Impact, EUA Report in Rankings 2013, European University Association.
• Contributions of Turkish academicians supervising PhD dissertations and their universities to economics: an evaluation of the 1990–2011 period, Scientometrics.
• A Type-2 Fuzzy MCDM Method for Ranking Private Universities in İstanbul, Proceedings of the World Congress on Engineering, 2014.
• Adoption of Web 2.0 in academic libraries of top African universities, The Electronic Library.
• Examining Job Description to Develop Job Performance Indicators for Higher Education Institution Based on MBNQA Education Criteria, Journal of Education & Vocational Research.
• Methodology for comparative analysis of university rankings, with the Mediterranean and Black sea region countries taken as an example, Middle-East Journal of Scientific Research.
• Software Quality in Academic Curriculum: A Case Study in Turkey, 12th International Conference on Computational Science and Its Applications (ICCSA).
• University Ranking Lists: A directory., 2013 Report, Division of Analysis and Evaluation, University of Göteborg.
• Apeejay Stya Eğitim Araştırma Kurumu tarafından yayınlanan “ ASERF E Eğitim Haber Bülteni” (ASERF E News Bulletin on Education) bazı ülkelerdeki en iyi 10 üniversitenin THE’daki sıralama sonuçlarını, URAP ve QS dahil olmak üzere diğer sıralama sistemlerinin sıralama sonuçları ile kıyaslamaktadır.

• Thomson Reuters partners with Times on university rankings
• 03.04.2013 tarihinde yayınlanan Tübingen Üniversitesi basın bülteni, üniversitenin URAP’taki sıralamasını ele almıştır.
• Turkey and Arab states announce new HE collaboration, University World News
• Power and responsibility – The growing influence of global rankings, University World News
• 10 Turkish universities rank among top 500, Hürriyet Daily News
• Beş Romen üniversitesinin QS, URAP, U-Multirank gibi uluslararası ve diğer sıralama sistemlerine dahil edilmesi ile ilgili rapor

URAP sıralamalarında kullanılan göstergelerin mutlak değerli, büyüklük bağımlı olması, sıralamanın büyük kurumlara yanlı olmasına neden olmaktadır. Avrupa Üniversite Birliği tarafından yayınlanan “EUA 2013 Sıralama Raporu”na göre URAP kitapları göz ardı etmekte, sanat ve beşeri bilimler alanındaki çalışmaları kapsam dışı bırakmakta ve sosyal bilimler alanını yeteri kadar temsil etmemektedir. Ayrıca, bibliyometrik göstergelere alan normalizasyonu uygulanmaması nedeniyle URAP alanlar arası yayın yapma kültürlerindeki farklılıkları dengeleyememektedir. Ek olarak rapor “Yayın sayısı göstergesinde olduğu gibi bilhassa atıf sayısı göstergesinde sonuçlar, doğa bilimleri ve özellikle tıp alanında asimetrik dağılmıştır.” şeklinde bir ifadeye yer vermiştir. Ayrıca, URAP’ın eğitimle ilgili göstergeleri hariç tutmasının (dahil etmemesinin), yalnızca araştırma odaklı kurumlara odaklanmasına neden olduğu ifade edilmektedir. Göteborg Üniversitesi Analiz ve Değerlendirme Birimi tarafından yayınlanan “University Ranking Lists: A directory” başlıklı raporda, bir sıralama sistemine 500’den fazla kurumun dahil edilmesinin neden olabileceği bir soruna işaret edilmiştir. Sorun, “URAP 2000 üniversite sıralamaktadır, amaç yalnızca Batıdaki elit grubu kapsayan bir sıralama yayınlamak değildir. Bu amaç, diğer sıralama sistemlerinin listelerindeki ilk 400-500 kurumdan fazlasını yayınlamama kararı ile tamamıyla çelişmektedir. Çünkü bu seviyenin altında, sıralama yöntemlerinin güvenilir olacağını düşünmemektedirler, URAP bu problem hakkında bir açıklamada bulunmamaktadır.” şeklinde ifade edilmiştir.