Nejvýznamnější celosvětové žebříčky vysokých škol publikují světové instituce každým rokem v průběhu srpna až října. Jejich výsledky včetně komentářů k nim představí Jan Koucký, ředitel Střediska vzdělávací politiky Pedagogické fakulty UK, na textu spolupracoval jeho kolega Aleš Bartušek. V první dílu seriálu se autoři zabývají šanghajským žebříčkem Academic Ranking of World Universities(ARWU), jenž byl zveřejněn 15. srpna.
Přirozeným důsledkem globalizačních procesů, které vysokoškolské systémy jednotlivých zemí postupně propojují do celosvětového komplexu, se stal růst konkurence na celosvětovém „vysokoškolském trhu“ a s ním spojený rozmach informací o institucích a jejich kvalitě. Nepřehlédnutelným projevem tohoto trendu jsou zveřejňované celosvětové žebříčky vysokých škol a jejich dynamický vývoj.
Od publikování prvního žebříčku před necelými deseti lety se s nimi doslova roztrhnul pytel. Mnohé se snaží reagovat na oprávněné kritické výhrady, takže se postupně zdokonaluje jejich metodologie. Navíc vedle nejznámějších celosvětových vznikají v řadě zemí i národní žebříčky, využívající podrobnějších národních informačních zdrojů. A také například mezinárodní oborové žebříčky, které jsou zaměřeny vždy jen na určitý vysokoškolský segment a své postupy mohou díky tomu přizpůsobit jeho specifikům (nejznámější mezi nimi je asi hodnocení ekonomických vysokých škol).
Výrazně roste vliv, který mají žebříčky na chování a jednání vlád a politiků, samotných vysokoškolských institucí
Nejdůležitější však je, že výrazně roste vliv, který mají žebříčky na chování a jednání vlád a politiků, samotných vysokoškolských institucí a jejich jednotlivých částí i pracovníků. Vysokoškolské politiky a rozvoj vysokoškolských systémů jsou žebříčky ovlivňovány již do té míry, že dnes opravdu málokdo pochybuje, zda mají v oblasti hodnocení vysokých škol význam a budoucnost. Vážně se však diskutuje o tom, jak by se žebříčky měly dále rozvíjet, aby uživatelům (univerzitám, studentům, politikům i veřejnosti) poskytovaly co nejrelevantnější informace a spíše než k propagaci malé části světových univerzit přispívaly k rozvoji vysokoškolských systémů ve světě.
Dělat na základě výsledků žebříčků rychlé a jednoduché závěry je sice zvláště pro politiky velmi lákavé – a často to také dělají, ale zároveň většinou zavádějící a dokonce nebezpečné. Umístění jednotlivých vysokých škol, stejně jako jejich příčiny a souvislosti lze totiž objasnit až při dobré znalosti metodologie hodnocení. Proto jetřeba podívat se nejen na celkové výsledky a například pozici alma mater, ale také na méně viditelnou tvář žebříčků a na způsoby, jak jsou vytvářeny. Ani autoři žebříčků nezastírají řadu problémů k řešení.
Nový impuls dostávají diskuse o žebříčcích vysokých škol, jejich relevanci a využití každým rokem, a to poté, kdy jsou v průběhu srpna až října postupně žebříčky zveřejňovány. Proto jsme se rozhodli publikovat alespoň stručné rozbory několika nejvýznamnějších žebříčků vždy bezprostředně po jejich zveřejnění.
Začínáme prvním z nich, kterým je šanghajský Academic Ranking of World Universities (ARWU), jehož výsledky za rok 2012 (jubilejní desáté vydání) byly zveřejněny 15. srpna.
Co je ARWU
Šanghajský žebříček Academic Ranking of World Universities, známý pod zkratkou ARWU, je nejstarším mezinárodním žebříčkem vysokých škol vůbec. Poprvé byl žebříček ARWU publikován v roce 2003. Od té doby každý rok srovnává a podrobně hodnotí přes dva tisíce nejlepších světových univerzit (z celkového počtu přibližně 18 – 20 tisíc vysokých škol), a to především podle jejich výsledků ve vědě a výzkumu. Přibližně tisícovku z nich zařazuje do žebříčku, nicméně každý rok zveřejňuje pouze seznam nejlepších 500 institucí.
Původním cílem jeho autorů z Center for World-Class Universities (CWCU) na Univerzitě Jiao Tong v Šanghaji bylo zjistit, jaký je současný rozdíl mezi nejlepšími čínskými a elitními světovými univerzitami. Pokusili se proto seřadit světové výzkumné univerzity podle jejich akademických a výzkumných výsledků založených na mezinárodně srovnatelných a veřejně dostupných údajích. Na základě zájmu a ohlasů mnoha kolegů z celého světa padlo rozhodnutí začít žebříček ARWU zveřejňovat každoročně na webových stránkách.
Na rozdíl od jiných žebříčků se ARWU soustředí především na vědeckou úroveň institucí a výsledky jsou v čase poměrně stabilní
Na rozdíl od jiných známých žebříčků se ARWU soustředí především na vědeckou úroveň institucí a kritéria hodnocení, jejich ukazatele a váhy příliš nemění, takže výsledky jsou v čase poměrně stabilní. Pokládá se to sice za přednost ARWU, ale zároveň se upozorňuje, že žebříčky ARWU neprocházejí – na rozdíl od svých konkurentů – inovacemi a nereagují na měnící se očekávání veřejnosti.
První otázkou při hodnocení žebříčků je, jak se do něj vysoká škola může vůbec dostat. Při sestavování žebříčku ARWU je zkoumána každá instituce, která má ve svých řadách (absolventů či pracovníků) nositele Nobelovy ceny za fyziku, chemii, medicínu nebo ekonomii, Fieldsovy medaile za matematiku nebo vysoce citované výzkumníky, případně autory článků v časopisech Nature a Science. Navíc jsou analyzovány přední univerzity každé země s významným počtem článků v citačních databázích Science Citation Index-Expanded (SCIE) a Social Science Citation Index (SSCI).
Při hodnocení vysokých škol zohledňuje ARWU celkem šest kritérií, z nichž poslední šesté je váženým průměrem ostatních pěti vztaženým k celkovému počtu akademických pracovníků dané instituce. V rámci každého z šesti definovaných kritérií je vždy nejlépe hodnocené instituci přiřazeno skóre 100 a skóre následujících institucí je vypočteno jako procento z tohoto nejlepšího hodnocení. Celkové hodnocení instituce je součtem vážených skóre jednotlivých kritérií a instituci s nejlepším výsledkem je na základě obdobného principu opět přiřazeno skóre 100. Skóre následujících institucí je určeno analogicky jako procento z celkového nejlepšího hodnocení, ovšem pouze na úrovni nejlepší stovky institucí. Následují již jen intervaly pořadí 101-150, 15-200, 201-300, 301-400 a 401-500 bez konkrétního umístění a skóre (po podrobném seznámení se s metodikou je však toto skóre možné dopočítat).
Jak to letos dopadlo
V roce 2012 obhájila své každoroční prvenství suverénní Harvardova Univerzita (USA). V nejlepší dvacítce (TOP 20) žebříčku ARWU je celkem sedmnáct amerických vysokých škol (například také Stanford, MIT, Berkeley, Princeton či Yale), dvě univerzity britské (Cambridge a Oxford) a také v Asii nejlepší japonská Tokijská univerzita. Ta se do TOP 20 vrátila po roční pauze na úkor Londýnské univerzity (University College London), která ji v roce 2011 odsunula na 21. místo. TOP 20 z roku 2012 tak zahrnuje stejné školy jako v roce 2005 až 2010, pouze s drobnými posuny v pořadí univerzit. Nejlepší evropská univerzita skončila pátá (Cambridge), ale nejlepší univerzita kontinentální Evropy obsadila až 23. místo (ETH Zürich).
Způsob konstrukce a obsah kritérií můžeme ukázat na jediné české vysoké škole – Univerzitě Karlově v Praze (UK), která se již od roku 2003 pravidelně objevuje v první pětistovce žebříčku ARWU. V roce 2012 se stejně jako vždy od roku 2005 umístila ve skupině 201-300 (hůře dopadla pouze na počátku – v letech 2003 a 2004 – a to ve čtvrté stovce), což znamená, že podle ARWU patří mezi 2 procenta nejlepších vysokých škol na světě.
Univerzita Karlova - výsledky dle jednotlivých kritérií
Poznámka: Legenda k jednotlivým kritériím včetně komentáře je předmětem celé následující kapitoly.
Mezi vysokoškolskými institucemi střední a východní Evropy je UK v roce 2012 za ruskou Moskevskou státní univerzitou, která celkově v žebříčku skončila osmdesátá. Celkem se v TOP 500 Šanghajského žebříčku umístilo 10 univerzit ze zemí střední a východní Evropy: za pražskou UK to až ve čtvrté stovce byla maďarská Univerzita Eotvosa Loranda v Budapešti a dvě polské univerzity - Jagelonská univerzita v Krakově a Varšavská univerzita. V páté stovce pak ruská Petrohradská státní univerzita, maďarská Univerzita v Szegedu, slovinská Univerzita v Lublani, chorvatská Univerzita v Záhřebu a vůbec poprvé srbská Univerzita v Bělehradu.
Univerzita Karlova ovšem v posledních dvou vydáních žebříčku ARWU zaznamenala pokles. Zatímco v roce 2010 s dopočteným skóre 14,7 obsadila 253. místo, v roce 2011 se skóre 14,6 obsadila 258. místo, v právě zveřejněném žebříčku za rok 2012 stačilo skóre 14,2 pouze na 270. místo.
Čím jsou výsledky Univerzity Karlovy ovlivněny
Podrobnější rozbor ukazuje, že od začátku zveřejňování výsledků ARWU nezískala Univerzita Karlova žádné skóre hned ve dvou z pěti základních kritérií (obě uvedená kritéria přitom tvoří dohromady 40 % celkového hodnocení instituce). Navíc se to samozřejmě významně promítá i do souhrnného šestého kritéria.
Zaprvé se jedná se o kritérium počtu pracovníků vysoké školy, kteří jsou držiteli Nobelovy ceny nebo Fieldsovy medaile (kritérium se označuje jako Award). Jediný český nositel Nobelovy ceny v daných oborech – Jaroslav Heyrovský(nositel Nobelovy ceny za chemii z roku 1959) totiž na Univerzitě Karlově sice pracoval, ne však v době získání ocenění, což je pro ARWU rozhodující. Na UK ovšem Jaroslav Heyrovský pracoval od roku 1918 až do uzavření vysokých škol během německé okupace v roce 1939 a po válečných peripetiích znovu až do roku 1950. Teprve tehdy se stal ředitelem nově založeného Polygrafického ústavu, který byl o dva roky později včleněn do Akademie věd. Na Nobelovu cenu byl přitom Heyrovský navrhován celkově osmnáctkrát a poprvé již v roce 1934. Fakt, že se období jeho působení na UK a rok získání Nobelovy ceny minuly, je tedy spíše výsledkem shody komplikovaných historických událostí. Jaroslav Heyrovský by přitom UK v kritériu Award přinesl skóre kolem 8 a odpovídající navýšení souhrnného šestého kritéria (PCP). UK by to v žebříčku ARWU v roce 2012 posunulo z 270. na 219. pozici (a ještě dříve dokonce do TOP 200, neboť podle metodiky ARWU se váha Nobelovy ceny Jaroslava Heyrovského (1959) v kritériu Award v roce 2012 snížila z dosavadních 50 % na 40 %).
Nevýhodou pro UK je konstrukce citačního ukazatele. Bere v úvahu pouze nejcitovanější autory, jež přiřazuje institucím, nikoliv všechny nejcitovanější publikace dané instituce.
Zadruhé však UK nezískala žádné skóre ani v kritériu tvořeném ukazatelem počtu vysoce citovaných výzkumných pracovníků a odborníků vysoké školy ve 21 definovaných oborových skupinách (HiCi). V databázi nejcitovanějších odborníků (Thomson Reuters vytvořil databázi špičkových odborníků, kteří byli nejčastěji citováni v uplynulých třiceti letech) totiž nefiguruje žádný autor z UK, který by v jedné ze skupin oborů patřil mezi 250 nejcitovanějšíchna světě.
Nevýhodou pro UK je ovšem způsob konstrukce ukazatele, který bere v úvahu pouze nejcitovanější autory, jež přiřazuje institucím, nikoliv tedy všechny nejcitovanější publikace dané instituce. Srovnání s počtem nejcitovanějších publikací za roky 2000-2010 za každou instituci (podle stejné databáze Thomson Reuters) přitom potvrzuje, že výsledky rozhodně nejsou stejné. Zařazování nejcitovanějších autorů k příslušným školám vede k podstatně větší koncentraci, než přímé vyhledání institucí s nejcitovanějšími pracemi. Na jedné straně bylo více než 5 tisíc nejcitovanějších autorů rozděleno mezi pouze 419 univerzit, mezi nimiž UK nefiguruje. Na druhé straně všech 500 hodnocených institucí mělo nějaké publikace zařazené mezi 1 procentem nejcitovanějších. UK se umístila 279. se skóre 3,14, ale ještě pětistá instituce měla skóre 0,66, takže lze předpokládat, že nenulových je mnoho desítek a možná i několik stovek dalších vysokých škol.
Rozdíly v obou postupech ovšem mají pro hodnocení škol zásadní důsledky. Například německá Univerzita ve Stuttgartu nebo maďarská Univerzita Eotvosa Loranda v Budapešti získaly v žebříčku ARWU v kritériu HiCi shodně skóre 10,2, přestože mají nižší počet nejcitovanějších publikací než UK. Na obou univerzitách se o to zasloužili pouze dva jednotlivci. Teoreticky tedy pouze koncentrace vysoce citovaných výzkumných prací na menší počet jednotlivců by UK mohla přinést další posun v pořadí v žebříčku ARWU.
Nejvyššího skóre dosahuje UK pravidelně v rámci kritéria PUB, do kterého se započítává počet publikací obsažených v citačních databázích Science Citation Index-expanded (SCIE) a s dvojnásobnou vahou Social Science Citation Index (SSCI) databáze Web of Science (WoS) společnosti Thomson Reuters v roce předcházejícím roku vydání žebříčku. Jeho hodnota již v roce 2008 vzrostla nad 43 a zhruba na této úrovni se skóre udrželo i v posledních letech. Varující však je, že v roce 2012 skóre UK v kritériu PUB poprvé od roku 2009 pokleslo.
Současně je třeba přiznat, že uvedené výsledky kritéria PUB jsou výrazně ovlivněny velikostí instituce. Podle posledních dostupných údajů obsadila UK například 137. pozici na světě v absolutním počtu dokumentů v databázích WoS, ovšem až 492. pozici při jeho vážení celkovým počtem akademických a vědeckých pracovníků. Právě tak v počtu udělených doktorských titulů je UK dokonce 81. na světě, ale vztáhne-li se údaj k počtu pracovníků, klesá na 343. místo. UK je totiž i v globálním měřítku poměrně velká škola (zhruba 50 tisíc studentů), což jí vytváří samozřejmě výhodu v těch absolutních kvantitativních ukazatelích, které nejsou vztahovány k velikosti instituce.
Před čtyřmi lety se UK podařilo výrazně zvýšit skóre také u dalšího kritéria, a to počtu dokumentů publikovaných v časopisech Nature a Science (kritérium se označuje jako N&S). V dalších letech skóre ještě narostlo z 12,4 až na 13,4 v roce 2011. Rok 2012 ovšem přinesl pokles zpět na hodnotu kritéria N&S (12,3), kterou UK měla již v roce 2010.
Přestože se UK dokázala zlepšovat jak v kritériu PUB, tak v kritériu N&S, po přepočtu dílčích kritérií na celkové skóre akademické výkonnosti instituce na pracovníka (šesté souhrnné kritérium PCP) dochází po roce 2008 spíše k jeho postupnému poklesu.
Znovu ty Nobelovy ceny
Příčinou je pravidelný meziroční pokles skóre dalšího kritéria – počtu absolventů vysoké školy, kteří získali Nobelovu cenu nebo Fieldsovu medaili (kritérium Alumni). Od roku 2005 do roku 2012 poklesla hodnota skóre kritéria Alumni pro UK z 15,4 na 9,4, tedy téměř o 40 %. Pravidelné snižování skóre je způsobeno tím, že se celkové počty držitelů těchto ocenění ve světě rok od roku zvyšují, zatímco v případě UK zůstává jejich počet konstantní. Jaroslav Heyrovský se započítává UK alespoň jako absolvent společně s manželi Carlem Corim a jeho ženou Gerty Cori (absolventy pražské univerzity a nositeli Nobelovy ceny za medicínu z roku 1947; jejich přínos pro UK je však výrazně snížen, protože ocenění bylo uděleno najednou třem navrženým a navíc UK nebyla jedinou školou, kterou absolvovali).
Avšak v roce 2011 nedošlo jen k obvyklému meziročnímu poklesu skóre UK v intervalu mezi 2 % a 5 %, ale k poklesu o 12 %, protože při změně desetiletí se podle metodiky ARWU posunuly všechny váhy pro historické období udělení ocenění. Zatímco v žebříčcích ARWU do roku 2010 byli vahou 100 % započítáváni všichni laureáti od roku 1991 do současnosti, vahou 90 % laureáti z let 1981-1990 atd. až vahou 10 % laureáti z let 1901-1910, od vydání žebříčku ARWU z roku 2011 jsou vahou 100 % započteni pouze laureáti od roku 2001 do současnosti, vahou 90 % laureáti z let 1991-2000 atd. až vahou 10 % laureáti z let 1911-1920 (za laureáty z předchozích let již školy skóre nezískávají). Podle metodiky ARWU se tím váha Nobelovy ceny Jaroslava Heyrovského (1959) v kritériu Alumni z roku na rok snížila z 60 % na 50 % (metodika vah pro časová období udělení ocenění u kritérií Alumni a Award je rozdílná).
Klíčovou úlohu, kterou v žebříčku ARWU hrají nositelé Nobelových cen, považujeme za poněkud nadsazenou
V této souvislosti je ovšem zajímavá ještě další skutečnost. Pražské České vysoké učení technické (ČVUT) se sice do zveřejněné pětistovky nejlepších vysokých škol ARWU nevešlo, ale je v jeho databázi hodnoceno. Ve 20. letech na ČVUT studoval Chorvat Vladimir Prelog, který však po absolvování na škole nezískal místo, a proto krátce po studiu již v roce 1929 odešel do soukromého sektoru. Ještě před válkou se sice vrátil do Záhřebu, ale rozhodující část své kariéry strávil na švýcarském ETH v Zürichu. V roce 1975 získal Nobelovu cenu za chemii. Paradoxně tak podle ARWU přináší Vladimir Prelog více bodů ČVUT, na kterém kromě studia téměř nepůsobil, než Jaroslav Heyrovský Univerzitě Karlově, který na ní nejen studoval, ale také během více než 20 let působení vytvořil své zásadní vědecké práce.
Další komplikací je, že Vladimir Prelog studoval na Vysoké škole chemicko-technologického inženýrství, která se od roku 1920 stala jednou ze sedmi škol nově vzniklého ČVUT. Škola měla vysokou a mezinárodně uznávanou úroveň (působili na ní například také Emil Votoček nebo Otto Wichterle) a v roce 1952 byla z ČVUT vyčleněna jako samostatná Vysoká škola chemicko-technologická (VŠCHT). Proto také pražská VŠCHT v žebříčku ARWU za své bývalé studenty a zaměstnance nic nezískává. V řadě absolutních údajů je navíc její nevýhodou, že je příliš malá (zhruba 4 tisíce studentů).
V podstatě klíčovou úlohu, kterou v žebříčku ARWU hrají nositelé Nobelových cen (kritérium Award a Alumni dohromady vlastně určuje třetinu celkového výsledku každé školy), považujeme za poněkud nadsazenou. Ani ne tak proto, že bychom zpochybňovali kauzalitu mezi kvalitou školy a studiem či působením nobelistů, či dobu působení tohoto vztahu, ale především proto, že sebraná data a pravidla pro jejich získávání jsou zatížena velkým rozsahem nepředvídatelných nahodilostí, vyvolaných nejrůznějšími historickými událostmi, politickými zvraty, společenskými změnami, ale i ryze osobními faktory. My ve střední Evropě o tom víme své!
Jak dopadly jednotlivé země
To, že v TOP 500 je například 149 škol z USA a pouze jediná škola z České republiky, ještě nic nevypovídá o celkové úspěšnosti jednotlivých zemí v žebříčku ARWU. Jak na tom v tomto mezinárodním srovnání jsme, o tom vypovídají ukazatele výkonu vysokého školství vztaženému k velikosti země. Jeden z ukazatelů, umožňujících korektní srovnání, je konstruován jako podíl celkového součtu skóre všech vysokých škol dané země v žebříčku ARWU k počtu obyvatel této země.
Výsledky takového srovnání jsou více než zajímavé (viz tabulka, kde jsou země seřazeny podle pořadí v roce 2012) a některé z nich skutečně stojí za zaznamenání. Například skutečnost, že nejúspěšnější jsou vzhledem k velikosti populace své země vysoké školy ve Švýcarsku, Švédsku, Dánsku nebo v Izraeli, tedy vesměs z malých zemí.
Srovnání jednotlivých zemí
Ve srovnání s ČR dosahuje na milion obyvatel více než dvojnásobně vyšší skóre Španělsko, téměř čtyřnásobně vyšší skóre Francie a dokonce více než osminásobně vyšší skóre Belgie
Česká republika v ukazateli výkonu vysokého školství (podle žebříčku ARWU) v roce 2012 obsadila s výsledným skóre 1,4 na jeden milion obyvatel 31. místo na světě, což je o dvě pozice horší umístění než v roce 2010 (29. místo) a o čtyři pozice horší umístění než v roce 2005 (27. místo). Z výsledků vyplývá, že ve srovnání s Českou republikou dosahuje na milion obyvatel více než dvojnásobně vyšší skóre například Španělsko, téměř čtyřnásobně vyšší skóre Francie a dokonce více než osminásobně vyšší skóre srovnatelně velká Belgie. Naopak Polsko dosahuje oproti České republice na jeden milion obyvatel přibližně poloviční skóre. Vzhledem k velikosti své populace má však Česká republika podle výsledků v ARWU méně úspěšné vysoké školy než jiné bývalé socialistické země – Slovinsko, Maďarsko a Chorvatsko.
Výsledky však také potvrzují, že pro vysoké školství v USA jsou charakteristické velké vnitřní rozdíly. Na jedné straně působí ve Spojených státech několik stovek výborných vysokých škol s vysokou mezinárodní kvalitou a prestiží, ale na druhé straně je zde zároveň ještě podstatně větší skupina škol (v USA je celkem evidováno více než 4 tisíce vysokých škol, z nich však například více než polovina nabízí pouze dvouleté studium), jejichž úroveň je jen velmi průměrná nebo podprůměrná. Jak v absolutním součtu skóre všech škol v žebříčku ARWU, tak v ukazateli skóre na 1 milion obyvatel zaznamenaly USA v roce 2012 pokračování dlouhodobého mírného poklesu.
Překvapit mohou také výsledky tzv. zemí BRICS (Brazílie, Rusko, Indie, Čína a Jihoafrická republika), které jsou považovány za nastupující velmoci 21. století. Zatímco v Brazílii se růst celkového skóre všech škol v žebříčku ARWU v roce 2012 zastavil, mírným tempem pokračuje v Jihoafrické republice a naopak výrazně roste v Číně (z 262 v roce 2010 na 335 v roce 2012). Naproti tomu v Rusku a v Indii součet skóre škol v žebříčku ARWU meziročně klesá.
Několik závěrečných poznámek
Nakonec snad jen předáme některé zkušenosti z podrobného studia výsledků, konstrukce a metodiky šanghajského žebříčku ARWU, které jdou za tradiční kritické argumenty, jako je zvýhodňování univerzit z anglicky mluvících zemí, preferování přírodovědných a lékařských oborů či přehlížení jiných funkcí, které mají vysoké školy ve společnosti.
- Přestože ARWU hodnotí kvalitu institucí v daném roce, je výrazně zaměřena na hledání ukazatelů o špičkových jednotlivcích (kritéria Alumni, Award a HiCi určují více než z poloviny celkový výsledek instituce), kteří s danou institucí měli něco společného, a to třeba i před několika desetiletími.
- Definování kritérií ukazateli (operacionalizace) je velice komplikované a mnohdy působí jako dosti umělý konstrukt, který by mohl být postaven také třeba poněkud jinak, ovšem s nezanedbatelnými důsledky pro umístění institucí v žebříčku.
- Pravidla a postup sběru dat ke zvoleným kritériím a jejich ukazatelům jsou ještě komplikovanější, málo průhledná a v mnoha případech dosti nahodilá. Je zřejmé, že některé instituce tím mohou být neoprávněně zvýhodněny, jiné zase nespravedlivě postiženy.
- Značná složitost a pracovní náročnost procesu vedoucího od obecného konceptu žebříčku ARWU ke každoročnímu rozhodování o zařazení či nezařazení více než 2 tisíc institucí a jejich umístění v žebříčku vede zpracovatele přirozeně nejen k občasnému zjednodušování celého postupu, ale také k chybám (budeme je konzultovat přímo se zpracovateli).
