Kdo je ve vědě nejlepší aneb Lze oddělit Einsteiny od parazitů?

Vysoký standard české vědy a výzkumu bude možné udržet především vytvářením podmínek pro studenty a doktorandy, píše Stanislav Štech.

 | na serveru Lidovky.cz | aktuální zprávy foto: © Reuters, ČESKÁ POZICE, UrbČeská pozice

V posledních týdnech věnují česká média zvýšenou pozornost hodnocení domácí vědy a výzkumu. ČESKÁ POZICE se tomuto tématu, s nímž úzce souvisí i otázka financování, věnuje dlouhodobě v samostatné rubrice HOT TOP. Tentokrát do diskuse přispívá prorektor pro rozvoj Univerzity Karlovy Stanislav Štech.

ČESKÁ POZICE nedávno uveřejnila podrobný komentář Jana Kouckého k letošnímu takzvanému Šanghajskému žebříčku nejlepších světových univerzit. V něm se opět potvrdilo postavení Univerzity Karlovy (UK) jako jediné české vysoké školy mezi nejlepšími 1,5 procenta vysokých škol ve světě. Je dobře, že jsme se dozvěděli, že hodnocení v tomto žebříčku je konstruováno převáženě špičkovými výsledky vědy a výzkumu zejména v přírodních, matematických a lékařských vědách.

„Nevýhodou“ je samozřejmě skutečnost, že tyto vědní oblasti představují menší polovinu na UK pěstovaných oborů. Stať Jana Kouckého ukázala i na vratká místa Šanghajského hodnocení. Dozvěděli jsme se například, jak významným faktorem pro posun školy v žebříčku o desítky míst je fakt, že před 70 lety na ní pracoval budoucí Nobelista. Nicméně, podobných žebříčků již existují desítky a i těch zhruba pět nejrespektovanějších potvrzuje opakovaně postavení Univerzity Karlovy ve světě.

Nesmyslnost zjednodušování

Daleko více „vratký“ je mediální počin, který ukázal na problémy s validitou různých hodnotících žebříčků, a hlavně s jejich mediální interpretací. Objevil se 9. srpna v Hospodářských novinách (HN, s. 1, 14-15), které pod titulky „Fyzikální ústav je ve světě nejcitovanější českou vědeckou institucí“ nebo „Miliardy na vědu se dělí jen podle statistik“ referovaly o závěrech studie CERGE-EI (mimochodem, společného pracoviště Národohospodářského ústavu Akademie věd a Univerzity Karlovy) z pera Štěpána Jurajdy a Daniela Münicha Kde se v ČR dělá nejlepší výzkum.

Hodnocení výsledků vědy a výzkumu a posouzení kvality jednotlivých výzkumných pracovišť je skutečně velmi složitá záležitost. To nám ostatně přesvědčivě ukázaly domácí zkušenosti za posledních pět let. Na nesmyslnost trivializujících zjednodušení v hodnocení výsledků vědy poukázaly jak některé závěry auditu společnosti Technopolis, tak řada textů nejen seskupení Věda žije!, ale třeba i Daniela Münicha. Neznamená to ovšem, že máme kvantitativní a srovnávací přístup odmítnout – to bychom skončili v opačném extrému: na výsledcích a jejich kvalitě jako by záleželo jen okrajově. Studie CERGE-EI chce přispět právě ke zkvalitnění kvantitativních komparací.

Zmiňovaný článek v HN se však zařazuje spíše mezi ty zjednodušující; považuji ho za „plíživě“ zkreslující, a proto na něj chci reagovat. Odvolává se totiž, jemně řečeno, nepřesným způsobem na závěry zmiňované studie CERGE-EI a zakrývá podstatné skutečnosti:

  1. co se vlastně měří a o čem to vypovídá;
  2. jak se naměřená data interpretují;
  3. k čemu vůbec slouží taková měření a srovnávání, k čemu je excelence pro rozvoj jednotlivých oborů a pracovišť.

Nejprve ale stručně shrňme, co skutečně říká studie CERGE-EI, jak vychází její interpretace v HN a co z tohoto srovnání plyne.

To není tabulka fotbalové ligy!

Studie CERGE-EI především deklaruje, že dosavadní data o výsledcích výzkumu v ČR jsou nedostatečná a situaci bude třeba změnit. Ani to málo, co by šlo ze statistik zjistit, se nevyužívá. Lze například zjistit objem produkce – tedy počtu článků – ve špičkových časopisech (měřených takzvaným impakt faktorem) v jednotlivých oborech a jejich rozložení podle jednotlivých institucí výzkumu (na úrovni ústavů v Akademii věd a fakult na vysokých školách).

Hlavně však studie upozorňuje na řadu okolností, které na úrovni celého systému výzkumu v ČR neznáme, a které proto velí nebrat ona data jako ligovou fotbalovou tabulku, kde se střetl každý s každým. Mezi tyto okolnosti patří:

  • velikost instituce (počet výzkumníků),
  • objem finanční podpory na výzkum,
  • hustota sítě národních i mezinárodních časopisů,
  • ale také třeba oborový publikační habitus, tj. v oborové komunitě uznávané kanály zveřejňování výsledků výzkumu.

Proto nejsme schopni měřit produktivitu institucí. To vše studie CERGE-EI opakovaně připomíná. Její dikci považuji až za extrémně obezřetnou a úzkostlivě varující před zjednodušenými interpretacemi pořadí institucí podle objemu produkce. Studii bych tak spíše označil nikoliv jako příspěvek k poznání kvality výsledků jednotlivých výzkumných institucí, ale jako text, „jak (nejen naše) data nečíst“.

Z textu v HN si čtenář z pouhých dvou příkladů (první místo Fyzikálního ústavu a Ústavu organické chemie v jejich oborech) a z absence zmínky o pořadí produkce institucí v dalších oborech odnese jednoznačný hodnotící závěr. Nabude dojmu, že ústavy Akademie věd jsou jediné či hlavní instituce, na kterých se provozuje výzkum, který stojí za řeč (v současné novořeči: je excelentní). A to proto, že jsou prestižní, protože mají nejvíc článků ve špičkových časopisech svého oboru, a taky je v těchto časopisech nejvíce citují. Navíc, vzhledem ke kritickým výrokům na adresu vlády, která prý tyto údaje ignoruje a „lije“ jakoby naslepo každý rok zhruba 26 miliard korun do podpory výzkumu, se tím implicitně vlastně naznačuje, kam by ty prostředky měly hlavně směřovat...

Kdo je nejproduktivnější?

Při pozornějším čtení tabulek, ze kterých studie CERGE-EI vychází, zjistíme, že v 83 hodnocených oborech zaujímají první místo ústavy Akademie věd v něco více než třetině oborů, vysoké školy ve 49 procentech (z toho Univerzita Karlova ve 23 % oborů, ČVUT v 8,5 %, Masarykova univerzita v 6 % atd.) a jiné výzkumné instituce dohromady v 16 procentech oborů. Jinak řečeno, vysoké školy celkem jsou na prvním místě v polovině oborů, Akademie věd ve třetině a ostatní tvoří špičku zhruba v jedné šestině oborů.

Vysoké školy a ústavy Akademie věd vytvářejí 6/7 či 7/8 špičkových výsledků a ostatní sektory (resortní či podnikatelský) malý zbytekJestliže však zahrneme počet umístění v první trojici nejproduktivnějších institucí – ta totiž pokrývá podle oborů mezi 50 až 80 procenty české špičkové produkce a rozdíl mezi první a druhou institucí je leckdy zanedbatelný –, pak je výsledek ještě více vzdálen interpretaci HN: vysoké školy se umisťují ve špičce 60 procent oborů (z toho Univerzita Karlova ve 22 % oborů, ČVUT v 7,6 %, Masarykova univerzita v 6 %, ostatní v méně než 5 % oborů), ústavy Akademie věd v 27 procentech oborů; „ostatní“ pak představují špičku jen v osmině oborů.

Zajímavé by možná bylo upozornit i na to, že vysoké školy a ústavy Akademie věd vytvářejí 6/7 či 7/8 špičkových výsledků a ostatní sektory (resortní nebo podnikatelský) malý zbytek. Navíc stejnou distribuci opakovaně potvrzují data podle databáze WoS nebo dílčí tabulky produkce a její citovanosti podle oborových (fields nebo subjects) žebříčků, jako je ARWU (Šanghajský žebříček).  Jinými slovy, tohle sledujeme a víme. Jenže: co s tím?

Co se opomíjí?

První otázka zní, co se vlastně měří. Jistě, počet článků v časopisech s vysokým impakt faktorem a jejich citovanost. Problém je však nejen ve výše zmíněných okolnostech, které připomíná studie CERGE-EI.

Bibliometrická data jsou stále jen „proxies“, tedy přiblížení, malinký kamínek do obrazu kvality činnosti výzkumníkůV potaz se neberou skutečnosti, jako je takzvaný jazykový bias – řada špičkových francouzských časopisů ve společenských vědách s nesmírně přísným recenzním řízením v databázích anglosaské dominance vůbec nefiguruje. Přitom se statě v nich zveřejněné citují v jiných časopisech na většině kontinentů.

Nebo fakt, že publikace monografie nebo kapitoly v ní v některých oborech vůbec neznamená, že text neprošel náročným mezinárodním recenzním řízením. Přesto v obou zmíněných případech se bude v tabulce špičkových výsledků skvět krásná nula. Je třeba vzít vážně varování expertů, jako je Ellen Hazelkornová z Dublinského technologického institutu: i tato bibliometrická data jsou stále jen „proxies“, tedy přiblížení, malinký kamínek do obrazu kvality činnosti výzkumníků.

K čemu je to vše potřeba?

Pokud jde o interpretaci naměřeného, otázka zní: K čemu vlastně tyto údaje o excelenci na úrovni celku potřebujeme? O skutečně unikátních (tedy jedinečných, málo pravděpodobně napodobitelných) výsledcích víme tak jako tak. Pro zemi s lidským a ekonomickým potenciálem České republiky platí, že ani objektivně existující excelence nevypovídá nic o kvalitě celého systému (příklad nedávno zesnulého Antonína Holého a jeho výsledků před rokem 1989 to dosvědčuje i u nás).

Koncentrace prostředků do pochybných, politickým procesem vybraných pracovišť vede k zaostávání celého systémuA protože i u politiků existuje silná tendence ke zkratovému jednání, připomeňme, že zmíněná Hazelkornová, ale i expert Světové banky Jamil Salmi varují, že u menších zemí je tomu dokonce naopak – koncentrace prostředků do pochybných, politickým procesem vybraných pracovišť má za následek zaostávání celého systému. Tyto prostředky pak chybí jinde na udržení vysokého standardu a jakési kulturně badatelské diverzity země. Je třeba se smířit s tím, že v řadě oborů excelentní nebudeme. Ale vysoký standard bychom měli chtít udržet. A to bude možné jen kladením si realistických cílů, a především vytvářením podmínek pro mladou vědu, studenty a doktorandy.

Patří k magickému myšlení myslet si, že při vhodném hodnocení a tlaku na výzkumníky oddělíme Einsteiny od parazitů. Ani jedni ani druzí se v signifikantním počtu v dnešních podmínkách nevyskytují. Žebříčky hodnocení je třeba používat uměřeně a dostatečně kriticky. Výchozím předpokladem ovšem je, používat je nezkresleně.

Rádio Jerevan nakonec

Proto jsem ve své reakci připomněl širší kontext identifikace excelentních výzkumných pracovišť. Nerad bych totiž, aby zpráva publikovaná v Hospodářských novinách zanechala podobný efekt, jaký popisovaly minulorežimní anekdoty o zprávách Rádia Jerevan:

Ústavy Akademie věd „převálcovaly“ všechny ostatní. Oprava č. 1: Sice ne tak úplně, při širším vymezení špičky se výkon Univerzity Karlovy a celé Akademie věd blíží. Oprava č. 2: Vysoké školy jako celek jsou výrazně nejlepšími institucemi ve špičkové produkci, ale jinak jsou ústavy Akademie věd na pěkném druhém místě.

Takové reportování o žebříčcích excelence má stejně pochybnou validitu jako známé žebříčky kvality studijních oporů a fakult zveřejňované také Hospodářskými novinami.

Dalibor_Stys Přihlaste se napřesrok na letní školu ... 12:53 24.8.2012

Počet příspěvků: 26, poslední 25.8.2012 02:42 Zobrazuji posledních 26 příspěvků.