Panelové hodnocení vědy: Jen abychom si neutrhli ostudu!

Nejrozumnější by bylo „peer review“ využít pro zkvalitnění nejen výzkumu, ale i špičkového univerzitního vzdělávání, píše Dalibor Štys.

 | na serveru Lidovky.cz | aktuální zprávy foto: © Reuters, ČESKÁ POZICE, UrbČeská pozice

KOMENTÁŘ Dalibora Štyse / Na stránkách ČESKÉ POZICE se odehrála zdánlivě nesmiřitelná diskuse na téma hodnocení a financování české vědy mezi Akademií věd (reprezentovanou profesory Jiřím Drahošem a Jiřím Chýlou) a univerzitami, zastoupenými především rektorem Univerzity Karlovy, profesorem Václavem Hamplem. Do diskuse přispěli též dva členové Rady pro výzkum, vývoj a inovace „za průmysl“, ing. Zbyněk Frolík a doc. Jiří Cienciala. Nakonec se problému lehce dotkl i nově jmenovaný poradce premiéra pro výzkum prof. Rudolf Haňka a komentovali jej i členové týmu integrovaného projektu národního Metodika doc. Daniel Münich a prof. Jitka Moravcová. Korunu všemu zasadila poměrně široce medializovaná studie think tanku IDEA při CERGE-EI.

  • Představitelé Akademie věd vehementně zastávali stanovisko, že pouze na základě publikovaných výstupů se věda hodnotit nedá, a už vůbec se jím nemůže řídit financování vědy.
  • Hlas z univerzit zněl (poněkud slaběji), že kafemlejnek – tedy rozdělování peněz čistě podle publikací – je přece lepší.
  • Průmysl je toho názoru, že nelze jen přidávat do pokladnice světové vědy, ale je nutno podmínky nastavit i tak, aby se ze světové vědy především čerpalo.
  • Tým projektu Metodika se nechal slyšet, že snad za čtyři roky budeme vědět, jak překonat českou skepsi vůči státní moci a českou tendenci každá pravidla využít a zneužít.

Shrnuto, byly to jen řeči nepodložené daty, možná i záměrně nebo tendenčně. V diskusích pod články se pak ukázalo, že na Akademii věd přes všechny výhrady působí řada „scientometristů“ až „scientometrofilů“, kteří v rozporu s názorem vedení instituce jsou kdykoliv ochotni bez rozmyslu scientometrii aplikovat.

Nejlepší výzkum se dělá...

Pokrokem aktuální studie IDEA s názvem „Kde se v ČR dělá nejlepší výzkum“ je, že přináší data a určitý názor. Ačkoliv se její autoři hned na začátku dlouze zaštiťují , že „oni jistě žádné hodnocení neprovádějí“, minimálně jedno hodnocení – kvality časopisů podle impakt faktoru – je úplným základem studie. Navíc jsou ve studii tabulky seřazené podle číselných hodnot, což samozřejmě ke srovnávání vede. A také hned druhý den byly takové tabulky komentovány v tisku ve stylu „Nejlepší fyzika v ČR se dělá na Fyzikálním ústavu AV ČR“.

Mezinárodní peer review

Určitě nezískáme nositele Nobelovy ceny k hodnocení ústavu, který má v daném oboru jen jeden podprůměrný článekBylo klasifikováno 84 oborů. Je třeba pokračovat i dalšími kroky hodnocení, především mezinárodním peer review, tedy hodnocením hodnotiteli z jiných institucí. To bude tak dobré, jak budou dobří hodnotitelé. Určitě nezískáme nositele Nobelovy ceny k hodnocení ústavu, který má v daném oboru jen jeden podprůměrný článek – i ty jsou v první desítce v předložené studii. Kolik institucí, které se mohou přihlásit k rigoróznímu peer review, vůbec máme?

Stanovme si nějakou hodnotu, například 100 publikací ve sledovaném období 2006 až 2010, jako minimální číslo pro to, aby byla daná instituce ve svém oboru ve světovém měřítku vůbec rozpoznatelná:

  • Lehce dospějeme k závěru, že pouze ve 33 oborech máme alespoň jednu instituci, která by podle tohoto nejjednoduššího kritéria mohla vůbec usilovat o peer review a následně o institucionální podporu v daném oboru (vynechal jsem dvě disciplíny: ostatní lékařské obory a ostatní obory vnitřního lékařství, ze zřejmých důvodů).
  • U dvou oborů nastal paradox, že pracoviště, které překračuje hodnotu 100 publikací, není tím, které je první v pořadí kvality.
  • Nejkvalitnější pracoviště tuto hranici naopak nepřekračuje. Jsou to právě obory velmi úspěšné v sebeprezentaci v médiích, biochemie a ekologie společenstva.

Je požadavek alespoň na 100 publikací malý, nebo velký? Pro srovnání uvádím, že mně blízký Max-Planck-Institut für Biophysikalische Chemie měl za toto období 1257 publikací, srovnatelný český Biofyzikální ústav Akademie věd ČR si započítal 405 publikací. Nejspíš by se ve skutečnosti měla laťka posunout ještě výše, třeba na 300.

Jen velký zpozdilec by za prioritu výzkumu stanovil obor, v němž náš stát nemá žádnou kapacituTyto počty jsou, mimo jiné, též docela dobrým podkladem pro stanovení priorit českého výzkumu. Jen velký zpozdilec by za prioritu výzkumu stanovil obor, v němž náš stát nemá žádnou kapacitu.

Kvalita publikací

Ve věci kvality – pánové z IDEA se zabývají alespoň kvalitou publikací. Průměrná kvalita publikace se dá lehce spočíst dělením počtu publikací z nejlepší skupiny celkovým počtem publikací. Opět můžeme usoudit, že pokud má daná instituce pouze 21 procent publikací v nejlepších časopisech, sotva na ni můžeme zvát nejlepší světové hodnotitele. Hodnota například pro české biofyzikální ústavy s počtem publikací nad 100 je 55 procent (Biofyzikální ústav AV ČR), respektive 59 procent (Ústav fyzikální biologie Jihočeské univerzity). Ústav organické chemie a biochemie AV ČR má v organické chemii 56 procent.

Je to málo, nebo hodně? Srovnávání zde je velmi pracné, ale jen při zběžném pohledu na výsledky výše zmíněného Max-Planck-Institut für Biophysikalische Chemie čtu časopisy Proceedings of the National Academy of Sciences of the USA, Nature, Optics Express... aby se nakonec ukázalo, že jedinou institucí, která má vůbec šanci na dobrou peer review, je Ústav analytické chemie AV ČR s 83 procenty nejlepších publikací. Tolik tedy o naší šanci přilákat kvalitní komisi na peer review.

Akademie věd versus univerzity

Dále je tu polemika mezi akademií věd a univerzitami. Tak tedy, z hodnocených 84 oborů je ve 28 případech nejlepší institucí ústav Akademie věd – kvůli opakování je to 24 ústavů. V první desítce se dále vyskytuje dalších 17 ústavů AV, ty však nejsou v oboru nejlepší. V oborech, které kvantitativně překračují hladinu, na níž se dá o peer review vůbec uvažovat, je na prvním místě ústav Akademie věd v 19 případech ze 33.

Jaké z toho plyne poučení?

Určitě není problém přijmout názor tvůrců studie IDEA, že „aby mělo hodnocení výsledků výzkumných pracovišť vypovídací hodnotu, musí:

  1. být prováděno oborově, aby mohla být reflektována oborová specifika;
  2. být prováděno formou takzvaných panelových hodnocení (peer-review), kdy skupiny hodnotitelů vycházejí z bibliometrických informací o publikačních výstupech hodnocených pracovišť stejně jako z informací o společenském a ekonomickém dopadu výsledků VaV (výzkumu a vývoje – pozn. red.) a o způsobu řízení hodnocených pracovišť;
  3. brát v úvahu použitý rozsah finančních a lidských vstupů.“

Docela jist jsem si tím, že k takovému zjištění není třeba čtyři roky pracovat na integrovaném projektu národním Metodika.

Konec miniinstitucí

Klíčová je kvalita panelů. Abychom si hned na začátku neutrhli ostudu, nemůžeme na kvalitní panelisty vyrukovat s hromadou miniinstitucí s několika málo, a ještě nekvalitními články. Jsou obory, kde existuje alespoň jedna, mnohdy více institucí, které jsou na takové hodnocení připraveny. Těch oborů je devět z důvodu kvantitativního – instituce produkuje alespoň 300 publikací do roka. A jeden z důvodu kvalitativního – instituce má valnou většinu článků v nejlepších časopisech.

Podpora průmyslového výzkumu? Tady je rada jednoduchá: navýšit úhradu za studenta na technických vysokých školáchAni tyto instituce zdaleka všechny nemusejí rigorózním peer review projít. Může se ukázat, že nejsou zas tak efektivní, že na jeden výsledek utratí moc peněz. Může se ukázat, že články jsou vesměs dovezené ze zahraničních pracovišť a domácí výzkum není tak kvalitní. Ale od nich má smysl začínat.

V ostatních oborech ať se instituce nejdříve dohodnou a sloučí na potřebnou kapacitu, pak se o nějaké peer review pokoušejme. Lhůta jeden rok, pak se jim ukončí institucionální podpora výzkumu...

A pokud jde o podporu průmyslového (a jiného podobného, například zemědělského) výzkumu? Tady je, myslím, rada poměrně jednoduchá: navýšit úhradu za studenta na technických vysokých školách (asi třikrát, ale jen na technických oborech) a daňové asignace ve prospěch projektů společného výzkumu. Jiný technický výzkum vcelku logicky nemá smysl podporovat. Dokonce by tento postup mohl mít i důsledek, že více daní zůstane v Česku. A možná i více firem.

Nejen výzkum, ale i vzdělání

Jiná věc je, že se může ukázat, že o nějaké fúze a sloučení za účelem „financování čisté vědy“ ani nebude zájem. Mohou být kvalitní skupiny v rámci větších interdisciplinárních celků, skupiny, které kvalitně bádají a zajišťují i kvalitní výuku. Koneckonců mezi těmi superústavy je několikrát i třeba Matematicko-fyzikální fakulta Univerzity Karlovy. Ona vesměs výuka spojená s bádáním i mnohem víc naplňuje a nese víc výsledků.

Úplně nejrozumnější by totiž bylo peer review využít pro zkvalitnění nikoliv pouze výzkumu, ale i špičkového univerzitního vzdělávání. Toho by se dalo snadno dosáhnout tím, že peníze „na vědu“ se dají „na špičkové magistry a doktorandy“. I toto řešení by se mělo institucím z těch 33 nejkvalitnějších oborů nabídnout.