Hodnocení vědy: Proč „kafemlejnek“ nemele, jak by měl

V systému, který každému výsledku bádání přiřazuje určitý počet bodů, lze snadno nahradit kvalitu kvantitou, píše Václav Hořejší.

Hodnocení vědy (ilustrační obrázek). | na serveru Lidovky.cz | aktuální zprávy Hodnocení vědy (ilustrační obrázek). | foto: Česká pozice
Hodnocení vědy (ilustrační obrázek). | na serveru Lidovky.cz | aktuální zprávy

V posledních letech se ve vzrušených diskusích kolem hodnocení českého výzkumu, vývoje a inovací (VaVaI) s velkou frekvencí objevuje pojem „kafemlejnek“. Je tak posměšně označován před několika lety vládou oficiálně přijatý systém, ve kterém je každému výsledku (vědecké publikaci, knize, patentu atd.) přiřazen určitý počet bodů.

Pro všechny instituce, které se zabývají výzkumem, vývojem či inovacemi, dostávají na to podporu z veřejných prostředků a vykazují své výsledky, lze pak určit každoročně celkový počet takto vyprodukovaných bodů. Tak by se mělo objektivně ukázat, jak byla která instituce produktivní, a tato předcházející výzkumná produktivita by se měla vzít v úvahu při rozdělování veřejných institucionálních prostředků na další období.

Tento systém vznikl z dobrého úmyslu získat nástroj k odlišení těch, kteří produkují skutečně cenné výsledky (publikace v mezinárodních časopisech, vědecké monografie, mezinárodní patenty), od těch, kteří produkují spíše jen „informační šum“, bezcenné výzkumné zprávy a publikace v obskurních časopisech. Problémy ovšem nastaly, když se část institucionálních prostředků začala rozdělovat přímo úměrně k počtu dosažených bodů.

Sbírání bodů pro body

Tehdy se objevil i termín „kafemlejnek“ jako posměšné označení systému, do kterého se nasypou výsledky, a ty jsou podle daných pravidel automaticky přemlety na body (a ty posléze zase prostou trojčlenkou na peníze). Ukázalo se totiž, že v tomto systému:

  • lze poměrně snadno nahradit kvalitu kvantitou,
  • že je velmi problematické srovnávat bodové hodnocení podobných výstupů (vědeckých publikací) v různých oborech,
  • že bodové hodnocení aplikačních výstupů (patenty, software, funkční vzory inovačních produktů) je zcela arbitrární.

Toto všechno pak u některých subjektů vede k absurdní produkci bodů pro body, což nemá nic společného s původním bohulibým záměrem objektivizovat výzkumnou produktivitu.

V případě vědeckých publikací má „kafemlejnek“ zabudovaný mechanismus, který v principu preferuje kvalitní výsledkyJe třeba poznamenat, že v případě vědeckých publikací má kafemlejnek zabudovaný mechanismus, který v principu preferuje kvalitní výsledky – bodové hodnocení se odvíjí (poměrně sofistikovaným způsobem) od kvality a prestiže časopisu, ve kterém byly výsledky publikovány (tuto kvalitu v daném oboru do určité míry reprezentuje, možná trochu sporně, takzvaný impaktový faktor daného časopisu) a bere v úvahu i oborová specifika.

Problém ale stále zůstává v tom, že počet bodů za publikaci v opravdu špičkovém, vysoce prestižním světovém časopise je stejný nebo i nižší než za několik publikací v průměrných, či dokonce podprůměrných časopisech, které se dají „vyrobit“ mnohem snáze. Zásadní problém je i v tom, že je opravdu těžké objektivně říci, zda například odborný článek v nějakém kvalitním chemickém mezinárodním časopise má mít obdobný počet bodů jako článek v kvalitním matematickém či sociologickém časopise („srovnávání hrušek a jablek“).

Je dobré si ale uvědomit, že v „předkafemlejnkové“ době se často jako měřítko výzkumné produktivity používal prostě celkový počet publikací stylem kus jako kus, bez ohledu na to, jestli se jednalo o články ze světově prestižního časopisu nebo z „Podbrdských rozhledů“. To je určitě ještě horší než kafemlejnek!

Mea culpa?

Musím přiznat, že vznik tohoto kafemlejnkového systému mám do značné míry na svědomí (a mnozí mi to dodnes předhazují). V letech 2003 až 2005 jsem totiž byl předsedou jedné ze tří poradních komisí při Radě pro výzkum a vývoj (RVV; dnes má tento poradní orgán ve svém názvu ještě veledůležité slůvko „inovace“, takže je to RVVI). V této komisi pro oblast věd o živé přírodě a chemických věd tehdy působila řada význačných vědců (místopředseda Pavel Hobza, Michal Anděl, Milan Elleder, Josef Fulka, Jan Krekule, Michal Marek, Bohuslav Ošťádal, Václav Pačes, Blanka Říhová, Vladimír Viklický, Kamil Wichterle, Jan Zrzavý).

Snahy o objektivizované hodnocení narážely na názory vlivných lidí typu „my přece sami víme, kdo je dobrý“, případně „kvalitu vědecké práce hodnotit z principu nejde“Od samého počátku naše komise považovala za prioritu vypracovat pro RVV návrh systému hodnocení kvality a produktivity výzkumných institucí. V té době totiž snahy o nějaké objektivizované hodnocení vědeckých institucí narážely na názory vlivných lidí typu „my přece sami víme, kdo je dobrý“, případně „kvalitu vědecké práce hodnotit z principu nejde“; téměř všechny grantové projekty končily hodnocením „vynikající výsledky na světové úrovni“.

Výsledkem byl v roce 2004 návrh naší komise velmi podobný dnešnímu kafemlejnku, přiřazující body za publikace v závislosti na impaktovém faktoru příslušného časopisu, normovaném „oborovým koeficientem“ založeným na oborovém třídění v informačním systému Web of Science.

Od samého počátku nám bylo zřejmé, že existuje problém, jak ohodnotit aplikační výsledky, knihy a monografie, prezentace na významných konferencích (které jsou v některých oborech považovány za důležitější než časopisecké publikace), výsledky v humanitních oborech (například výstavy a podobné prezentace). Vzniklo postupně několik verzí návrhu, které sice předpokládaly vazbu mezi kumulativním počtem bodů a přídělem financí, ale upozorňovaly i na nutnost konečného „moudrého zhodnocení“ získaných údajů (kontrolu toho, zda nedochází k nějakému účelovému zneužívání systému, podvodům), ale také na nutnost vzít v úvahu strategické aspekty (například cílená selektivní podpora nově vzniklých institucí).

Když se kafemlejnku zmocnili úředníci...

O tom, jak nakonec naše návrhy definitivně dopadly, již mnoho nevím – na členství v komisi jsem rezignoval počátkem roku 2005 na protest proti postupu RVV v ostudné záležitosti Výzkumných záměrů vysokých škol ukázkově zpackané tehdejším Ministerstvem školství, mládeže a tělovýchovy (ministryní školství byla v letech 2002 až 2006 Petra Buzková, ČSSD).

Jisté je, že systém přijatý RVVI na základě návrhu naší komise v prvních dvou letech zafungoval docela dobře – jasně identifikoval instituce, které nevyprodukovaly žádné nebo téměř žádné systémem oceňované výsledky. Jakmile se ale systému zmocnili úředníci, kteří v něm našli jakýsi zázračný „objektivní“ nástroj, který z nich sejme zodpovědnost za rozhodování, a začalo se s přidělováním části institucionálních prostředků přímým převodem kafemlejnkových bodů, začaly být zřejmé zásadní problémy:

  • špatná souměřitelnost různých oborů;
  • naprostá nevhodnost systému pro některé obory (humanitní, technické, matematika), ve kterých není nutné primárním způsobem zveřejňování výsledků publikování v mezinárodních časopisech a ve kterých je korelace impaktových faktorů časopisů s kvalitou velmi problematická;
  • snadná zneužitelnost systému účelovou produkcí zhusta aplikačního balastu typu „funkční vzorky“, „software“, „ověřená technologie“.

Jako další zásadní problém se ukázalo použití přímé úměry mezi (problematickými) body a přidělovanými financemi a faktická stimulace výzkumníků k produkci (pod)průměrné kvantity na úkor kvality skutečné.

Na některých pracovištích měl kafemlejnkový systém pozitivní efekt – zvýhodnil týmy, které byly publikačně (či jinak) produktivníPřiznejme ovšem, že na některých pracovištích měl kafemlejnkový systém zjevně pozitivní efekt – zvýhodnil týmy, které byly publikačně (či jinak) produktivní, na úkor těch, které dlouhodobě neprodukovaly téměř nic, nebo jen balast, který ani v kafemlejnku nezabodoval. Výsledky pak poskytly vedoucím takových pracovišť vítané alibi k likvidaci či reorganizaci neproduktivních součástí pracovišť a podpoře těch produktivních.

Český unikát...

Na zásadní vady kafemlejnku (mimochodem zřejmě českého unikátu) poukázal nedávný audit provedený mezinárodní firmou Technopolis:

Použití Metodiky hodnocení pro účely institucionálního financování je nevhodné, protože deformuje chování, snižuje stabilitu výzkumného systému a je na překážku jeho výkonnosti. Obecně bere hodnocení v potaz nevhodné ukazatele.“

I kdyby existoval nějaký teoreticky ideální kafemlejnek, který by zcela spravedlivě oceňoval dosažené výsledky a neměl by výše uvedené problémy (což je zřejmě nemožné), bylo by problematické převádět takovéto „spravedlivé“ body přímou úměrou na peníze a zohledňovat i poměrně malé bodové rozdíly. Určitý smysl by takovýto (i třeba ne zcela ideální) systém asi měl pro odhalení skutečně velkých (násobných) rozdílů, které by velmi pravděpodobně indikovaly reálné rozdíly v produktivitě posuzované jakýmkoli způsobem.

... na odhalení „suchého dřeva“

Je pravda, že i ten nynější velmi nedokonalý systém dobře funguje pro odhalení toho nejhoršího „suchého dřeva“; naproti tomu nefunguje příliš dobře pro identifikaci opravdových kvalitativních špiček a má tendenci odměňovat méně náročnou velkoobjemovou produkci průměrných, či dokonce podprůměrných výsledků. Tisíc bodů získaných za několik článků v nejprestižnějších světových časopisech je určitě mnohem cennějších než stejný počet bodů za několikanásobně více článků v časopisech průměrných či ještě horších. Ideální systém by se rozhodně měl zaměřit nejen na odhalení „suchého dřeva“, ale i na identifikaci a podporu toho kvalitativně nejlepšího v našem výzkumu.

Kafemlejnek má tendenci odměňovat méně náročnou velkoobjemovou produkci průměrných, či dokonce podprůměrných výsledkůNynější systém je podle mého názoru velmi užitečný, i pokud jej použijeme jako důležitý podklad pro srovnávání produktivity oborově blízkých pracovišť, a to ve velkých přírodovědeckých oborech (například různých ústavů či kateder zabývajících se molekulární biologií, nebo jiných zabývajících se organickou chemií či fyzikou pevných látek), ve kterých jsou hlavním všeobecně ceněným výstupem vědecké publikace v mezinárodních časopisech a citovanost těchto článků ostatními badateli; i tam ovšem může snadno docházet ke zkreslení typu „kvantita místo kvality“, a je tedy potřeba kvalifikovaného a moudrého zhodnocení těchto podkladů.

Je třeba si uvědomit, že i při použití velmi solidního a důkladného systému hodnocení základního výzkumu metodou „peer review“ (tedy panelového hodnocení) i ti nezávislí odborní hodnotitelé používají v podstatě jakýsi kafemlejnek – vyhodnocují především kolik a jak kvalitních odborných článků (posuzováno do značné míry podle impaktového faktoru časopisu a následného citačního ohlasu) posuzovaný subjekt vyprodukoval. V každém případě může kafemlejnkový systém posloužit při rozumném použití jako užitečný, avšak nikoli absolutní nastroj.

Primitivní „kafemletí“ nikam nevede

Úplně nevhodný je kafemlejnek u oborů, kde má publikace v impaktových časopisech relativně malý význam. Arbitrární kvantifikace různých výstupů například aplikovaného výzkumu nebo výzkumu v humanitních oborech může vést až ke směšným absurditám (slyšel jsem o úvahách přidělovat uměleckým vysokým školám body například podle velikosti namalovaných obrazů nebo délky komponovaných skladeb…).

Slyšel jsem o úvahách přidělovat uměleckým vysokým školám body například podle velikosti namalovaných obrazů nebo délky komponovaných skladeb…Upřímně řečeno, nevím, jak by se měla objektivně hodnotit kvalita a produktivita aplikovaného výzkumu a vývoje – jako samozřejmost asi každého napadne prokazatelná ekonomická návratnost, ta se ale zpravidla ukáže až po několika, případně mnoha letech. (Důkladnější diskusi by si zasloužila kontroverzní otázka, jaký význam a použitelnost mají impaktové faktory vědeckých časopisů.)

Závěrem – ano, skutečně jsem se významně podílel na vypuštění „kafemlejnkového džina“ z láhve, a nijak se za to nestydím. Nemoudré použití tohoto džina mají totiž na svědomí jiní. Myslím, že i zde platí, že všechno zlé je k něčemu dobré – jsem přesvědčen, že někdejší návrhy naší poradní komise otevřely velmi důležitou otázku, „jak hodnotit kvalitu a produktivitu výzkumu“, že vedly k opuštění ještě horšího stavu absence jakéhokoli hodnocení, respektive sčítání publikací „kus jako kus“, a že po zjištění, že primitivní použití kafemlejnku je slepou uličkou, vbrzku dospějeme k něčemu lepšímu, jak o tom nedávno na ČESKÉ POZICI napsali například kolegové Daniel Münich a Jitka Moravcová.

msebek . . 12:10 1.9.2012
Dalibor_Stys . . 20:29 28.8.2012
Urvisu . . 22:25 28.8.2012

Počet příspěvků: 52, poslední 13.9.2012 06:44 Zobrazuji posledních 52 příspěvků.