Jak hodnotit vědu: Hledání české cesty

Výsledky nového systému hodnocení výzkumu budou k dispozici nejdříve za čtyři roky, o jeho přípravě píše Jitka Moravcová a Daniel Münich.

Daniel Münich 10.8.2012
 | na serveru Lidovky.cz | aktuální zprávy foto: © ČTK, ČESKÁ POZICE, UrbČeská pozice
 | na serveru Lidovky.cz | aktuální zprávy

Nový šéfporadce premiéra pro vědu profesor Rudolf Haňka v nedávném rozhovoru pro ČESKOU POZICI mimo jiné hovořil o velkém významu, který připisuje hledání rozumné míry shody nad tím, jakým způsobem se v České republice bude v budoucnu provádět institucionální hodnocení výzkumu. Současný systém hodnocení (takzvaný kafemlejnek) označil za neudržitelný a naznačil možné směry, kudy se vydat. Zmínil tři paralelně běžící agendy, které se přípravy nového systému hodnocení týkají.

Jednou z nich je agenda Individuálního projektu národního „Efektivní systém hodnocení a financování výzkumu, vývoje a inovací“ (Ipn Metodika), který byl v únoru 2012 spuštěn na ministerstvu školství po dohodě s vládní Radou pro výzkum, vývoj a inovace (RVVI). Hlavní garantka projektu Ipn Metodika Jitka Moravcová a garant klíčové aktivity metodik hodnocení v tomto projektu Daniel Münich ve své reakci na rozhovor s profesorem Haňkou objasňují, že při přípravě nové metodiky nejde o „trojkolejnost“. „Byť jsou informace o tomto projektu dostupné na webové stránce ministerstva školství, rádi bychom čtenářům ČESKÉ POZICE podrobněji osvětlili, jak cíle projektu Ipn Metodika zapadají do celkového rámce, který je v rozhovoru s profesorem Haňkou zmíněn,“ napsala Moravcová s Münichem.

Z Auditu se rodí Metodika

Projekt Ipn Metodika je přirozeným pokračováním dobíhajícího projektu ministerstva školství Ipn Audit. V jeho rámci totiž došlo v letech 2010 až 2011 k jedinečné hloubkové analýze českého systému výzkumu a vývoje (VaV) nezávislými zahraničními experty sdruženými kolem renomované britské agentury Technopolis. Jeden z důležitých závěrů je totožný s pohledem profesora Haňky.

  • Konstatuje se v něm: Metodika hodnocení (kafemlejnek pozn. autorů) není vhodná pro účely, jimž má sloužit. Přináší pokřivení struktury i chování a je překážkou mnohým aspektům rozvoje národního systému výzkumu a inovací.
  • Na dalším místě se velice kriticky jinými slovy říká totéž: Hodnocení v českém systému VaVaI (výzkumu, vývoje a inovací pozn. autorů) funguje špatně. Použití Metodiky hodnocení pro účely institucionálního financování je nevhodné, protože deformuje chování, snižuje stabilitu výzkumného systému a je na překážku jeho výkonnosti. Obecně bere hodnocení v potaz nevhodné ukazatele. Je přespříliš zaměřeno na výstupy a poskytuje málo informací o tom, zda jsou státní zásahy úspěšné a zda programy splňují vytčené cíle. V praxi hodnocení je třeba provést radikální změny a využít hodnocení pro dosažení zodpovědnosti a k tvorbě a zlepšování politik.

Zároveň Ipn Audit doporučil: Pro hodnocení výzkumu v České republice navrhujeme to, co se nazývá ,informed peer-review, totiž posuzování rozšířené o indikátory. (...) Peer-review bude prováděno objektivně a nezávisle vybranými (mezinárodními) kolegy z oboru. Pro méně obeznámené čtenáře upřesňujeme, že peer-review hodnocení znamená, že výsledky vědecké práce jedněch odborníků hodnotí jiní na nich nezávislí odborníci ve stejném oboru.

Dále je v závěrečné zprávě Ipn Audit uvedena řada konkrétních principů, kterých by se mělo české provedení informovaného peer-review hodnocení držet, a která se mimo jiné týkají výběru kvalitních nezávislých zahraničních hodnotitelů, delších časových intervalů mezi hodnoceními, oborovosti a samotných pravidel procesu hodnocení. Ohledně účelu hodnocení samotného se ve zprávě píše:

Hodnotící praxe by měla být od základu reformována s tím, že bude zaměřena na výsledky a dopady a bude přispívat k rozvoji politik a programů a k plánování. Kromě jiného bude zahrnovat implementaci ,kaskádového principu, jenž znamená, že úrovně řídící hierarchie používají nezávislou expertízu pro hodnocení nižších hierarchických úrovní, ale nehodnotí samy sebe.

Projekt Ipn Metodika tedy vychází z těchto doporučení Ipn Audit a podle doporučených zásad připravuje nový systém hodnocení, který bude adekvátně reflektovat specifika národních podmínek České republiky. Ale i bez toho projekt přípravy oborových metodik hodnocení předjímají dokumenty RVVI již zhruba od roku 2009 a potřebu nového způsobu hodnocení zmiňuje řada současných vládních strategických dokumentů včetně programového prohlášení této vlády z roku 2010.

Hledá se řešení pro přechodné období

Solidní systém hodnocení, jak ho doporučuje Ipn Audit a jak se realizuje v řadě zemí, však nebude jednoduché připravit. Vždyť i ve Velké Británii, kde se podobným systémem (RAE) hodnotilo již několikrát v minulosti a naakumulovaly se tam obrovské praktické zkušenosti i na straně hodnocených akademických institucí, se jeho modernizovaná verze REF připravuje již řadu let a proběhne až v roce 2014. Bylo by naivní, a dokonce škodlivé předpokládat, že v Česku, kde je velice nízká kultura hodnocení a mizivé nebo špatné zkušenosti, bude možno řádné hodnocení připravit a zavést během jednoho roku či dvou let.

Výsledky nového peer-review systému hodnocení mohou být k dispozici nejdříve v roce 2016, pokud tedy bude vše probíhat hladcePokud půjde vše podle plánu, tak projekt Ipn Metodika navrhne, pilotně vyzkouší a veřejně konzultuje nový peer-review systém hodnocení tak, aby závěrečná zpráva projektu byla na stole na přelomu let 2013/2014. Poté bude potřeba přinejmenším další rok na přípravu legislativního, organizačního, informačního a odborného zázemí, aby v roce 2015 nebo 2016 mohlo proběhnout celonárodní institucionální hodnocení formou informovaného peer-review. Výsledky nového hodnocení tak mohou být k dispozici nejdříve v roce 2016 (pokud bude vše probíhat hladce).

A tím se otevírá otázka, jak se bude hodnotit do té doby? Půjde totiž přinejmenším o dlouhé čtyři roky. V RVVI na přelomu letošního jara a léta vznikla myšlenka, že po přechodné období by mohla být používána upravená současná metodika, tedy kafemlejnek, jejíž jádro by sice bylo zachováno, ale bylo by doplněno o dvě další menšinová kritéria:

  • Jedno by reflektovalo schopnost výzkumných organizací získávat z určitých zdrojů finanční prostředky (jako určitá míra uplatnitelnosti aplikovaného výzkumu).
  • Druhé by reflektovalo existenci vysoce excelentních výsledků výzkumné organizace, které by posuzovaly panely místních českých hodnotitelů.

Takto upravenému kafemlejnku se dnes předběžně říká multikriteriální metodika. A právě toto je třetí paralelní agenda přípravy hodnocení na přechodné období, kterou zmiňuje v rozhovoru profesor Haňka. Probíhá v komisi pro hodnocení při RVVI a ve spolupráci s týmem projektu Ipn Metodika.

Česká specifika

Profesor Haňka zmiňuje důležitý aspekt přípravy hodnocení, a tím jsou reálná omezení, která brání převzetí vyzkoušené hodnotící praxe ze zahraniční. Závěrečná doporučení Ipn Audit v tomto směru jasně konstatují, že „detaily informovaného peer-review hodnocení mohou kolísat v závislosti na cíli a charakteru peer-review hodnocení, případně na národní praxi. Je proto důležité, aby si Česká republika vypracovala vlastní způsob, jak umístit peer-review do českého výzkumného systému.

Na podporu toho, že nejde v případě Ipn Audit o plané doporučení, je záhodno některá česká specifika zmínit, například ve vztahu k Velké Británii, která doporučovaný systém informovaného peer-review praktikuje:

  • Česká republika je například mnohem menší než Británie a její průměrná úroveň ve většině vědních oborů je výrazně nižší. Možnosti nalézt dostatečně fundované a zároveň skutečně nezávislé a zkušené hodnotitele v rámci Česka jsou proto mnohem omezenější.
  • Velká Británie má výzkum mnohem více koncentrovaný na univerzitách, zatímco výzkum v České republice spadá pod řadu takzvaných poskytovatelů a mimo vysoké školy.
  • Kultura hodnocení je v Česku na mnohem nižší úrovni a systém ustavování a hodnocení samotného musí mnohem pečlivěji ošetřit, aby nedocházelo ke konfliktům zájmů a prosazování nepotismu.

Aby se nový systém hodnocení pro Českou republiku držel principů dobré a osvědčené zahraniční praxe a zároveň reflektoval očividně existující specifika českých podmínek, předpokládá projekt Ipn Metodika výrazné zapojení zahraničních expertů jak při návrhu hodnocení, tak při jeho realizaci, ale s tím, že s nimi budou intenzivně spolupracovat mnozí čeští experti.

A ještě ke kultuře hodnocení...

Ipn Audit byl díky nezávislosti zpracovatele (britská Technopolis) k poměrům v Česku velmi upřímný, když v závěrečné zprávě napsal:

(...) všeobecně nízká úroveň důvěry, a obzvláště nedůvěra ve státní moc, je hlavní překážkou dalšího rozvoje takového národního systému výzkumu a inovací, který by obsahoval mnohé z položek potřebných pro úspěch a který – za předpokladu splnění nutných podmínek – by byl schopen se rychle rozvíjet. Z naší zkušenosti víme, že česká úroveň cynismu a nestability v politickém životě jsou mnohem vyšší než v ostatních bohatých zemích OECD. Možná pro to existují dobré historicky dané důvody, ale zdá se, že se tím formují značně kontraproduktivní vzorce chování a politik. Metodika hodnocení je toho skvělým příkladem: jedná se o pokus užitím aritmetiky dosáhnout objektivizace alokace zdrojů, který vyplynul z toho, že se mnoho lidí domnívá, že jednotlivcům nelze důvěřovat, protože nedokáží být nestranní a nebudou objektivně rozhodovat.

Úspěšné zavedení nového systému hodnocení vyžaduje důkladné pilotní ověření, aby nedopadl jako pořádně nevyzkoušené státní maturity nebo registr vozidelÚspěšné zavedení zgruntu nového systému hodnocení vyžaduje jeho důkladné pilotní ověření, aby věc nedopadla neslavně jako pořádně nevyzkoušené státní maturity nebo nejnověji registr vozidel. A protože je u nás velice nízká kultura hodnocení a povědomí o něm, je třeba věnovat velkou pozornost kvalitně koordinovaným veřejným konzultacím již v procesu přípravy nového systému hodnocení.

S veřejnými konzultacemi projekt Ipn Metodika počítá, což mimo jiné přispívá k jeho délce a nákladnosti. Jsme však přesvědčeni, že kvalitní veřejné konzultace, které byly slabinou procesů přípravy dosavadních metodik hodnocení, mohou významně přispět nejen k úspěchu tohoto projektu, ale i k posílení dnes hodně oslabené důvěry širší akademické obce v systém jako takový a k budování kultury hodnocení výzkumu a vývoje v zemi.

Ostatně diskuse vedené na stránkách ČESKÉ POZICE jsou tohoto neutěšeného stavu dobrým příkladem; otevřeně vedené diskuse na toto důležité téma jsou nicméně rovněž optimistickým příslibem.

Spoluautorkou článku je Jitka Moravcová, hlavní garantka projektu Ipn Audit a Ipn Metodika. Profesorka organické chemie na Vysoké škole chemicko-technologické v Praze. Vědecky se zaměřuje na syntézu derivátů sacharidů s potenciální biologickou aktivitou, separační metody a studium mechanismů reakcí. Přednáší ve všech stupních vysokoškolské výuky, v letech 2005 až 2007 byla prorektorkou pro vědu a výzkum, v období 2000 až 2006 byla vedoucí Ústavu chemie přírodních látek. Je členkou řady vědeckých a oborových rad.

Dalibor_Stys Jsem na příjmu 16:51 9.8.2012
ctenarCP To děláte dobře 7:22 10.8.2012
Dalibor_Stys Dnešní článek z The Scientist 17:04 8.8.2012
SHM_Kolodej Audit 6:17 7.8.2012
ctenarCP Přechodné období 17:16 6.8.2012
Dalibor_Stys ČR není vhodné srovnávat s UK..... 11:13 7.8.2012
Dalibor_Stys Slyšel jste někdy o CERGE-EI ? 19:02 7.8.2012
ctenarCP Vy jste věčný smolař, Dalibore 7:34 9.8.2012
Dalibor_Stys :-))) 13:09 9.8.2012
ctenarCP Kdyź to píší experti z CERGE, 16:38 9.8.2012

Počet příspěvků: 13, poslední 10.8.2012 08:23 Zobrazuji posledních 13 příspěvků.