Slovníček základní pojmů
Rada pro výzkum, vývoj a inovace: Odborný a poradní orgán vlády pro oblast výzkumu, vývoje a inovací, který zabezpečuje mimo jiné i
- přípravu Metodiky hodnocení výsledků výzkumných organizací,
- samotné hodnocení,
- návrh výše výdajů na výzkum, vývoj a inovace jednotlivých rozpočtových kapitol.
Výzkumná organizace: Právnická osoba, organizační složka státu nebo organizační jednotka ministerstva, zabývající se výzkumem a vývojem, jejímž hlavním účelem je provádět základní výzkum, aplikovaný výzkum nebo vývoj a šířit jejich výsledky prostřednictvím výuky, publikování nebo převodu technologií. Přitom výraz „hlavní“ je třeba chápat ve smyslu „primární“, tak jak je uvedeno v definici výzkumné organizace podle Rámce Evropského společenství („primary goal“).
Poskytovatel: Organizační složka státu nebo územní samosprávný celek, který rozhoduje o poskytnutí podpory a který tuto podporu poskytuje.
Institucionální podpora na rozvoj výzkumných organizací: Prostředky (zhruba 9 miliard korun ročně) rozdělované výzkumným organizacím na základě hodnocení jejich činnost bez předem stanoveného účelu s určením pro provoz a rozvoj výzkumné organizace.
Účelová podpora: Prostředky určené na konkrétní projekt a poskytované na základě soutěže.
***
Složité problémy nemívají jednoduchá řešení. A hodnocení výsledků výzkumu takovým složitým problémem je. Vědí to přinejmenším ti, kdo chápou, co takové hodnocení znamená a k čemu má sloužit. V současné době se u nás hodnotí podle Metodiky, které se zvyklo říkat kafemlejnek. Ani jeho advokáti netvrdí, že jde hodnocení kvality výzkumu, a uznávají, že představuje robot převádějící určitým způsobem „ohodnocené“ výsledky výzkumu na peníze institucionální podpory (viz slovníček základních pojmů výše).
- Absurdnosti současného systému jsou popsány v článku Daniela Münicha Hodný a zlý kafemlejnek.
- O nevhodnosti kafemlejnku pro rozdělování institucionálních prostředků jsem psal i já ve svých blozích v LN zde a zde.
- To, co každé pořádné hodnocení výsledků výzkumu poskytuje a co všechno kafemlejnek neumí a nikdy umět nebude, je podrobně rozebráno v dalším textu Daniela Münicha Slepecká hůl kafemlejnek.
Kafemlejnek je světový unikát, kterým jsme obohatili pokladnici slepých uliček, jimiž se lidstvo vydalo. Tím nechci říci, že občas nemá smysl pokusit se vyvinout něco zcela nového, co nemá ve světě obdoby. Jen je přitom ve vlastním zájmu rozumné poučit se z toho, jak výsledky výzkumu hodnotí jinde, především v zemích s daleko rozvinutějším výzkumem. Duchovní otcové kafemlejnku se ale jinam nedívali a vymysleli monstrum, které se jim vymklo z rukou.
Projekt MŠMT Efektivní systém hodnocení a financování výzkumu, vývoje a inovací (zkráceně projekt Metodika) by nás měl ze slepé uličky kafemlejnku vyvést a na základě zkušeností jiných zemí navrhnout:
- systém hodnocení výzkumných organizací ČR, který by poskytl informace nezbytné pro rozhodnutí o výši institucionální podpory;
- způsob přidělování institucionální podpory, která z tohoto hodnocení vychází, ale která bere v úvahu i další skutečnosti, především různou nákladnost jednotlivých typů výzkumu a různost podmínek, v nichž různé výzkumné organizace pracují.
V následujícím textu nejdříve proberu hlavní rysy ve světě používaných systémů institucionálního hodnocení výzkumu a poté ukážeme, co všechno je třeba pro jejich realizaci v našich podmínkách udělat. Uvidíme, že po organizační i legislativní stránce toho není málo.
V případě hodnocení je třeba se shodnout na tom proč, jak, koho a kdo
1. Proč
Je dobré připomenout řadu zemí, například USA a Německo, kde se žádné centrální hodnocení všech aktérů výzkumu neprovádí, a přesto jsou tyto země na špičce výzkumu
První otázka, kterou si musíme položit je, proč vlastně chceme, resp. vláda chce, hodnotit výsledky výzkumu a jejich společensko-ekonomické dopady. Z jejího hlediska je primárním důvodem, aby na základě hodnocení kvalifikovaně přidělila jednotlivým výzkumným organizacím institucionální podporu na jejich rozvoj. Hodnocení, je-li dobře provedeno, je ovšem důležité i pro výzkumné organizace samotné, a to nejen aby věděly, jak na tom jsou, ale jako podnět k dalšímu rozvoji.
Správně provedené hodnocení totiž obsahuje kromě hodnocení výsledků minulé činnost také doporučení, jakým směrem by se její výzkum měl ubírat v budoucnosti a jak lépe fungovat jako výzkumná organizace. Vědomí, že výsledky instituce budou dříve či později přísně a nezávisle zhodnoceny vytváří silné pozitivní motivace. V jistém smyslu je dokonce tento aspekt hodnocení primární.
V této souvislosti je ovšem dobré připomenout, že existuje řada zemí, například USA a Německo, kde se žádné centrální hodnocení všech aktérů výzkumu neprovádí, a přesto jsou tyto země na špičce výzkumu. V těchto zemích je zcela odděleno financování nesoukromých vysokých škol, včetně prostředků na výzkum, od institucionálního financování neuniverzitních institucí, které hrají v obou zemích a především Německu nezastupitelnou roli. U nás se zřejmě bez nějaké formy centrálního hodnocení výzkumu neobejdeme, neboť sebehodnocení, tak, jak ho provádí například Společnost Maxe Plancka v Německu, u nás nefunguje a většina poskytovatelů není schopná své příjemce hodnotit.
V řadě jiných zemí centrální hodnocení výzkumu probíhá, vždy však v delších časových intervalech, typicky 5 až 8 let. Dvě z těchto zemí, Velká Británie a Francie, nám budou v dalším zdrojem poučení, jak se má takové hodnocení pořádně provádět a jak na ně navazuje institucionální financování. V obou těchto zemích je systém hodnocení velmi propracovaný, takže se lze poučit nejen o obecných rysech, ale i o rozdílech a tom, jak tam řeší pověstné „ďáblovy detaily“.
2. Jak
Ve všech zahraničních systémech hodnocení je jeho primárním cílem identifikace kvalitního výzkumu, přičemž se hodnotí skupiny výzkumníků, ať již jde o celé vysoké školy, jejich fakulty, výzkumné instituce různého typu (ústavy Akademie věd, resortní výzkumné instituce či soukromé subjekty) či jejich menší jednotky. Základním kritériem hodnocení pak bývá srovnání kvality výsledků posuzované skupiny se světovou špičkou v daném oboru a výsledkem hodnocení pak je určitá kvantifikace tohoto srovnání.
Pokud se shodneme na tomto hledisku, je třeba rozhodnout, co bude měřítkem srovnání se světovou špičkou. Ve světě, ale bohužel nikoli u nás, panuje shoda, že měřítkem kvality v případě publikací není v žádném případě impaktfaktor časopisu, kde je článek publikován. V britském systému hodnocení univerzitního výzkumu RAE je použití impaktfaktoru jako kritéria kvality článku vysloveně zakázáno. V instrukcích pro pracovní metody panelů expertů je jasně uvedeno: Žádný panel nepoužije impaktfaktor časopisu jako míru kvality článku.
Důvod pro toto striktní pravidlo je jasný: i v případě těch nejlepších časopisů je vysoká hodnota impaktfaktoru důsledkem vysoké citovanosti velmi malé části článků v nich publikovaných. Většina článků se s nimi nezaslouženě sveze, pokud použijeme impaktfaktor časopisu jako míru kvality všech článků v něm publikovaných.
Chceme-li identifikovat skutečně špičkový výzkum, pak nestačí ani úplná citační analýza, jakou umožňují údaje agentury Thomson-Reuters, která provozuje známou databázi Web of Science. Ani ta totiž nepostihuje důležitou okolnost, kdo a proč článek cituje. Je přitom jasné, že jedna pozitivní citace od laureáta Nobelovy ceny je důležitější než deset citací od spřízněných kamarádů. Jediný, byť samozřejmě také nedokonalý způsob jak identifikovat skutečnou kvalitu publikace či jiného výstupu výzkumu se opírá o zapojení panelů odborníků. To je ve světě, ale opět ne u nás, všeobecně uznávaná a respektovaná skutečnost.
3. Koho
Další důležité rozhodnutí, které je třeba při formulaci metody hodnocení založené na kombinaci peer-review s bibliometrickými údaji (dále jen „informovaný peer-review“) učinit, je vymezit okruh institucí, které budou hodnoceny, a na základě toho získávat institucionální podporu.
Na první pohled se může zdát, že v tomto ohledu žádný problém neexistuje a hodnoceny (a následovně institucionálně financovány) by měly být všechny výzkumné organizace. Problém přesto existuje, neboť definice „výzkumné organizace“ je vykládána organizacemi samotnými i jejich příslušnými ministerstvy velmi, velmi shovívavě.
V důsledku toho je v současné době mezi zhruba 160 institucemi s právní subjektivitou, které jsou hodnoceny a institucionálně financovány, řada institucí, pro něž výzkum a vývoj zcela evidentně nejsou primárním účelem existence. Tyto instituce velmi komplikují metodu hodnocení, neboť jejich výstupy obvykle nelze hodnotit týmiž měřítky, kterými jsou hodnoceny ústavy Akademie věd ČR, či vysoké školy.
Typickým příkladem samozvané „výzkumné organizace“ je Národní galerie v Praze. V čl. I jejího Statutu je uvedeno:
„Národní galerie v Praze je státní ústav v postavení státní příspěvkové organizace pro odborné shromažďování, správu a zpřístupňování sbírek muzejní povahy a vědeckovýzkumnou činnost včetně činnosti kulturně výchovné a metodické, s celostátní působností.“
Výzkum je tedy součástí činnosti Národní galerie, ale zcela jistě ne primárním cílem její existence. Tomu odpovídá i skutečnost, že podle Výroční zprávy za rok 2010 pocházelo z celkového rozpočtu NG ve výši 334 milionů jen necelých 6 milionů z prostředků na výzkum a vývoj, z toho 3,8 milionu (tedy jen o málo vice než 1 % rozpočtu) jako institucionální podpora na rozvoj výzkumné organizace a 2,15 milionu na granty. Přesto je v textu na vstupní webové stránce Národní galerie hrdě uveden doslovný citát ze zákona 130/2002:
„Národní galerie v Praze je výzkumnou organizací, jejímž hlavním účelem je provádět základní i aplikovaný výzkum a experimentální vývoj a šířit jejich výsledky prostřednictvím vědeckých publikací, výstav, výukových programů, metodik, příp. převodem technologií.“
Milan Knížák možná ani netušil, že byl ředitelem „výzkumné organizace“. Mezi výzkumnými organizacemi je dnes i řada dalších muzeí a knihoven (podobně jako NG státních příspěvkových organizací):
- Moravská galerie v Brně
- Moravská zemská knihovna v Brně
- Moravské zemské muzeum
- Národní knihovna České republiky
- Národní muzeum
- Národní památkový ústav
- Národní technické muzeum
- Národní ústav lidové kultury
- Slezské zemské muzeum
- Uměleckoprůmyslové museum v Praze
- Národní zemědělské muzeum Praha
- Památník národního písemnictví
Tyto instituce rovněž nebyly zřízeny primárně proto, aby prováděly výzkum. Ve všech těchto případech jsou výdaje na výzkum jen velmi malou částí celkových rozpočtů těchto institucí, což jen podtrhuje skutečnost, že se nejedná o skutečné výzkumné organizace ve smyslu zákona i zdravého rozumu.
Je přece absurdní, aby financování instituce, která se stará o jadernou ochranu obyvatelstva, záviselo na tom, kolik článků napíší astronomové či kolik plemen vyšlechtí zemědělci
Mezi výzkumnými organizacemi jsou také instituce jako Státní ústav jaderné, chemické a biologické ochrany, Státní ústav radiační ochrany a Česká geologická služba, které dělají důležitý výzkum a s velkou částí své kapacity. Jejich zahrnutí do hodnocení je ovšem nesystémové, neboť jde v převážné většině o výzkum důležitý pro fungování státu, a proto by jeho financování mělo být zajištěno formou státních zakázek.
Je přece absurdní, aby financování instituce, která se stará o jadernou ochranu obyvatelstva, záviselo na tom, kolik článků napíší astronomové či kolik plemen vyšlechtí zemědělci. Podobně je tomu i v případě Institutu ochrany obyvatelstva - Lázně Bohdaneč, dříve Civilní obrany, jenž je odborným orgánem Generálního ředitelství Hasičského záchranného sboru a poskytuje informační, expertizní, konzultační a poradenskou činnost orgánům a organizacím, jejichž činnost je důležitá pro zabezpečení plnění úkolů ochrany obyvatelstva. Nikde na světě nejsou instituce podobného charakteru financovány na základě stejné metody hodnocení výsledků, jako vysoké školy či neuniverzitní výzkumná pracoviště.
Podstatné zúžení okruhu institucí, které budou podle nové metodiky hodnoceny, není potřebné ani tak proto, že odčerpávají část prostředků na institucionální podporu, ale proto, že informovanou peer-review metodiku hodnocení lze smysluplně aplikovat jen na rozumně homogenní množinu hodnocených organizací. Poměřovat „výsledky výzkumu“ v předchozím odstavci zmíněných institucí srovnáním se světovou špičkou nedává smysl.
4. Kdo
Snad nejobtížnější bude vytvořit instituci, která bude hodnocení metodou informovaného peer-review organizačně zajišťovat, přičemž samotné hodnocení budou provádět skupiny odborníků. Rada pro výzkum, vývoj a inovace, která současný kafemlejnek provozuje, to být evidentně nemůže. Je jasné, že to musí být instituce kvalitně vybavená po technické i odborné stránce, přičemž to druhé bude klíčové.
Tato instituce zajistí ustavení panelů expertů, jejichž kvalita a nestrannost budou pro úspěch metody rozhodující. Jeden z hlavních argumentů zastánců kafemlejnku spočívá totiž v hluboké nedůvěře v objektivitu posuzování panely expertů. Překonat tuto nedůvěru bude možné jen při zapojení zahraničních odborníků, ale i v tom případě bude na jejich výběru velmi záležet. Najít vhodné odborníky a přesvědčit je, aby část, byť malou, svého času věnovali řešení našich problémů, přitom nebude lehké a mohou to dokázat zase jen osobnosti, které mají s výzkumem vlastní zkušenosti.
Pro poučení, co všechno musí taková instituce zvládnout a jak má být k tomu účelu vybavena, je užitečné podívat se, jak to dělá francouzská státní agentura AERES, nebo britský HEFCE (Higher Education Funding Council of England), jenž provozuje ve spolupráci se svými protějšky ve Skotsku a Walesu a Ministerstvem podnikání, inovací a dovedností systém hodnocení již zmíněného univerzitního výzkumu RAE. Oba systémy jsou založené na peer-review, ale v řadě aspektů se velmi liší.
- V případě francouzského systému je pro každou hodnocenou organizaci, což v praxi znamená ústavy státní výzkumné organizace CNRS (Centre National de la Recherche Scientifique) nebo univerzity, ustavena zvláštní komise, která má obvykle okolo deseti členů, mezi nimiž je řada zahraničních odborníků na tématiku dotyčné organizace. Výsledkem hodnocení je rozsáhlá zpráva obsahující kromě kritického rozboru její činnosti také tabulku kvantifikující výkonnost jejích jednotlivých částí (oddělení, kateder apod.). Konkrétní příklad hodnocení Ústavu jaderné fyziky Univerzity Paříž 11 je k dispozici zde.
- V případě britského systému RAE je pro každý z 67 oborů ustaven panel odborníků, čítající typicky 15 členů, kteří posoudí všechny pracovní týmy přihlášené do daného oboru. Výsledkem je pro každý tým jeho výkonnostní profil, charakterizující, jaká část jeho výsledků je v každé z pěti kategorií kvality, od světové špičky až po výsledky nesplňující podmínky kladené na jejich obsah. (Příklad výsledků hodnocení v panelu Fyzika.)
Byl by problém najít takové domácí hodnotitele v oboru, kteří jsou zároveň velmi dobří a zároveň nemají konflikt zájmů
Česká republika je ovšem mnohem menší země než Velká Británie a Francie a má také podstatně menší počet mezinárodně kvalitních domácích vědců. Byl by tedy problém najít takové domácí hodnotitele v oboru, kteří jsou zároveň velmi dobří a zároveň nemají konflikt zájmů. Proto bude muset české peer-review hodnocení spoléhat na kvalitní hodnotitele ze zahraničí více, než hodnocení ve Velké Británii či Francii.
Netriviální otázkou bude i právní postavení této instituce. Může to být státní příspěvková organizace, jako je třeba Český statistický úřad, nebo může jít o organizační složku státu, jako je například Grantová agentura České republiky. V principu to může být i součást ministerstva školství, mládeže a tělovýchovy, podobně jako Finanční analytický útvar ministerstva financí. I na tuto otázku má dát projekt Efektivní systém hodnocení a financování výzkumu, vývoje a inovací odpověď.