Diskuse k článku

Hodnocení vědy: Proč „kafemlejnek“ nemele, jak by měl

V systému, který každému výsledku bádání přiřazuje určitý počet bodů, lze snadno nahradit kvalitu kvantitou, píše Václav Hořejší.

Upozornění

Litujeme, ale tato diskuse byla uzavřena a již do ní nelze vkládat nové příspěvky.
Děkujeme za pochopení.

Zobrazit příspěvky: Všechny podle vláken Všechny podle času
Foto

Ctenarcp

Když je (pro někoho) tak těžké určit,
kdo je kvalitní vědec, pojďme vymezit, kdo je "nekvalitní" vědec. Pojďme definovat, co je to zneužití veřejných prostředků (grantových prostředků), co je to nesplnění projektu. Pokud Dalibor Štys je postmoderním rozervancem, který v komplexitě Universa není ochoten hledat redukované pravdy, zajímalo by mě, jak jako propagátor univerzitního výzkumu klasifikuje u zkoušek studenty. Jak rozpozná a rozdělí nadané a nezpůsobilé. Jak to "na veřejné VŠ každý den za veřejné peníze dělá"?  Pro postmoderního, holistického pedagoga je dle mého názoru jedinou cestou práce na soukromé univerzitě. Někdo dělí zrno od plev, někdo to žere všechno. V té druhé skupině jsou jak bezdomovci, tak majetní alternativní bio-strávníci.... ;-).
0/0
29.8.2012 6:57
Foto

D36a49l33i12b57o37r 97S80t17y38s 3830540581371

Poznám, kdo je dobrý
A málokdy je to ten, kdo nejvíc publikuje. Pokud jde o strukturu výuky, tak tam mne nejvíc potešilo, když jsem zjistil, že v druháku na Pricetonu v chemii učí termodynamiku ve stejné struktuře jako my a z učebnice, kterou jsem si koupil (berou z ní cca 2/3). Bohužel my to učíme až doktorandy ... Vzal jsem si z toho příslušné poučení. 
0/0
29.8.2012 12:54
Foto

Msebek

A existuje vůbec nezkazitelná metoda hodnocení?
 A existuje vůbec metoda, kterou bychom nedokázali za pár let pokusů úplně zkazit až obrátit naruby? Skoro se vším souhlasím, zvláště poté, co jste připomněl, že se ke kafemletí přistoupilo až poté, co mnohé tradiční metody selhaly. Zejména je to ostuda u metody peer review, ale bohužel je to tak. Mýlíte se ale v tom, že zpočátku dobrý kafemlýnek zkazili „úředníci.“ Naopak ho zkazili, podobně jako to peer review, právě samotní odborníci, vědci a výzkumníci, nejčastěji právě argumentem, že „v našem oboru je to jinak“  a tudíž musíte ještě započítat funkční vzorky, užitné vzory, normy, …. Například zrovna technické vědy nijak specifické nejsou. Právě v nich je  korelace impaktových faktorů časopisů s kvalitou pořád ještě dost velká - odjakživa byla vysoká, a teprve v poslední době se to v některých případech trochu kazí. Možná se tím nepostihne případ spřevratného vynálezu, který autor bez publikace úspěšně aplikuje, ale to zas až tak nevadí protože takový dobrý praktik vydělá přímo tak velké peníze, že mu na nějakých drobných via RIV záležet nemusí. Na novou metodiku se těším a držím jí palce Ale, jak už jsem mnohokrát navrhoval, její odolnost by měla by být nejprve testována s pomocí pár šikovných podvodníků, kteří by právě měli za úkol ji zkazit a obejít. 
0/0
28.8.2012 22:29
Foto

D13a19l52i14b77o46r 94S82t80y91s 3870270861921

Technické vědy specifické jsou
právě svojí konstruktivností. Ale ani v nich už publikace není tím, čím bývala: zobecněním, završením širšího úsilí, něco víc než pouhá konstrukce. V mnoha jiných oborech se ale pojem o zobecňujícím smyslu publikování zcela vytratil. Tam je to bod nutný pro získání PhD titulu nebo splnění grantu. Historky z  mého života i životů jiných sdělím osobně.
0/0
28.8.2012 23:51
Foto

Msebek

U nás
(myslím katedru) je tedy pro mj. PhD nutný článke vyšlý v dobrém impaktovaném časopise
0/0
2.9.2012 21:33
Foto

Urvisu

Jak oni to dělají… no, jde o to, zda oni mají vůbec nějaké manželky :), Václav Klaus možná ví, o čem mluví s tím -ismem, Jörg Haider byl taky hezký opálený chlap, žejo.
0/0
28.8.2012 17:56
Foto

D51a55l44i92b88o32r 96S11t74y86s 3640450371821

.
.
0/0
28.8.2012 20:29
Foto

Urvisu

.
.
0/0
28.8.2012 22:25
Foto

Urvisu

Však ano – čeští skauti by měli lovit v mezinárodních vodách, migrace špičkových vědců po univerzitách a výzkumných pracovištích (rozuměj třeba palác Borghiů) po celém světě probíhala odjakživa, minimálně 200-300 let nazpátek (určitě víc). Anebo jinak – akademická půda by měla být státem ve státě, stejně jako římsko-katolická církev, v minulosti spadala rozkvétající vzdělanost pod křídla církve, dnes by mohla fungovat stejně jako církev, samostatně. 
0/0
28.8.2012 17:46
Foto

D55a56l44i68b86o54r 39S65t18y56s 3280250461521

Kafemlejnek je perspektiva do roku 2021 + pár citací
V poslední době jí u nás velmi využívají zejména poskytovatelé grantů např. VaVpI, VpK, TAČR, Grantová agentura xxxx Univerzity apod. Takže člověk na začátku musí slíbit kolik článků, patentů, jiných aplikovaných výsledků atd. odevzdá. Většinou tak na horní hranici rozumnosti, protože to musí být víc, než slíbí jiní. Důsledky jsou zřejmé .... Jelikož mnozí s takovými granty teprve napřesrok začnou a 3 roky řešení + udržitelnost 5 let = 8let. Takže i kdybychom s kafemlejnkovou terminologií napřesrok přestali, zbavíme se jí, ano, asi tak v roce 2021 nebo spíše v roce 2022. Je to v tom vypuštění džina z láhve. Nemáme to ze sebe, přišli na to na "západě", ale to na hloubce problému nic nemění.  Pro zajímavost dvě  citace:Dopis A. Einsteina editorovi Physical Review 1936"Dear Sir,We (Mr. Rosen and I) had sent you our manuscript for publication and had not authorized you to show it to specialists before it is printed. I see no reason to address the — in any case erroneous — comments of your anonymous expert. On the basis of this incident I prefer to publish the paper elsewhere.Respectfully, Albert Einstein"A svědectví editora Nature Maddocka o historii článku Watsona a Cricka."The Watson and Crick paper was not peer-reviewed by Nature… the paper could not have been refereed: its correctness is self-evident. No referee working in the field … could have kept his mouth shut once he saw the structure "Bohužel je to tak, jak říkám. Scientometrie a víra v to, že oponentní řízení článků dokáže vyselektovat pravdu, vedla k epistemologické krizi současné přírodovědy. Svědectvím proti jsou historky o vědeckých podvodech i třeba ve 170 článcích jednoho profesora.  Především pro tuto uhlířskou víru se přírodověda nemůže dohodnout se svým přirozeným partnerem, inženýrstvím.  
0/0
28.8.2012 17:40
Foto

Msebek

Jak si tedy vysvětlit, že
 Jak si tedy vysvětlit, že nejlepší články (nejzajímavější, nejpřínosnější, nepropracovanější, nejoriginálnější, nejdůvěryhodnější, …) jsou v mém oboru právě v těch 2-3 časopisech, které mají nejnáročnější recenzí řízení (typicky 5 i více anonymních oponentů, mnohá oopakování, proces často trvá i několik let), největší rejection rate, nejvyšší IF atp.? Samozřejmě, i v nich se občas objeví chyba, a třeba i hloupost, ale, právě díky tomu vstupnímu filtru, to už nebývá chyba nebo hloupost jen tak obyčejná. A naopak, i v časopise s nenáročným recenzním řízení se může objevit něco zajímavého, ale jen občas. A možná i v časopise bez recenzního řízení, ale tam opravdu jen zřídka. Je to vše opravdu jen náhoda? Nesouvisí ten rozdíl v kvalitě a dopadu časopisů právě s kvalitou a náročností recenzního řízení? Mimochodem: témata, na kterých pracujeme, samozřejmě sleduji všude, ale průběžně číst (pardon, samozřejmě často jen prolistovat) stihám právě tak jen 2-3 hlavní časopisy. Připadá vám divné, že to jsou právě ty hlavní, výše zmíněné, ty s přísným recenzním řízením. Samozřejmě existuje ještě několik desítek dalších, ale ty už průběžně prohlížet prostě nezvládnu. Jaký typ časopisů čtete vy? Ty bez recenzích řízení?
0/0
28.8.2012 22:09
Foto

D67a41l23i39b50o14r 39S61t93y90s 3650360401111

U vás scientometrie nedegeneruje
protože jde o technický obor. A tam se předpokládá, že to někdo naprogramoval a všichni si to můžou zkusit, nebo že to někdo zkonstruoval či něco podobného. Taky nikoho nenapadne tvrdit, že je nějak méně hodnotné na základě nového principu udělat výrobek, chránit nový objev patentem nebo publikovat.Většina vášnivých obhájců scientometrie pochází z jiných oborů ........ (Mám i kolegu který má firmu i řadu publikací a ten se nechal slyšet, že když to vyjde, tak to vyrábí, když to nevyjde, tak publikuje.)Pokud jde o to, co čtu, tak 1) co si vygooglím nebo vythompson-reutersuji, 2) k čemu se z toho dostanu = vesměs to, co si někdo dal na webové stránky nebo preprinty na ArXiv . Kde to vyšlo a jestli to vůbec někdy vyšlo v podstatě nesleduji, když to funguje, je to jedno. Často to ale nefunguje nebo funguje mnohem méně obecně, než se autoři zaklínají. V Nature group nebo Science čtu hlavně komentáře a sourhnné články, to oni skvěle umějí. A taky Physics Today, tam mimo jiné taky sleduji, co vyšlo za knížky. Podle mne se vědecké publikování v nejbližší době odrazí k novému životu od něčeho mezi ArXivem a open source časopisy.
0/0
28.8.2012 23:41
Foto

Msebek

No to byste se divil!
 No to byste se divil! Jenom jsem tvrdil, že „ve světě“ znamená dobrá publikace ve špičkovém mezinárodním časopise hodně i v technických oborech. Ne tak u nás. Dříve (doba před kafemlejnekm) mnozí našinci tvrdili, že publikací netřeba, že nic neznamenají, že „časopisy otisknou všechno“ atp. Většinou dodali, že „hlavní jsou aplikace“. To bývá jen výmluva. Chcete-li se přesvědčit, zda to někdo básnící o „aplikacích“ myslí vážně, zeptejte se ho kolik na nich vydělal, jak je z nich bohatý. Obvykle zalapá po dechu, a máte to. Přirozeně, dělat „aplikace“, tedy něco pro průmysl, firmy, které to užívají, vyrábějí, prodávají a vydělávají na tom, a nemít z toho nic, to je ptákovina. Kdo to tvrdí, je buď extra obchodní nešika, ale daleko častěji nemluví pravdu, a firmy ty jeho „aplikace“ k vydělávání peněz nepoužívají. Tak jaképak aplikace. O kvalitě aplikace“ hovoří peníze (pár šílenců v oblasti freeware a public domain promine). Chlubit se aplikacemi je snadné, najít nějakého troubu z firmy, který to potvrdí je také snadné. Ale neznamená to nic, dokud za to firma neplatí. teprve pak se ukáže, že o to opravdu stojí. Nyní, v době kafemejnkové, se zase honí bodíky: Patentuje se kvůli bodům z RIV, vymýšlejí se po tisících „funkční vzorky“ a dokonce se zakládají české-slovenské-středoevropské časopisy, které jsou v SCI a přesto otisknou každou pitomost, plagiát atp. V mém oboru třeba „Radioengineering, Electrical Engineering, Przeklady Electrycne, atp. Shrnuto: Nic špatného se nestalo, ale ani nic dobrého! Scientometrie a kafemejnek v ČR moc nepomohly, ale také nic nepokazily! Mizérie převládala před nimi a mizérie převládá i po nich. Jak by také ne, když k žádným podstatným změnám dosud nedošlo? Scientometrie sem nebo tam, kolem jsou pořád stejní kolegové a nic s nimi nehne. Tak proč kritizovat zrovna scientometrii? Proč ne třeba trpaslíky? Problém je jinde!
0/0
1.9.2012 12:48
Foto

D43a65l49i41b19o22r 37S34t56y28s 3400410631851

Scientometrie a kvalita (viz ERC)
Z druhého soudku - myslím, že scientometrie se hodí přesně k tomu, k čemu ji využívá ERC pro Advanced Grants : aby ukázala kdo má na ten "Scientific leadership", kdo je schopen komunikovat na mezinárodní úrovni a dostat se tam i do politicky dost vlivné pozice aby dokázal své výsledky uplatnit. Nic proti tomu - abychom efektivně dokázali čerpat ze světové vědy takové lidi nezbytně potřebujeme. To by mělo být hodnocení prvního kola.V druhém kole je třeba odfiltrovat kdo byl jen vědecký politik a kdo věci  opravdu rozumí. A tento poznatek nám scientometrie nedá, na to je třeba peer review. PS: Tomu. co se v tomto smyslu dělo v posledních letech v Česku, se moje příspěvky moc nevěnují. Spíš mi jde o budoucnost a o to, abychom se nepřipravovali na předminulou válku. Tu jsme prohráli a tu minulou, scientometrickou, až na výjimky jakbysmet.  
0/0
1.9.2012 13:13
Foto

Msebek

Jenomže
velká část křiku proti scientometrii je od těch, kteří by se rádi vrátili zpět do minulosti, kdy všichni "věděli" a partu kamarádů žádné počítání článků nebo, fuj, citací netrápilo.
0/0
2.9.2012 21:43
Foto

D47a86l73i72b84o53r 42S42t72y34s 3940330521931

To taky vím
A štvalo mne to po léta, ale zároveň mám taky máslo na hlavě, protože jinak jsem to mohl zabalit. Posléze jsme díky kafemlejnku vcelku klidně žili. Kdo jiný  měl až 60% peněz z kafemlejnku? Jenže nás to poslalo na vcelku zvrhlou trajektorii podpory člověka, který udělá 60 publikací ročně. V tzv. dobrých časopisech, i když i on se často diví, jak náš kafemlejnek řadí časopisy podle významnosti. ( Což je další zajímavý problém k diskusi.)Kdybych byl kdysi přistoupil na jeho nabídku, že mne bude připisovat, dnes bych se tu posmíval, že mám 200 dobrých publikací. Co na tom, že s nimi někdy  nesouhlasím nebo je považuji za rutinu. Body za technologie, které jsme udělali a dokonce museli udělat kvůli slíbeným výsledkům projektů, mne tohoto dilematu zbavily. Je to dobře nebo špatně - podle mne dobře. "Pragmatismus znamená dospět k výsledku, který nám připadá hodnotný cestami, které k němu vedou." Ano, tak trochu tím říkám, že řešíme problém na jiné úrovni, v principu srovnatelné s pracovišti typu ISTA. (Taky jsme byli v rámci JU zrušeni .. :-) ) Ale určitě v tom nejsme sami a i jiná pracoviště trápí, že v jednom sboru pějí ti, co touží po starých spřátelených časech, i ti, co vidí na konec současné podoby scientometrie, který není daleko. 
0/0
3.9.2012 11:28
Foto

D62a52l13i60b24o37r 31S51t17y85s 3160340241431

Scientometrie je problém obecně
 právě kvůli nesmyslnému hodnocení podle IF za 3 roky a z něj vyplývající síle recenzních a citačních bratrstev. Kdyby se za převažující hodnocení bral citation half time, třeba v kombinaci s IF 5 years, všechno by bylo o hodně zdravější.  Ale zřejmě je open acces elektronický publishing se se scientometrií shcopne více-méně srovnat. Což ukazuje existence žurnálu Plos One: ...PLOS ONE will rigorously peer-review your submissions and publish all papers that are judged to be technically sound. Judgments about the importance of any particular paper are then made after publication by the readership (who are the most qualified to determine what is of interest to them). ....Ten bere 7 článků z 10 a přesto má IF 4.4. Tento systém peer review také ruší bariéru "významu pro obor".  Tím ovšem k tomu, aby člověk poznal, co je v daném oboru důležité a co ne, mu takový peer reviewing nepomůže. To se musí spolehnout na google. Nebo na vyhledávač přímo v Plos One. 
0/0
2.9.2012 7:13
Foto

Msebek

Na scientometrii
je dobré, že se vůbec něco "měří" (přes všechnu kritiku). Srovnejte se zažitou situaci, kdy "měřit" vůbec netřeba, protože přece "všichni víme", že Franta, Honza a Tonda "jsou dobří", i když kde nic tu nic. Dosud se velkým šéfem mohl stát kdokoli, výsledky nevýsledky. Dokonce byly nevýsledky výhodou, zdá se ze statitik. Neboť senát zvolí raději toho, kdo nic nemá a tedy většinu neohrožuje.
0/0
2.9.2012 21:40
Foto

D83a94l98i19b49o53r 23S16t26y91s 3500850681101

Každá univerzita by si měla ve vlastním zájmu dělat pořádek sama
A nést za to zodpovědnost. Tak to bylo po tisíce let. Jaký pořádek si univerzita udělá, takovou reputaci má.Naše univerzity ( a mnohé jiné na světě) se rozhodly, že svou zodpovědnost  přenesou na někoho jiného. A tak získali navrch lidé konformní s tím, kdo tu zodpovědnost, opět šikovně decentralizovaně a anonymizovaně, má.Taková je ta amica veritas . Kroků k tomu to změnit je třeba spousta a doufejme, že svět to začíná chápat. Viz třeba instrukce k hodnocení RFE. Cíl je skutečně daleko za českým horiziontem, ale dosahování českého horizontu už dávno vedlo k úplné degeneraci diskuse na politické přetahování kdo víc váží. 
0/0
3.9.2012 5:02
Foto

Msebek

jenže nedělá
"Každá univerzita by si měla ve vlastním zájmu dělat pořádek sama"jenže si žádná pořádek nedělá, protože každou ovládá její akademická většina (= Franta, Honza, ....), kteří přece "vědí, co je dobré" a jejich jedinou stsrostí je, aby se ještě deste (davce, třicet,...) let nic nezměnilo, aby nebyli ohroženi.
0/0
13.9.2012 18:44
Foto

D91a24l46i84b68o43r 70S13t25y78s 3260360631941

Jde to i bez Bakalů a Kellnerů
Takhle to udělali v Rakouskuhttp://ist.ac.at/about-ist-austria/history/Jenže tam mají ministra pro vědu, který získává politické body tím, že pro vědu získá víc peněz a pak si třese rukou s nositeli Nobelových cen a grantů ERC. ( BTW Pěknej, upravenej a opálenej chlap ten Töchterle. Tak jako většina rakouských politiků. Jak oni to dělají...) 
0/0
28.8.2012 17:31
Foto

Urvisu

Význam skautů na akademickém pracovišti
Proč mám věřit tomu, že poskytovatelé grantů jsou tak blbí, že za své peníze vyžadují slib kvantity a nikoliv kvality? (naslibovat  počet článků, patentů, jiných aplikovatelných výsledků atd., namísto několika konkrétních příslibů v rámci nadějných rozpracovaných úkolů). Co kdyby se součástí akademických pracovišť, soupeřících o granty, stali především skauti, kteří by permanentně, celoročně a aktivně vyhledávali, lákali, upláceli z černých fondů a těmi nejpodlejšími metodami přesvědčovali k přestupu na své domovské pracoviště výzkumníky aktuálně oplodněné myšlenkou, shánějících zázemí anebo strádajících svým současným špatným zázemím?… proč by se nemohla polovina grantu věnovat na úplatek pro špičkového vědce z MIT, který by během letní stáže v Hradci Králové sjednotil teorii elektromagnetického a gravitačního pole, otestoval gravitační motory pro čínské astronauty, anebo se alespoň tvářil jako Einstein a pořádal charitativní večírky pro manželky (a milenky) místních podnikatelů, které by se dozajista předháněly s velkorysými dary z peněženky svých Bakalů, Kellnerů, Tykačů, Janoušků, Kalousků, Hávů, Dvořáků, Topolánků, Rittigů, Romanů… Co kdyby se právě takové komando stalo tou nejdůležitější součástí marketingu akademických pracovišť (a nikoliv sněm mudrců, handrkujících se o podobu algoritmu na přerozdělování toaletního papíru)? Poskytovatelé grantů se potřebují průběžně zbavovat svých peněz kvůli odpisu z daní anebo skutečně za své peníze něco reálného požadují, minimálně jsou natěšeni a nějaké překvápko očekávají?
0/0
28.8.2012 17:26