Diskuse k článku

Hodnocení vědy: Proč „kafemlejnek“ nemele, jak by měl

V systému, který každému výsledku bádání přiřazuje určitý počet bodů, lze snadno nahradit kvalitu kvantitou, píše Václav Hořejší.

Upozornění

Litujeme, ale tato diskuse byla uzavřena a již do ní nelze vkládat nové příspěvky.
Děkujeme za pochopení.

Zobrazit příspěvky: Všechny podle vláken Všechny podle času
Foto

D62a14l24i37b63o14r 90S47t65y59s 3570410831641

Dobrá otázka
Nejvýznamnější asi:  Urban J., Vaněk J., Soukup J. and Štys D., Expertomica Metabolite Profiling: Getting more information from LC-MS using the stochastic systems theory approach, (2009) Bioinformatics 25, 2764-2767Urban J, Hrouzek P. and Štys D., Time alignmnent in HPLC-MS 2012 Lambert Academic Publishing, ISBN: 979-3-659-13020-5a  StysD., Urban J., VanekJ., CísarP. Analysis of biological time-lapse microscopic experiment from the point of view of the information theory. Micron. 2011a, 42, 360-365. Epub2010 Feb12.Stys, D., Vanek, J., Nahlik, T., Urban, J., Cisar, P.: The cell monolaye rtrajectory from the system state point of view. Mol. BioSyst. 7, 2824-2833 (2011) Stys D., Jizba P., Papacek S., Nahlik T., and Cisar P., On measurement of internal variables of komplex self-organized systems and their relation to multifractal spectra, 2012,IWSOS 2012, LCNS 7166, pp. 36-47, Kuipers and Heegaard eds. Springer: Heidelberg Dordrecht London New York, ISBN 978-3-642-28582-0 Nejcitovanější pak: Phosphorylation controls the three-dimensional structure of plant light harvesting complex II (1997), Nilson A., Stys D., Drakenberg T., Spangfort M. D., Forsen S., Allen J. F., Biol Chem 272, 18350-18357 O níž bohužel musím říci, že experimenty tam uvedené nemají nic moc společného s hypotézou, která se testovala. Proto jsem taky až druhý autor, dost jsem psaní té publikace ke konci bojkotoval, jak mi postupně docházelo, co všechno by se mělo udělat. Člověk se holt učí až časem. Část těch experimentů jsem pak udělal, bez valného zájmu odborné věřejnosti, což mne utvrdilo v názoru, že lidi moc nepřemýšlejí nad tím, co čtou a proč to citují.   
0/0
31.8.2012 5:12
Foto

Ctenarcp

Dalibore,
povězte, kterou z vlastních publikací považujete za hodnou pozornosti vědecké komunity a zároveň nejvýznamnější? A proč? Prosím, ušetřete mě tvrzení, že každou, ale každou "jinak" ... A povězte, "pochopil svět" význam té práce? Koreluje Vaše hodnocení s citačním ohlasem? Pokud ano/ne, máte vysvětlení, proč by tomu tak mohlo být?
0/0
31.8.2012 4:57
Foto

Jaromir Marek 5197146864645

Nobel Prize in Chemistry 2011
Nejsem oslovený,  ale  - ať nechodím daleko z vlastního oboru (=krystalografie)  - což třeba takový Dan Shechtman,  HI=22 ? http://apps.webofknowledge.com/CitationReport.do?product=WOS&search_mode=CitationReport&SID=Y28Jm785OiCA8BkBBjd&page=1&cr_pqid=8&viewType=summary Jinak ale s ERC a jejich nositeli máte pravdu, viz třeba scientometrická čísla Jiřího Frimla a Evy Benkové (relativně čerstvých posil v níže zmiňovaném IST) http://ist.ac.at/about-ist-austria/awards-honors/
0/0
30.8.2012 12:30
Foto

V.Hořejší

PIs of Advanced Grant proposals
 Ja v jednom z bruselskych panelu posuzujicich Advanced Grant proposals jiz 4 roky pusobim. Ty podminky, ktere uvadis, jsou MINIMUM - realita je takova, ze tyto granty dostavaji lide, kteri maji desitky az stovky publikaci ve velmi kvalitnich zurnalech (podle IF), maji vysoky h-index, tisice citaci...I v nasem pokrivenem kafemlejnkovem systemu by uspeli VELMI dobre. Zcela souhlasim, ze "granty ERC nám každý rok nastavují memilosrdné zrcadlo do něhož se musíme koukat, protože jsme členy EU. Tak to holt s naší vědou je a žádné kafemlejnky nás z toho nevytáhnou, právě naopak." Vsak jsem o tom pred nedavnem tady psal (http://www.ceskapozice.cz/domov/veda-vzdelavani/co-s-ceskou-vedou-hledejme-nove-molekuly-nikoliv-rychle-penize).Neni tomu tak, ze bychom zde meli zastupy "kafemlejnkovych" preborniku s vysokym h-indexem; naopak - mame zde velmi malo tech, kteri podle vseobecne uznavanych scientometrickych kriterii (pocet publikaci ve vysokoimpaktovych zurnalech, citovanost, h-index) maji byt i jen minimalni sanci uspet v soutezi o granty s evropskou spickou. Jeste jednou - muzes prosim uvest priklady recentnich nobelistu, kteri maji malo publikaci, resp. nizke jakekoli scientometricke parametry?
0/0
30.8.2012 5:32
Foto

D79a46l98i96b20o95r 66S33t92y10s 3130720711691

Měl jsem na mysli lidi asi tohoto profilu
Cituji z příručky grantů ERC http://ec.europa.eu/research/participants/portalplus/static/docs/calls/fp7/erc-2013-adg/33022-gfa_erc-adg-2013_27072012_en.pdf:  Thus, in most fields, PIs of Advanced Grant proposals will be expected to demonstrate a record of achievements appropriate to the field and at least matching one or more of the following benchmarks: • 10 publications as senior author (or in those fields where alphabetic order of authorship is the norm, joint author) in major international peer-reviewed multidisciplinary scientific journals, and/or in the leading international peer-reviewed journals of their respective field.• 3 major research monographs, of which at least one is translated into another language. This benchmark is relevant to research fields where publication of monographs is the norm (e.g. humanities and social sciences). Other alternative benchmarks that may be considered (individually or in combination) as indicative of an exceptional record and recognition in the last 10 years:• 5 granted patents.• 10 invited presentations in well-established internationally organised conferences and advanced schools.• 3 research expeditions led by the applicant.• 3 well-established international conferences or congresses where the applicant was involved in their organisation as a member of the steering and/or organising committee.• International recognition through scientific prizes/awards or membership in well-regarded Academies or artefact with documented use (for example, architectural or engineeringdesign, methods or tools);• Major contributions to launching the careers of outstanding researchers;• Recognised leadership in industrial innovation. Ujišťuji PT publikum, že tak málo publikující člověk by si na svou výplatu českým kafemlejnkem nevydělal. A to i kdyby se hodnota bodu zvýšila o těch 15%, které nám "vysává" průmysl.  Vím o jednom, který v tom vidí židoindické spiknutí, protože on má víc i vysokoimpaktovaných publikací než mnozí, kteří grant ERC dostali. Já to vidím spíš tak, že granty ERC nám každý rok nastavují memilosrdné zrcadlo do něhož se musíme koukat, protože jsme členy EU. Tak to holt s naší vědou je a žádné kafemlejnky nás z toho nevytáhnou, právě naopak.
0/0
29.8.2012 17:52
Foto

D54a56l74i96b31o83r 61S73t54y53s 3440210391651

peer reviewing
Publikovat se samozřejmě musí, od toho tu jsme. Jenže se smysl publikování musí změnit, vrátit zpět šíření myšlenek. Odtud hnutí jako tato: http://www.peer-reviewing.org/pr12/ A ono se něco stane, elektronické publikování změnilo všechny média, změní i vědecké publikování. Těším sa na to, že místo dohadování z neschopnými reviewery budu od začítku diskutovat s někým, kdo se o věc opravdu zajímá, je na komunitě finančně nezávislý a třeba mne donutí úplně a přesně anotovat všechna primární data a najde v nich něco úplně jiného než já.
0/0
29.8.2012 16:10
Foto

V.Hořejší

Dobry je ten, kdo malo publikuje??
 Dalibore, mohl bys prosim uvest par prikladu lidi, kteri jsou dobri, a malo publikuji? Napr. mezi nobelisty?
0/0
29.8.2012 13:52
Foto

D29a51l20i84b98o90r 34S21t21y65s 3920270691391

Poznám, kdo je dobrý
A málokdy je to ten, kdo nejvíc publikuje. Pokud jde o strukturu výuky, tak tam mne nejvíc potešilo, když jsem zjistil, že v druháku na Pricetonu v chemii učí termodynamiku ve stejné struktuře jako my a z učebnice, kterou jsem si koupil (berou z ní cca 2/3). Bohužel my to učíme až doktorandy ... Vzal jsem si z toho příslušné poučení. 
0/0
29.8.2012 12:54
Foto

D21a90l43i92b87o86r 85S37t88y21s 3810120121151

100% pravda
V tom to přesně je - scientometrie a kafemlejnek je důsledkem stejného trendu, který stvořil už peer review. Snahy o anonymizování zodpovědnosti. Review, která mne nejvíc potešila, byla "I could not find anyone to review this article, but think that it is good so I decided to publish it as it is. Your sincerely Guy Cox"
0/0
29.8.2012 12:50
Foto

J91a54n 62H97i65n11k 2147505894287

Kafemlejnky jsou důsledkem obecného společenského trendu
a tím je vyhybání se (někdy i trestní) odpovědnosti za vyřčení pravdy. Vědecká práce má být posuzována vždy vědci, avšak to je vždy alespoň z části subjektivní. V dnešní době ale když někdo napíše kravinu, nikdo se nechce v tomto smyslu vyjádřit, protože pokud toho autora někdo politicky podrží, mohlo by to kritikovi přinést zkázu. Hned by byli připaveni se s ním soudit nebo ho ostrakizovat v médiích. Proto se hodnotitelé snažili vymyslet systém "objektivní", který by vyloučil osobní pohledy uznávaných odborníků, avšak který ovšem fungovat nemůže.  Já se jim nedivím, nikdo nechce být vláčen za to, že peachovinu nazve pravým jménem. Dnešní doba politické korektnosti brání vytvářet jakýkoliv práh, přes který se volovina nedostane. Za každou práci je alespoň 1 bod. Naopak blbcům vyhovuje, protože pro ně není problém napsat 200 kravin za 1 bod místo jedné přínostné práce za 50 bodů.
0/0
29.8.2012 8:33
Foto

Ctenarcp

Když je (pro někoho) tak těžké určit,
kdo je kvalitní vědec, pojďme vymezit, kdo je "nekvalitní" vědec. Pojďme definovat, co je to zneužití veřejných prostředků (grantových prostředků), co je to nesplnění projektu. Pokud Dalibor Štys je postmoderním rozervancem, který v komplexitě Universa není ochoten hledat redukované pravdy, zajímalo by mě, jak jako propagátor univerzitního výzkumu klasifikuje u zkoušek studenty. Jak rozpozná a rozdělí nadané a nezpůsobilé. Jak to "na veřejné VŠ každý den za veřejné peníze dělá"?  Pro postmoderního, holistického pedagoga je dle mého názoru jedinou cestou práce na soukromé univerzitě. Někdo dělí zrno od plev, někdo to žere všechno. V té druhé skupině jsou jak bezdomovci, tak majetní alternativní bio-strávníci.... ;-).
0/0
29.8.2012 6:57
Foto

D72a79l45i43b45o19r 13S13t24y32s 3620630191501

Technické vědy specifické jsou
právě svojí konstruktivností. Ale ani v nich už publikace není tím, čím bývala: zobecněním, završením širšího úsilí, něco víc než pouhá konstrukce. V mnoha jiných oborech se ale pojem o zobecňujícím smyslu publikování zcela vytratil. Tam je to bod nutný pro získání PhD titulu nebo splnění grantu. Historky z  mého života i životů jiných sdělím osobně.
0/0
28.8.2012 23:51
Foto

D33a51l79i90b61o97r 12S95t87y29s 3290650131931

U vás scientometrie nedegeneruje
protože jde o technický obor. A tam se předpokládá, že to někdo naprogramoval a všichni si to můžou zkusit, nebo že to někdo zkonstruoval či něco podobného. Taky nikoho nenapadne tvrdit, že je nějak méně hodnotné na základě nového principu udělat výrobek, chránit nový objev patentem nebo publikovat.Většina vášnivých obhájců scientometrie pochází z jiných oborů ........ (Mám i kolegu který má firmu i řadu publikací a ten se nechal slyšet, že když to vyjde, tak to vyrábí, když to nevyjde, tak publikuje.)Pokud jde o to, co čtu, tak 1) co si vygooglím nebo vythompson-reutersuji, 2) k čemu se z toho dostanu = vesměs to, co si někdo dal na webové stránky nebo preprinty na ArXiv . Kde to vyšlo a jestli to vůbec někdy vyšlo v podstatě nesleduji, když to funguje, je to jedno. Často to ale nefunguje nebo funguje mnohem méně obecně, než se autoři zaklínají. V Nature group nebo Science čtu hlavně komentáře a sourhnné články, to oni skvěle umějí. A taky Physics Today, tam mimo jiné taky sleduji, co vyšlo za knížky. Podle mne se vědecké publikování v nejbližší době odrazí k novému životu od něčeho mezi ArXivem a open source časopisy.
0/0
28.8.2012 23:41
Foto

Msebek

A existuje vůbec nezkazitelná metoda hodnocení?
 A existuje vůbec metoda, kterou bychom nedokázali za pár let pokusů úplně zkazit až obrátit naruby? Skoro se vším souhlasím, zvláště poté, co jste připomněl, že se ke kafemletí přistoupilo až poté, co mnohé tradiční metody selhaly. Zejména je to ostuda u metody peer review, ale bohužel je to tak. Mýlíte se ale v tom, že zpočátku dobrý kafemlýnek zkazili „úředníci.“ Naopak ho zkazili, podobně jako to peer review, právě samotní odborníci, vědci a výzkumníci, nejčastěji právě argumentem, že „v našem oboru je to jinak“  a tudíž musíte ještě započítat funkční vzorky, užitné vzory, normy, …. Například zrovna technické vědy nijak specifické nejsou. Právě v nich je  korelace impaktových faktorů časopisů s kvalitou pořád ještě dost velká - odjakživa byla vysoká, a teprve v poslední době se to v některých případech trochu kazí. Možná se tím nepostihne případ spřevratného vynálezu, který autor bez publikace úspěšně aplikuje, ale to zas až tak nevadí protože takový dobrý praktik vydělá přímo tak velké peníze, že mu na nějakých drobných via RIV záležet nemusí. Na novou metodiku se těším a držím jí palce Ale, jak už jsem mnohokrát navrhoval, její odolnost by měla by být nejprve testována s pomocí pár šikovných podvodníků, kteří by právě měli za úkol ji zkazit a obejít. 
0/0
28.8.2012 22:29
Foto

Urvisu

.
.
0/0
28.8.2012 22:25
Foto

Msebek

Jak si tedy vysvětlit, že
 Jak si tedy vysvětlit, že nejlepší články (nejzajímavější, nejpřínosnější, nepropracovanější, nejoriginálnější, nejdůvěryhodnější, …) jsou v mém oboru právě v těch 2-3 časopisech, které mají nejnáročnější recenzí řízení (typicky 5 i více anonymních oponentů, mnohá oopakování, proces často trvá i několik let), největší rejection rate, nejvyšší IF atp.? Samozřejmě, i v nich se občas objeví chyba, a třeba i hloupost, ale, právě díky tomu vstupnímu filtru, to už nebývá chyba nebo hloupost jen tak obyčejná. A naopak, i v časopise s nenáročným recenzním řízení se může objevit něco zajímavého, ale jen občas. A možná i v časopise bez recenzního řízení, ale tam opravdu jen zřídka. Je to vše opravdu jen náhoda? Nesouvisí ten rozdíl v kvalitě a dopadu časopisů právě s kvalitou a náročností recenzního řízení? Mimochodem: témata, na kterých pracujeme, samozřejmě sleduji všude, ale průběžně číst (pardon, samozřejmě často jen prolistovat) stihám právě tak jen 2-3 hlavní časopisy. Připadá vám divné, že to jsou právě ty hlavní, výše zmíněné, ty s přísným recenzním řízením. Samozřejmě existuje ještě několik desítek dalších, ale ty už průběžně prohlížet prostě nezvládnu. Jaký typ časopisů čtete vy? Ty bez recenzích řízení?
0/0
28.8.2012 22:09
Foto

D61a68l34i69b10o24r 29S17t51y52s 3900790181781

.
.
0/0
28.8.2012 20:29
Foto

Urvisu

Jak oni to dělají… no, jde o to, zda oni mají vůbec nějaké manželky :), Václav Klaus možná ví, o čem mluví s tím -ismem, Jörg Haider byl taky hezký opálený chlap, žejo.
0/0
28.8.2012 17:56
Foto

Urvisu

Však ano – čeští skauti by měli lovit v mezinárodních vodách, migrace špičkových vědců po univerzitách a výzkumných pracovištích (rozuměj třeba palác Borghiů) po celém světě probíhala odjakživa, minimálně 200-300 let nazpátek (určitě víc). Anebo jinak – akademická půda by měla být státem ve státě, stejně jako římsko-katolická církev, v minulosti spadala rozkvétající vzdělanost pod křídla církve, dnes by mohla fungovat stejně jako církev, samostatně. 
0/0
28.8.2012 17:46
Foto

D86a79l51i38b44o21r 74S24t31y22s 3880910261751

Kafemlejnek je perspektiva do roku 2021 + pár citací
V poslední době jí u nás velmi využívají zejména poskytovatelé grantů např. VaVpI, VpK, TAČR, Grantová agentura xxxx Univerzity apod. Takže člověk na začátku musí slíbit kolik článků, patentů, jiných aplikovaných výsledků atd. odevzdá. Většinou tak na horní hranici rozumnosti, protože to musí být víc, než slíbí jiní. Důsledky jsou zřejmé .... Jelikož mnozí s takovými granty teprve napřesrok začnou a 3 roky řešení + udržitelnost 5 let = 8let. Takže i kdybychom s kafemlejnkovou terminologií napřesrok přestali, zbavíme se jí, ano, asi tak v roce 2021 nebo spíše v roce 2022. Je to v tom vypuštění džina z láhve. Nemáme to ze sebe, přišli na to na "západě", ale to na hloubce problému nic nemění.  Pro zajímavost dvě  citace:Dopis A. Einsteina editorovi Physical Review 1936"Dear Sir,We (Mr. Rosen and I) had sent you our manuscript for publication and had not authorized you to show it to specialists before it is printed. I see no reason to address the — in any case erroneous — comments of your anonymous expert. On the basis of this incident I prefer to publish the paper elsewhere.Respectfully, Albert Einstein"A svědectví editora Nature Maddocka o historii článku Watsona a Cricka."The Watson and Crick paper was not peer-reviewed by Nature… the paper could not have been refereed: its correctness is self-evident. No referee working in the field … could have kept his mouth shut once he saw the structure "Bohužel je to tak, jak říkám. Scientometrie a víra v to, že oponentní řízení článků dokáže vyselektovat pravdu, vedla k epistemologické krizi současné přírodovědy. Svědectvím proti jsou historky o vědeckých podvodech i třeba ve 170 článcích jednoho profesora.  Především pro tuto uhlířskou víru se přírodověda nemůže dohodnout se svým přirozeným partnerem, inženýrstvím.  
0/0
28.8.2012 17:40
Foto

D90a25l24i79b16o18r 51S55t96y92s 3620940311261

Jde to i bez Bakalů a Kellnerů
Takhle to udělali v Rakouskuhttp://ist.ac.at/about-ist-austria/history/Jenže tam mají ministra pro vědu, který získává politické body tím, že pro vědu získá víc peněz a pak si třese rukou s nositeli Nobelových cen a grantů ERC. ( BTW Pěknej, upravenej a opálenej chlap ten Töchterle. Tak jako většina rakouských politiků. Jak oni to dělají...) 
0/0
28.8.2012 17:31
Foto

Urvisu

Význam skautů na akademickém pracovišti
Proč mám věřit tomu, že poskytovatelé grantů jsou tak blbí, že za své peníze vyžadují slib kvantity a nikoliv kvality? (naslibovat  počet článků, patentů, jiných aplikovatelných výsledků atd., namísto několika konkrétních příslibů v rámci nadějných rozpracovaných úkolů). Co kdyby se součástí akademických pracovišť, soupeřících o granty, stali především skauti, kteří by permanentně, celoročně a aktivně vyhledávali, lákali, upláceli z černých fondů a těmi nejpodlejšími metodami přesvědčovali k přestupu na své domovské pracoviště výzkumníky aktuálně oplodněné myšlenkou, shánějících zázemí anebo strádajících svým současným špatným zázemím?… proč by se nemohla polovina grantu věnovat na úplatek pro špičkového vědce z MIT, který by během letní stáže v Hradci Králové sjednotil teorii elektromagnetického a gravitačního pole, otestoval gravitační motory pro čínské astronauty, anebo se alespoň tvářil jako Einstein a pořádal charitativní večírky pro manželky (a milenky) místních podnikatelů, které by se dozajista předháněly s velkorysými dary z peněženky svých Bakalů, Kellnerů, Tykačů, Janoušků, Kalousků, Hávů, Dvořáků, Topolánků, Rittigů, Romanů… Co kdyby se právě takové komando stalo tou nejdůležitější součástí marketingu akademických pracovišť (a nikoliv sněm mudrců, handrkujících se o podobu algoritmu na přerozdělování toaletního papíru)? Poskytovatelé grantů se potřebují průběžně zbavovat svých peněz kvůli odpisu z daní anebo skutečně za své peníze něco reálného požadují, minimálně jsou natěšeni a nějaké překvápko očekávají?
0/0
28.8.2012 17:26