Háskólarannsóknir á tímum kreppu (3) Gæði rannsókna

Eiríkur Steingrímsson & Magnús Karl Magnússon.

Höfundar eru prófessorar við læknadeild Háskóla Íslands.

Háskólarannsóknir á tímum kreppu

(3) Gæði rannsókna

Í fyrri greinum okkar ræddum við um mikilvægi vísindarannsókna fyrir efnahagslífið og þá staðreynd að innan við 15% af framlagi ríkisins fer í gegnum samkeppnissjóðina. Í hinum vestræna heimi er þetta hlutfall víðast mun hærra og er um 30-40% á hinum norðurlöndunum. Í Bandaríkjunum koma um 85% af rannsóknafé háskóla úr samkeppnissjóðum. Það er því ljóst að Ísland sker sig verulega úr hvað þetta varðar.

Samkeppnissjóðirnir tryggja gæðaeftirlit með rannsóknunum. Rannsóknaverkefni og virkni vísindamanna sem sækja um styrki eru metin reglulega og þegar dregur úr virkni eða hugmyndaauðgi, fá viðkomandi vísindamenn ekki styrki lengur. Hér á landi nær þetta eftirlit aðeins til þess hluta af framlagi ríksins sem fer gegnum samkeppnissjóði. Sumir íslensku samkeppnissjóðanna, t.d. Rannsóknasjóður, notast nú við erlenda matsaðila þannig að flestar, ef ekki allar, umsóknir fara í mat erlendra, óháðra vísindamanna. Þannig fæst óháð mat á gæðum íslenskra vísindaverkefna og vísindamanna. Sjóðurinn og þjóðin ættu því að vera nokkuð viss um að þessu fé er vel varið. Aðrir sjóðir notast við innlenda matsaðila og ættu, í ljósi jákvæðrar reynslu Rannís, að breyta þeirri stefnu sinni og taka upp erlent mat. Sumir hinna sjóðanna eru reyndar fremur pólitískir sjóðir og eiga lítið skylt við alvöru vísindasjóði. Sem dæmi um slíkan sjóð er AVS (Aukið verðmæti sjávarfangs) en nýskipaður stjórnarformaður hans er þingmaður og náinn samstarfsmaður landbúnaðar- og sjávarútvegsráðherra. Mikill munur er einnig á árangurshlutfalli íslenskra vísindasjóða. Sem dæmi má nefna að í Rannsóknasjóði er þetta hlutfall að nálgast 10% en er 50% í AVS. Þetta þýðir að það er mun meiri samkeppni um fé úr Rannsóknasjóði en AVS.

Hvað með gæðaeftirlit með hinum 85-90 prósentunum af framlagi ríkisins til rannsókna? Staðreyndin er sú að með þeim er lítið sem ekkert ytra eftirlit og ekkert er spurt um gæði eða árangur. Þessu þarf að breyta. Víðast erlendis er strangt gæðaeftirlit með öllu fé sem veitt er til rannsókna til að hámarka nýtingu almannafjár. Við erum ekki að tala um hefðbundið bókhaldseftirlit heldur eftirlit með gæðum rannsóknanna. Í Bandaríkjunum og víða í Evrópu er þetta oftast gert á þann hátt að á 5 ára fresti þarf hver rannsóknastofa að útskýra fyrir sérstakri úttektarnefnd vísindamanna hvað stofan hefur gert á tímabilinu og hvað hún hyggst gera næstu 5 árin. Rannsóknastofan undirbýr vandlega skýrslu sem nefndin fær til yfirlestrar, nefndin mætir síðan á rannsóknastofuna þar sem verkefnin eru útskýrð með fyrirlestrum, farið er yfir árangurinn og hann metinn og skoðað hvort framtíðaráætlanirnar séu raunhæfar. Að lokum kemst úttektarnefndin að niðurstöðu sem settar eru fram í viðamikilli skýrslu. Í úttektarnefndinni eru yfirleitt leiðandi vísindamenn á viðkomandi sviði sem ekki hafa starfað með viðkomandi rannsóknastofu en þannig er tryggt að úttektin sé fagleg og óháð. Við höfum kynnst svona úttektum í störfum okkar erlendis. Þessi aðferð virkar afar vel. Hún er fagleg og leiðir til gagnrýninnar umræðu. Rannsóknastofum er hrósað fyrir það sem vel er gert en þær gagnrýndar fyrir það sem miður hefur farið. Niðurstöður slíkra úttekta eru síðan notaðar við ákvarðanatöku og stefnumótun.

Hér á landi er ekkert slíkt gæðaeftirlit með þeim fjölda stofnana sem stunda vísindarannsóknir. Hið opinbera, og þar með skattgreiðendur, vita því ekki hvort þessu fé er vel varið. Vísinda- og tækniráð hefur þó nýlega tekið málið til umfjöllunar og segir í núverandi stefnu ráðsins „Sjálfstæð greiningarvinna á afrakstri rannsókna, þróunar og nýsköpunar verði styrkt hér á landi og unnin af óháðum aðilum“. Mennta- og menningarmálaráðuneytið hefur nýlega sett á fót Gæðaráð háskóla sem ætlað er að skoða gæðamál innan háskóla, þ.á.m. tengsl kennslu og rannsókna. Ráðið er skipað sex erlendum aðilum og ætti því að geta verið faglegt og óháð. Það vekur furðu að Gæðaráðið er einungis skipað einstaklingum úr hug-, félags- og menntavísindageiranum. Í því eru engir með reynslu af raunvísindum eða heilbrigðis- og lífvísindum, þeim greinum vísindanna sem sterkust eru á Íslandi. Það er áhyggjuefni enda mikill munur á vinnubrögðum í raun- heilbrigðis- og lífvísindum annars vegar og félags, -hug- og menntavísindum hins vegar. Gæðaráðið er því ólíklegt til að geta lagt mat á gæði rannsókna í raun- heilbrigðis- og lífvísindum. Þessu þarf að breyta til að slíkt úttekt verði trúverðug.

Við leggjum því til að i) hafið verði gæðaeftirlit með öllu rannsóknafé á Íslandi; ii) við þetta eftirlit verði notast við þær aðferðir sem gefist hafa best annars staðar (sbr hér að ofan); iii) niðurstöður slíkra úttekta verði notaðar við ákvarðanatökur; iv) í gæðanefndina verði skipaðir aðilar úr raun- heilbrigðis- og lífvísindageirunum.

 

Birtist í Fréttablaðinu haustið 2010.

Sett inn fyrir hönd höfunda.

 

Skilagrein rýnihóps um aðgerðir í háskóla- og vísindamálum

can be found here: skilagrein

Hvatningarverðlaun Vísinda- og tækniráðs

I just stumbled upon this story about hvatningarverðlaun Vísinda- og tækniráðs (science and technology council - hereafter VT council).  I'll make clear right away that my point is not to suggest Armann doesn't deserve the award - I'm in no position to make such a judgement as VT appears to be equally secretive about who is nominated as Rannis is about its applicant.  However, it does strike me as somewhat problematic that the Armann's sister is the Minister of Education - who has a seat on the VT (and also nominates one of its members).  Of course, the award winner is selected by a selection committee composed of former winners of the award so the story isn't that juicy.  However, I would think this would put the selection committee in a somewhat awkward position.  And I doubt this was a unique situation - the smallness of Iceland, as well as the research community, pretty much makes (potential) conflicts of interest unavoidable, which in turn enhances the importance of patronage that has long plagued Icelandic politics and society.  So, in a sense, I'm sorry to single out this case because I have no reason to believe that the decision was any more or less biased than in any other case (VT council or Rannis).  The problem is that I just don't have that much faith in the other cases either - I think there is a fundamental problem with respect to the transparency of the decision making process when it comes to funding (and awards) in research.  It is far from being the only thing wrong with government policy with respect to research and academics but it is one that could be fixed rather easily.

Ármann Jakobsson hlýtur hvatningarverðlaun

Better late than never?

I found this story about recommendations for reducing the number of universities in Iceland interesting.  The recommendations from the Icelandic committee are here.  While I disagree with many of the points (in both reports) I basically agree with it being desirable to reduce the number of universities.  But I suspect that the obstacles to doing so are greater than they seem.  It is, for example, not clear to me that the standards employed by the different universities in hiring faculty are at all comparable.  So in effect, 'mergers' would result in our best universities becoming worse.  And these are potentially not one off costs because of the way hiring works in academia - bad departments tend to hire lower quality candidates.  One reason is that it is harder for weak departments to attract good candidates but also because bad departments are less able to tell which candidates are the best.  I'm sure my comments will be controversial (after all, it is worth the effort if only to bring this blog back to life) but it strikes me that actually thinking about how different universities (or departments) compare in terms of quality and how transparency can be increased is an important issue.  I consider competition between universities healthy but it only works if there are ways of telling what the score is.  At any rate, in my opinion simply closing down universities that shouldn't have been established in the first place rather than attempting `mergers' strikes me as a more reasonable strategy, which could be accompanied by increases in the budgets of the two survivors who could then compete for the faculty of the unfortunate universities. An added benefit of that approach is that the universites aren't forced to adopt whole departments whose talents/specialization may largely overlap existing faculty's specialization.

Mæla með tveggja háskóla kerfi

Rannis frustrations pt. 1

I just finished reviewing some applications for student funding for Rannis.  Of course, as soon as I took on the task I was reminded why I had sworn not to do more reviews for Rannis: Reviews aren't anonymous.  Now, personally, I don't really care too much about potentially upsetting people but, then again, I'm a few thousand kilometers away and I feel fairly safe that I won't run into any of them anytime soon.  But in general I think this policy is little short of insane.  It is simply unreasonable to expect people to give their honest assessment of their colleagues (i.e., you are asked to assess the research activity/output of the advisor as well) when, at best, it may result in some awkward moments at work and, at worst, have real implications when it comes to promotions etc.  Of course, one would hope that everyone was able to rise above such things or chalk them down to academic differences but I think it is a very optimistic view to assume that is the case.

 

At any rate, for the second year in row, I made a note of this when turning in my reviews.  If you agree that this policy is idiotic (or just not that good) I encourage you to do the same.

...fallið verður frá framlögum í rannsókna- og tækjasjóði...

Kæru vísindamenn.

Ef þetta gengur eftir getum við pakkað saman og flutt til útlanda eða farið að þvo tyggjó af götum bæjarins í sjálfboðaliðastarfi (af nægu er að taka þar!).

Atvinnustefna á Íslandi gengur nefnilega út á malbik, steypu og möl.

Höfum við ekki lært nokkurn skapaðan hlut af bankahruninu, steypumusterin eru tálsýn.

Finnum leiðir til að beina kröftum þeirra sem missa vinnuna í frumkvöðlastarf, í sprotafyrirtækjum eða í samstarfi við rannsóknastofnanir og háskóla. Kostnaðurinn yrði aðallega í formi launa, en ekki í rekstri stórvirkra vinnuvéla, bora og kostnaði við stál og steinsteypu.

Tekjuskattur og útsvar hækka

...fallið verður frá framlögum í rannsókna- og tækjasjóði...

Kæru vísindamenn.

Ef þetta gengur eftir getum við pakkað saman og flutt til útlanda eða farið að þvo tyggjó af götum bæjarins í sjálfboðaliðastarfi (af nægu er að taka þar!).

Atvinnustefna á Íslandi gengur nefnilega út á malbik, steypu og möl.

Höfum við ekki lært nokkurn skapaðan hlut af bankahruninu, steypumusterin eru tálsýn.

Finnum leiðir til að beina kröftum þeirra sem missa vinnuna í frumkvöðlastarf, í sprotafyrirtækjum eða í samstarfi við rannsóknastofnanir og háskóla. Kostnaðurinn yrði aðallega í formi launa, en ekki í rekstri stórvirkra vinnuvéla, bora og kostnaði við stál og steinsteypu.

 

Leiðin út

Það er alltaf ánægjulegt að sjá ungt íslenskt vísindafólk standa sig vel. Páll Þórðarson lauk prófi frá HÍ en hefur síðan numið ytra og nú starfað ytra. Fólk sem leggur stund á raunvísindi við HÍ hafa lönguð staðið sig vel í framhaldsnámi ytra, komist í góðar stöður og lagt mikið af mörkunum í þekkingarleit okkar. Við leggjum áherslu á það við nemendur okkar í líffræði, að góðar einkunnir séu aðgöngumiði að útlöndum og öðru lífi. Það á sérstaklega vel við í núverandi efnahagsþreningum.

Það er góður kostur að leggja meiri áherslu á grundvallar vísindi í menntun þjóðarinnar, sem skila sér í talnalæsi, sköpunarkrafti, gagnrýni og sjálfstæðri hugusun.

Íslenskur efnafræðingur hlýtur hvatningarverðlaun

Support for Basic Research from Private Foundations

I recently learnt about the existence of a new centre of excellence in Denmark devoted to topics close to me research area. Anna and I know basically all the consortium members very well. These people have been collecting centre-of-excellence funding from Danish governmental funding bodies before and on a regular basis. A very interesting aspect of this CoE is that this time around the 25 million DKK (roughly 458 million ISK at today's exchange rate) are being provided by a private foundation, The Villum Kann Rasmussen Foundation. (See also this page to find out what other things they fund.)

Wouldn't it be good to have a similar foundation in Iceland supported by a consortium of Icelanders who made it big and want to support the scientific development of their country? This is daydreaming, I know....

Rannis - Research Fund announcement

I just criticized Rannis in the comments of the previous post but Rannis should be given credit when it does things correctly.  The announcement for applications to the Icelandic Research Funds contains this paragraph:

"Allar umsóknir og umsóknagögn skulu vera á ensku, svo að mögulegt sé að senda umsóknir í mat erlendis. Undanþágur eru veittar frá þessari meginreglu ef birtingar á viðkomandi fræðasviði einskorðast við íslenska útgáfu. Í þeim tilvikum skal umsækjandi fá leiðbeiningar hjá starfsmönnum Rannís. Allar umsóknir um öndvegisstyrki skulu vera á ensku, enda eru öndvegisverkefni ávallt metin af erlendum sérfræðingum."

To the best my knowledge this is the first time applications must be submitted in English and the first suggestion that Rannis is moving towards having foreign scholars review applications.  I think this is a tremendously important step.  Iceland has a small research community, which meant that applications were more often than not reviewed by non-specialists in the applicant's subfield.   Then there was, of course, the problem of everyone knowing the other two people that might review their application - meaning that the anonymity of the referee was pretty much guaranteed not to exist.  Great news!