Skólagjöld og umræðan um þau

Dagný Ósk Aradóttir heldur því fram að skólagjöld minnki ekki brottfall.

PHP 

Metrics for the Evaluation of Research Output

Recently, there has been some discussion on this blog of the important issue of the evaluation of the research output of individual scientists, university departments and research centres. Some obvious and simple statistics are number of papers, number of citations, and other pure bean-counting metrics. I have already argued elsewhere why I'd like to see papers weighed in some way by the quality of the outlet in which they appear, so I am not going to reiterate that point here. 

What I'd like to point out, with apologies to those of you who know this already, is that there are other, more refined measures of impact that are widely used in the world of academia throughout the world. Moreover, some of these metrics can be calculated at the press of a button using tools like Anne-Wil Harzing's Publish or Perish. There is really no excuse for not using such a resource in a qualitative/quantitative evaluation!

A widely-used metric is the so-called h-index. The h-index was proposed by J.E. Hirsch in the paper An index to quantify an individual's scientific research output, arXiv:physics/0508025. It is defined as follows:

A scientist has index h if h of his/her N papers have at least h citations each, and the other (N-h) papers have fewer than h citations each.

By way of example, from 1 August 2007 there will be at least 10 full-time members of staff at the School of Computer Science at Reykjavík University whose h-index is 5 or more, and at least 5 of those will have h-index 10 or larger, meaning roughly that they have written 10 or more papers that have 10 or more citations. My former BRICS colleague Jens Palsberg (who is now a professor of computer science at UCLA) maintains a partial list of computer science researchers who each has h-index 40 or higher. 

Another metric of research impact and activity that is becoming popular is the g-index. The g-index was proposed by Leo Egghe in his paper Theory and practice of the g-index, Scientometrics, Vol. 69, No 1 (2006), pp. 131-152. It is defined as follows:

[Given a set of articles] ranked in decreasing order of the number of citations that they received, the g-index is the (unique) largest number such that the top g articles received (together) at least g² citations.

The g-index aims to improve on the h-index by giving more weight to highly-cited articles.

Continuing with my example, from 1 August 2007 at least 8 full-time members of staff at the School of Computer Science at Reykjavík University will have g-index 13 or higher. 

The Nobel Prize winner Harry Kroto, whom I mentioned repeatedly in other posts, has h-index 31 and g-index 80 according to a quick-and-dirty search. 

Readers who are keen on qualitative analysis of research will find that  Publish or Perish lets them easily compute other metrics such as the Contemporary h-index and the Individual h-index. I encourage them to play with that tool, but be warned! It is addictive!

 

Grein Eiríks Bergmann Eiríkssonar um Háskóla

EBE bendir æ svo réttilega á, að það á að bera háskóla á landinu saman við erlenda háskóla!

"En alveg sama hvað menn spinna í fjölmiðlum þá er erfitt að breiða yfir þá einkunn Ríkisendurskoðunnar að háskólarnir á Íslandi standa sambærilegum erlendum háskólum nokkuð að baki. Fjárframlög til þeirra eru einfaldlega of lítil. Þetta þurfum við að laga."

Athugasemd við frétt í Mbl: Ríkisendurskoðun gerir athugasemdir við umfjöllun um háskólaskýrslu

Í fréttinni segir meðal annars (http://www.mbl.is/mm/frettir/innlent/frett.html?nid=1274831):

"Ríkisendurskoðun tekur undir það sjónarmið að akademísk staða háskóla, þ.e. menntun kennara og rannsóknarvirkni, og gæði kennslu séu tveir aðskildir þættir. Akademísk staða gefur þó til kynna hvort skólarnir hafi yfir að ráða velmenntuðu starfsfólki sem fylgist með nýjungum á fræðasviði sínu og reynir að stuðla að framþróun þess. Að því leyti er hún viss forsenda gæða. Um það hljóta jafnt forstöðumenn háskóla sem yfirvöld menntamála að vera sammála."

Ég er algjörlega sammála því að hátt menntunarstig og mikil rannsóknavirkni er nauðsynleg forsenda góðrar kennslu og stuðlar að því að það nám sem boðið er upp á feli alltaf í sér helstu nýjungar á viðkomandi sviði. Þetta er einmitt ástæðan fyrir því að við ráðnungu nýrra akademískra starfsmanna  í tölvunarfræðideild HR er mikil áhersla lögð á þessi atriði enda kemur greinilega fram í skýrslunni að rannsóknavirkni deildarinnar, eins og hún er mæld í útektinni, hefur meira en sexfaldast á tímabilinu sem athugunin náði yfir. Við hjá deildinni höldum að sjálfsögðu áfram  þessarri þróun og hlökkum því verulega til næstu úttektar Ríkisendurskoðunar á gæaðmálum deildarinnar sem við væntum að verði gerð eftir 3 ár og  þar sem afrakstur átaks okkar verður gerður lýðum ljós.

Áður en ég yfirgef þessa færslu, get ég ekki stillt mig um að koma með smá persónulegt ívaf og vitna í álit kærunefndar jafnréttismála í máli nr. 10/2005, sjónarmið Háskóla Íslands (http://www.rettarheimild.is/Felagsmala/KaerunefndJafnrettismala/2006/06/01/nr/2211) en þar segir:

"Það hafi verið mat deildarinnar að vegna eðlis fagsins (tölvunarfræði) væri mikilvægara að fá til starfans kennara sem hefði reynslu af kennslu í grunnnámskeiðum tölvunarfræði en framhaldsnámskeiðum og/eða með mikla rannsóknareynslu. Þetta hafi umsækjendum mátt vera ljóst."

Ég skora hérmeð á tölvunarfræðiskor Háskóla Ísands að virða viðhorf Ríkisendurskoðunar  og endurskoða viðhorf sitt til fagsins tölvunarfræði og stuðla þannig að því að skapa því þann sess sem því ber í íslensku samfélagi.

Fyrir þá sem hafa áhuga á að kynna sér rannsóknavirkni akademískra starfsmanna í tölvunarfræði HR og HÍ eins og hún birtist frá alþjóðlegu sjónarmiði, (þeas án þess að "aðlaga hana séríslenskum aðstæðum")  er boðið að heimsækja eftirfarandi vefsíður: http://www.ru.is/luca/csstaff.html    http://www.ru.is/luca/csstaffHI.html.

Ályktun Stúdentaráðs Háskóla Íslands um skýrslu Ríkisendurskoðunar

• Stúdentaráð Háskóla Íslands fagnar hversu vel Háskóli Íslands kemur út úr
skýrslunni – kemur ekki á óvart.
• Samkeppnisstaða skólanna er skökk, enda fá einkareknu háskólarnir jafnmikið
fé og þeir opinberu frá ríkinu – einsdæmi.
• Jafnréttti til náms verði ekki skert með hertari inntökuskilyrðum eða
inntökuprófum.
• Ríkisstjórnin taki skýra afstöðu gegn upptöku skólagjalda í opinberum
háskólum og styðji við bakið á HÍ svo hann komist í hóp bestu háskóla í
heimi.
Skýrsla Ríkisendurskoðunar, Kostnaður, skilvirkni og gæði háskólakennslu, staðfestir
ýmislegt sem Stúdentaráð Háskóla Íslands hefur bent á síðustu ár.
Í skýrslunni kemur það sama fram og hefur margoft verið staðfest að Háskóli Íslands
er góður og vel rekinn skóli. Svo skýr samanburður á háskólum landsins hefur hins
vegar aldrei litið dagsins ljós og er skýrslan því afar athyglisverð á margan hátt.
Háskóli Íslands kemur áberandi best út í úttektinni.
Í skýrslunni er bent á að fyrirkomulag háskólastigsins hér á landi eigi sér ekki
hliðstæðu í nágrannalöndunum en Stúdentaráð hefur ítrekað bent á þá staðreynd. Hér
fá allir skólar ríkisframlag og skólagjöldin sem einkareknu háskólarnir innheimta
skerða ekki framlagið en það skekkir samkeppnisstöðu skólanna verulega. Einnig
kemur fram sú athyglisverða staðreynd að tekjur Háskólans í Reykjavík koma að
stærri hluta frá ríkinu heldur en tekjur Háskóla Íslands, eða 76% á móti 66% árið
2005, þrátt fyrir að skólagjöld í grunnámi hafi það ár verið 220 þúsund í HR.
Skýrsla Ríkisendurskoðunar bendir á ýmsar leiðir til þess að efla enn frekar
háskólamenntun í landinu og ein þeirra er að herða inntökuskilyrði við ríkisháskólana
til þess að draga úr brottfalli og auka skilvirkni. Stúdentaráð Háskóla Íslands ítrekar
hversu mikilvægt það er að allir eigi kost á háskólamenntun og vill frekar að spornað
verði við brottfalli með aðgerðum sem skerða ekki jafnrétti til náms.
Í öllum þeim greinum sem bornar voru saman, þ.e. lögfræði, viðskiptafræði og
tölvunarfræði kemur Háskóli Íslands best út. Viðamestur er samanburðurinn á
viðskiptafræði og eflaust marktækastur þar sem allir samanburðaskólarnir hafa kennt
viðskiptafræði um nokkurt skeið. Viðskiptadeild HÍ kemur best út úr samanburðinum
í öllum þáttum nema einum. Kannaður var kostnaður, akademísk staða, skilvirkni,
viðhorf nemenda og afdrif brautskráðra stúdenta. Viðhorf nemenda var áberandi verst
í HÍ, en þar var m.a. spurt um þætti eins og viðhorf til gæða kennslu, aðbúnaðar o.fl.
Þetta eru skýr skilaboð um að bæta þurfi aðbúnað stúdenta við HÍ. Þó má benda á að
útskrifaðir nemendur frá HÍ eru með hæstu launin og þeim vegnar best í starfi að námi
loknu.
Í skýrslunni kemur einnig fram að útskrifaðir karlmenn eru með töluvert hærri laun en
konur, og verður sá launamunur að hluta til ekki útskýrður. Stúdentaráð Háskóla
Íslands hefur ítrekað bent á að leiðrétta beri kynbundinn launamun í landinu sem fyrst
og hvetur enn til þess.

Kostnaður gæða

Gæði kosta pening. Það er ekki obinberum háskólum til tekna að þeir séu ódýrir (sem er ekki það sama og að vera hagkvæmur), það þýðir fyrst og fremst að þeir standast ekki einkaskólunum snúning þegar kemur að því að bjóða besta fólkinu (hvernig sem það er svo skilgreint) laun. Og þannig missa þeir yngsta, kraftmesta og best menntaðasta fólkið yfir til einkaskólanna. 

Ríkisendurskoðun gerir athugasemdir við umfjöllun um háskólaskýrslu

Qualitative Evaluation of Scientific Output

In one of the comments to this post, Indriði Indriðason wrote:

"Somehow I can't help but smile when scientists advocate the use of qualitative measures.   Though I suspect the disagreement is about the kind of bean counting that should take place. "

I added a further comment to Indriði's comment, which I reiterate below in case any reader of this blog is interested in it. (I wonder how many people read comments to posts .) 

The reason why I keep boring readers (sorry about that) with this issue is that it is all too easy to read too much in the figures and the conclusions of the "Skyrsla". People with knowledge of academic work (should) know better, but the leaders and articles appearing in the newspapers over the last couple of days are just hype.

Anyway, for what it's worth, here is my comment. Enjoy!

------------------------------------------

Indriði, 

Of course, there is no perfect way of measuring academic quality and the path is littered with those who have tried to come up with the "right equation" to do so. (If you want to see an elaborate evaluation system, look at the way departments are evaluated in the British Research Assessment Exercise 2008. You will be able to find specific evaluation plans for each discipline at http://www.rae.ac.uk/panels/.)

At the very least, however, I would like to see a system in which the numerical value of a paper is weighted in some way by the impact of the outlet in which it appears, the citations it has had etc. It makes no sense to me to give X points both to a paper that appears in the "Mickey Mouse Journal of Computer Science" and in the "Journal of the ACM" (one of the most prestigious journals in computer science).

According to pure bean counting, a researcher who writes 41 "mickey mouse papers" brings more points than, say, Timothy Gowers (Cambridge mathematician who won the Fields Medal---the most important prize in mathematics for mathematicians under 40) because Gowers has written fewer than 40 papers, or so I believe. A system which gives this kind of result cannot be one that we want to use. 

Anyway, I think that it is really worthwhile  for any department to undertake a research evaluation every five years, say. A lot of the gain is in the process of looking back at one's work, put it into perspective, evaluate whether one has achieved what one wanted to achieve, and decide what one wants to do in the future. An outside opinion on the performance, the structure and the aims of a department can only help it to grow scientifically, improve and set itself goals that are both ambitious and achievable. 

At the end of the day, this is much more important than any numerical value assigned to a department.

 

 

Sanngjörn samkeppni er besta leiðin

Til hamingju HR með góða útkomu!

HR kemur best út í gæðum kennslu

Skýrsla ríkisendurskoðunar (again)

The report offers some suggestions how to increase efficiency in the university system:

 Ríkisendurskoðun leggur til að stjórnendur ríkisháskólanna, þar sem brottfall er mest, láti gera skipulega og ítarlega athugun á kostum þess að takmarka inntöku nemenda frekar en nú er gert, t.d. með strangari inntökuskilyrðum eða inntökuprófum. Niðurstöður slíkrar athugunar fái vandaða umfjöllun og formlega afgreiðslu af réttum aðilum. Þá leggur Ríkisendurskoðun einnig til að yfirvöld menntamála láti gera skipulega og ítarlega athugun á kostum þess að breyta reiknilíkani háskólanna þannig að framlög taki að einhverju leyti mið af árangri nemenda á prófum og fjölda brautskráninga, líkt og gert er í nágrannalöndunum.

This just strikes me as a brilliant solution to the underfunding of Icelandic universities.  We can just give everyone a 10 and if that is not enough we can change the grading scale from 0-10 to 0-20 and get twice as much money.  

On a serious note, I must say that I am very happy to see such a report.  As others have noted, it is not perfect but it does contain a lot of interesting information that should be relevant to both the universities and the government.

 

More on Science Education in the UK

Recently Arnar Pálsson and  I have blogged on an article by Kroto describing the state of science education in the UK. Readers of this blog might be interested in a "view from the trenches" on the state of physics education in Britain. A physics teacher has posted an open letter to the UK Department for Education and the AQA board. The letter makes for a very depressing read, and I fear that what the author writes applies not just to Britain but to many other countries too. 

What is the state of science education in Iceland? I must admit that I do not quite know, but there seem to be preciously few extra science-related activities in basic school. Am I mistaken? 

I am afraid that we need to pay heed to Kroto's "Do panic!" message now. Let's get to work without further ado by making children and youngsters aware of the beauty of doing science.