Bloggfćrslur mánađarins, júní 2007

Skólagjöld og umrćđan um ţau

Dagný Ósk Aradóttir heldur ţví fram ađ skólagjöld minnki ekki brottfall.

PHP 


Metrics for the Evaluation of Research Output

Recently, there has been some discussion on this blog of the important issue of the evaluation of the research output of individual scientists, university departments and research centres. Some obvious and simple statistics are number of papers, number of citations, and other pure bean-counting metrics. I have already argued elsewhere why I'd like to see papers weighed in some way by the quality of the outlet in which they appear, so I am not going to reiterate that point here. 

What I'd like to point out, with apologies to those of you who know this already, is that there are other, more refined measures of impact that are widely used in the world of academia throughout the world. Moreover, some of these metrics can be calculated at the press of a button using tools like Anne-Wil Harzing's Publish or Perish. There is really no excuse for not using such a resource in a qualitative/quantitative evaluation!

A widely-used metric is the so-called h-index. The h-index was proposed by J.E. Hirsch in the paper An index to quantify an individual's scientific research output, arXiv:physics/0508025. It is defined as follows:

A scientist has index h if h of his/her N papers have at least h citations each, and the other (N-h) papers have fewer than h citations each.

By way of example, from 1 August 2007 there will be at least 10 full-time members of staff at the School of Computer Science at Reykjavík University whose h-index is 5 or more, and at least 5 of those will have h-index 10 or larger, meaning roughly that they have written 10 or more papers that have 10 or more citations. My former BRICS colleague Jens Palsberg (who is now a professor of computer science at UCLA) maintains a partial list of computer science researchers who each has h-index 40 or higher. 

Another metric of research impact and activity that is becoming popular is the g-index. The g-index was proposed by Leo Egghe in his paper Theory and practice of the g-index, Scientometrics, Vol. 69, No 1 (2006), pp. 131-152. It is defined as follows:

[Given a set of articles] ranked in decreasing order of the number of citations that they received, the g-index is the (unique) largest number such that the top g articles received (together) at least g2 citations.

The g-index aims to improve on the h-index by giving more weight to highly-cited articles.

Continuing with my example, from 1 August 2007 at least 8 full-time members of staff at the School of Computer Science at Reykjavík University will have g-index 13 or higher. 

The Nobel Prize winner Harry Kroto, whom I mentioned repeatedly in other posts, has h-index 31 and g-index 80 according to a quick-and-dirty search. 

Readers who are keen on qualitative analysis of research will find that  Publish or Perish lets them easily compute other metrics such as the Contemporary h-index and the Individual h-index. I encourage them to play with that tool, but be warned! It is addictive!

 


Grein Eiríks Bergmann Eiríkssonar um Háskóla

EBE bendir ć svo réttilega á, ađ ţađ á ađ bera háskóla á landinu saman viđ erlenda háskóla!

"En alveg sama hvađ menn spinna í fjölmiđlum ţá er erfitt ađ breiđa yfir ţá einkunn Ríkisendurskođunnar ađ háskólarnir á Íslandi standa sambćrilegum erlendum háskólum nokkuđ ađ baki. Fjárframlög til ţeirra eru einfaldlega of lítil. Ţetta ţurfum viđ ađ laga."


Athugasemd viđ frétt í Mbl: Ríkisendurskođun gerir athugasemdir viđ umfjöllun um háskólaskýrslu

Í fréttinni segir međal annars (http://www.mbl.is/mm/frettir/innlent/frett.html?nid=1274831):

"Ríkisendurskođun tekur undir ţađ sjónarmiđ ađ akademísk stađa háskóla, ţ.e. menntun kennara og rannsóknarvirkni, og gćđi kennslu séu tveir ađskildir ţćttir. Akademísk stađa gefur ţó til kynna hvort skólarnir hafi yfir ađ ráđa velmenntuđu starfsfólki sem fylgist međ nýjungum á frćđasviđi sínu og reynir ađ stuđla ađ framţróun ţess. Ađ ţví leyti er hún viss forsenda gćđa. Um ţađ hljóta jafnt forstöđumenn háskóla sem yfirvöld menntamála ađ vera sammála."

Ég er algjörlega sammála ţví ađ hátt menntunarstig og mikil rannsóknavirkni er nauđsynleg forsenda góđrar kennslu og stuđlar ađ ţví ađ ţađ nám sem bođiđ er upp á feli alltaf í sér helstu nýjungar á viđkomandi sviđi. Ţetta er einmitt ástćđan fyrir ţví ađ viđ ráđnungu nýrra akademískra starfsmanna  í tölvunarfrćđideild HR er mikil áhersla lögđ á ţessi atriđi enda kemur greinilega fram í skýrslunni ađ rannsóknavirkni deildarinnar, eins og hún er mćld í útektinni, hefur meira en sexfaldast á tímabilinu sem athugunin náđi yfir. Viđ hjá deildinni höldum ađ sjálfsögđu áfram  ţessarri ţróun og hlökkum ţví verulega til nćstu úttektar Ríkisendurskođunar á gćađmálum deildarinnar sem viđ vćntum ađ verđi gerđ eftir 3 ár og  ţar sem afrakstur átaks okkar verđur gerđur lýđum ljós.

Áđur en ég yfirgef ţessa fćrslu, get ég ekki stillt mig um ađ koma međ smá persónulegt ívaf og vitna í álit kćrunefndar jafnréttismála í máli nr. 10/2005, sjónarmiđ Háskóla Íslands (http://www.rettarheimild.is/Felagsmala/KaerunefndJafnrettismala/2006/06/01/nr/2211) en ţar segir:

"Ţađ hafi veriđ mat deildarinnar ađ vegna eđlis fagsins (tölvunarfrćđi) vćri mikilvćgara ađ fá til starfans kennara sem hefđi reynslu af kennslu í grunnnámskeiđum tölvunarfrćđi en framhaldsnámskeiđum og/eđa međ mikla rannsóknareynslu. Ţetta hafi umsćkjendum mátt vera ljóst."

Ég skora hérmeđ á tölvunarfrćđiskor Háskóla Ísands ađ virđa viđhorf Ríkisendurskođunar  og endurskođa viđhorf sitt til fagsins tölvunarfrćđi og stuđla ţannig ađ ţví ađ skapa ţví ţann sess sem ţví ber í íslensku samfélagi.

Fyrir ţá sem hafa áhuga á ađ kynna sér rannsóknavirkni akademískra starfsmanna í tölvunarfrćđi HR og HÍ eins og hún birtist frá alţjóđlegu sjónarmiđi, (ţeas án ţess ađ "ađlaga hana séríslenskum ađstćđum")  er bođiđ ađ heimsćkja eftirfarandi vefsíđur: http://www.ru.is/luca/csstaff.html    http://www.ru.is/luca/csstaffHI.html.


Ályktun Stúdentaráđs Háskóla Íslands um skýrslu Ríkisendurskođunar


• Stúdentaráđ Háskóla Íslands fagnar hversu vel Háskóli Íslands kemur út úr
skýrslunni – kemur ekki á óvart.
• Samkeppnisstađa skólanna er skökk, enda fá einkareknu háskólarnir jafnmikiđ
fé og ţeir opinberu frá ríkinu – einsdćmi.
• Jafnréttti til náms verđi ekki skert međ hertari inntökuskilyrđum eđa
inntökuprófum.
• Ríkisstjórnin taki skýra afstöđu gegn upptöku skólagjalda í opinberum
háskólum og styđji viđ bakiđ á HÍ svo hann komist í hóp bestu háskóla í
heimi.
Skýrsla Ríkisendurskođunar, Kostnađur, skilvirkni og gćđi háskólakennslu, stađfestir
ýmislegt sem Stúdentaráđ Háskóla Íslands hefur bent á síđustu ár.
Í skýrslunni kemur ţađ sama fram og hefur margoft veriđ stađfest ađ Háskóli Íslands
er góđur og vel rekinn skóli. Svo skýr samanburđur á háskólum landsins hefur hins
vegar aldrei litiđ dagsins ljós og er skýrslan ţví afar athyglisverđ á margan hátt.
Háskóli Íslands kemur áberandi best út í úttektinni.
Í skýrslunni er bent á ađ fyrirkomulag háskólastigsins hér á landi eigi sér ekki
hliđstćđu í nágrannalöndunum en Stúdentaráđ hefur ítrekađ bent á ţá stađreynd. Hér
fá allir skólar ríkisframlag og skólagjöldin sem einkareknu háskólarnir innheimta
skerđa ekki framlagiđ en ţađ skekkir samkeppnisstöđu skólanna verulega. Einnig
kemur fram sú athyglisverđa stađreynd ađ tekjur Háskólans í Reykjavík koma ađ
stćrri hluta frá ríkinu heldur en tekjur Háskóla Íslands, eđa 76% á móti 66% áriđ
2005, ţrátt fyrir ađ skólagjöld í grunnámi hafi ţađ ár veriđ 220 ţúsund í HR.
Skýrsla Ríkisendurskođunar bendir á ýmsar leiđir til ţess ađ efla enn frekar
háskólamenntun í landinu og ein ţeirra er ađ herđa inntökuskilyrđi viđ ríkisháskólana
til ţess ađ draga úr brottfalli og auka skilvirkni. Stúdentaráđ Háskóla Íslands ítrekar
hversu mikilvćgt ţađ er ađ allir eigi kost á háskólamenntun og vill frekar ađ spornađ
verđi viđ brottfalli međ ađgerđum sem skerđa ekki jafnrétti til náms.
Í öllum ţeim greinum sem bornar voru saman, ţ.e. lögfrćđi, viđskiptafrćđi og
tölvunarfrćđi kemur Háskóli Íslands best út. Viđamestur er samanburđurinn á
viđskiptafrćđi og eflaust marktćkastur ţar sem allir samanburđaskólarnir hafa kennt
viđskiptafrćđi um nokkurt skeiđ. Viđskiptadeild HÍ kemur best út úr samanburđinum
í öllum ţáttum nema einum. Kannađur var kostnađur, akademísk stađa, skilvirkni,
viđhorf nemenda og afdrif brautskráđra stúdenta. Viđhorf nemenda var áberandi verst
í HÍ, en ţar var m.a. spurt um ţćtti eins og viđhorf til gćđa kennslu, ađbúnađar o.fl.
Ţetta eru skýr skilabođ um ađ bćta ţurfi ađbúnađ stúdenta viđ HÍ. Ţó má benda á ađ
útskrifađir nemendur frá HÍ eru međ hćstu launin og ţeim vegnar best í starfi ađ námi
loknu.
Í skýrslunni kemur einnig fram ađ útskrifađir karlmenn eru međ töluvert hćrri laun en
konur, og verđur sá launamunur ađ hluta til ekki útskýrđur. Stúdentaráđ Háskóla
Íslands hefur ítrekađ bent á ađ leiđrétta beri kynbundinn launamun í landinu sem fyrst
og hvetur enn til ţess.

Kostnađur gćđa

Gćđi kosta pening. Ţađ er ekki obinberum háskólum til tekna ađ ţeir séu ódýrir (sem er ekki ţađ sama og ađ vera hagkvćmur), ţađ ţýđir fyrst og fremst ađ ţeir standast ekki einkaskólunum snúning ţegar kemur ađ ţví ađ bjóđa besta fólkinu (hvernig sem ţađ er svo skilgreint) laun. Og ţannig missa ţeir yngsta, kraftmesta og best menntađasta fólkiđ yfir til einkaskólanna. 
mbl.is Ríkisendurskođun gerir athugasemdir viđ umfjöllun um háskólaskýrslu
Tilkynna um óviđeigandi tengingu viđ frétt

Qualitative Evaluation of Scientific Output

In one of the comments to this post, Indriđi Indriđason wrote:

"Somehow I can't help but smile when scientists advocate the use of qualitative measures. Wink  Though I suspect the disagreement is about the kind of bean counting that should take place. "

I added a further comment to Indriđi's comment, which I reiterate below in case any reader of this blog is interested in it. (I wonder how many people read comments to posts Smile.) 

The reason why I keep boring readers (sorry about that) with this issue is that it is all too easy to read too much in the figures and the conclusions of the "Skyrsla". People with knowledge of academic work (should) know better, but the leaders and articles appearing in the newspapers over the last couple of days are just hype.

Anyway, for what it's worth, here is my comment. Enjoy!

------------------------------------------

Indriđi, 

Of course, there is no perfect way of measuring academic quality and the path is littered with those who have tried to come up with the "right equation" to do so. (If you want to see an elaborate evaluation system, look at the way departments are evaluated in the British Research Assessment Exercise 2008. You will be able to find specific evaluation plans for each discipline at http://www.rae.ac.uk/panels/.)

At the very least, however, I would like to see a system in which the numerical value of a paper is weighted in some way by the impact of the outlet in which it appears, the citations it has had etc. It makes no sense to me to give X points both to a paper that appears in the "Mickey Mouse Journal of Computer Science" and in the "Journal of the ACM" (one of the most prestigious journals in computer science).

According to pure bean counting, a researcher who writes 41 "mickey mouse papers" brings more points than, say, Timothy Gowers (Cambridge mathematician who won the Fields Medal---the most important prize in mathematics for mathematicians under 40) because Gowers has written fewer than 40 papers, or so I believe. A system which gives this kind of result cannot be one that we want to use. 

Anyway, I think that it is really worthwhile  for any department to undertake a research evaluation every five years, say. A lot of the gain is in the process of looking back at one's work, put it into perspective, evaluate whether one has achieved what one wanted to achieve, and decide what one wants to do in the future. An outside opinion on the performance, the structure and the aims of a department can only help it to grow scientifically, improve and set itself goals that are both ambitious and achievable. 

At the end of the day, this is much more important than any numerical value assigned to a department.

 

 


Skýrsla ríkisendurskođunar (again)

The report offers some suggestions how to increase efficiency in the university system:

 Ríkisendurskođun leggur til ađ stjórnendur ríkisháskólanna, ţar sem brottfall er mest, láti gera skipulega og ítarlega athugun á kostum ţess ađ takmarka inntöku nemenda frekar en nú er gert, t.d. međ strangari inntökuskilyrđum eđa inntökuprófum. Niđurstöđur slíkrar athugunar fái vandađa umfjöllun og formlega afgreiđslu af réttum ađilum. Ţá leggur Ríkisendurskođun einnig til ađ yfirvöld menntamála láti gera skipulega og ítarlega athugun á kostum ţess ađ breyta reiknilíkani háskólanna ţannig ađ framlög taki ađ einhverju leyti miđ af árangri nemenda á prófum og fjölda brautskráninga, líkt og gert er í nágrannalöndunum.

This just strikes me as a brilliant solution to the underfunding of Icelandic universities.  We can just give everyone a 10 and if that is not enough we can change the grading scale from 0-10 to 0-20 and get twice as much money.  

On a serious note, I must say that I am very happy to see such a report.  As others have noted, it is not perfect but it does contain a lot of interesting information that should be relevant to both the universities and the government.

 


More on Science Education in the UK

Recently Arnar Pálsson and  I have blogged on an article by Kroto describing the state of science education in the UK. Readers of this blog might be interested in a "view from the trenches" on the state of physics education in Britain. A physics teacher has posted an open letter to the UK Department for Education and the AQA board. The letter makes for a very depressing read, and I fear that what the author writes applies not just to Britain but to many other countries too. 

What is the state of science education in Iceland? I must admit that I do not quite know, but there seem to be preciously few extra science-related activities in basic school. Am I mistaken? 

I am afraid that we need to pay heed to Kroto's "Do panic!" message now. Let's get to work without further ado by making children and youngsters aware of the beauty of doing science. 


Nćsta síđa »

Innskráning

Ath. Vinsamlegast kveikiđ á Javascript til ađ hefja innskráningu.

Hafđu samband