Gæðakönnun á ákveðnum deildum íslenskra háskóla

Hér má finna, umsagnir sérfræðingsnefnda um starfsemi ákveðinna deilda í nokkrum háskólum hérlendis. 

Kaflaskil í gæðamálum

Fréttablaðið, 02. sep. 2007 Þorgerður Katrín Gunnarsdóttir menntamálaráðherra

Fyrir helgi voru birtar tölur um að árleg útgjöld til menntamála hafa aukist um 15 milljarða króna á síðustu níu árum, með tilliti til verðlagsbreytinga. Það jafngildir tæplega 70% aukningu. Í krónum talið hafa útgjöldin aukist mest á háskólastigi eða um 9,2 milljarða króna, sem jafngildir 95% aukningu. Þau fara úr 9,6 milljörðum kr. árið 1998 í 18,8 milljarða í ár.

Síðasta áratuginn hefur fjöldi háskólanema hér á landi meira en tvöfaldast. Einnig hefur námsframboð á háskólastigi margfaldast, ekki síst framhaldsnám. Sumarið 2006 voru ný rammalög um háskóla samþykkt frá Alþingi. Í þeim lögum var brugðist við þessari þróun og áhersla lögð á gæði íslensks háskólastarfs.

Gæðamál verða mikilvægasta verkefni háskólakerfisins á næstu árum. Forsenda framfara hér á landi á næstu áratugum er að menntun og rannsóknir séu í hæsta gæðaflokki og standist fyllilega allan samanburð.
Ný háskólalög leggja grunn að gæðakerfi sem meðal annars felur í sér viðurkenningu menntamálaráðherra á háskólum, viðmið um æðri menntun og prófgráður og eftirlit með gæðum kennslu og rannsókna.

Ég hef í þessu ferli öllu lagt áherslu á að gera þyrfti ítarlegri kröfur til íslenskra háskóla frá því sem áður var. Því var ákveðið að allir háskólar, burtséð frá rekstrarformi eða stærð, þyrftu að sækja um viðurkenningu til stjórnvalda á þeim fræðasviðum sem þeir hygðust starfa á. Slík viðurkenning felur í sér að menntamálaráðuneyti vottar að viðkomandi háskóli uppfylli þær kröfur sem ráðuneytið gerir til hans á grundvelli laga um háskóla.

Í samvinnu háskóla og menntamálaráðuneytis hafa einnig verið þróuð viðmið um æðri menntun og prófgráður. Þar eru skilgreind þau atriði sem nemendur skulu hafa tileinkað sér þegar prófgráða er veitt. Þau byggja á viðmiðum sem gefin voru út í tengslum við Bologna-ferlið og gerir íslenskum háskólum kleift að laga sig enn frekar að sameiginlegu evrópsku háskólasvæði.

Til að háskólar öðlist viðurkenningu þurfa þeir að hafa lagað nám sitt að viðmiðunum og birta yfirlit yfir afrakstur þess náms sem prófgráður þeirra veita. Viðurkenning háskóla tengir saman viðmið um æðri menntun og prófgráður og eftirlit með gæðum kennslu á skilvirkan máta.

Tvíþætt gæðaeftirlit

Eftirlit með gæðum kennslu og rannsókna verður tvíþætt. Ytra eftirlit með kennslu og rannsóknum skal beinast að því að ganga úr skugga um hvort forsendur viðurkenningar séu enn til staðar. Hins vegar verður það leiðbeinandi fyrir skólana um hvernig megi bæta kennslu og rannsóknir. Menntamálaráðuneyti hefur unnið að skipulagi viðurkenningarferlisins. Rík áhersla er lögð á að tryggja trúverðugleika ferlisins og á að uppfylla alþjóðlega gæðastaðla. Viðurkenningar háskóla miðast við fræðasvið og undirflokka þeirra út frá Frascati- staðli OECD.

Fræðasviðin eru náttúruvísindi, hugvísindi, verk- og tæknivísindi, heilsuvísindi, bú- og auðlindavísindi og félagsvísindi. Þá verða listir flokkaðar sem sérstakt fræðasvið. Í fyrstu lotu voru tekin fyrir fræðasviðin náttúruvísindi, hugvísindi og verk- og tæknivísindi ásamt listum. Skipaðar voru sjö nefndir erlendra sérfræðinga og leitast eftir að fá til verksins færustu einstaklinga sem völ er á.

Gerðar voru kröfur um að viðkomandi sérfræðingar hefðu reynslu af viðurkenningum og gæðastarfi á háskólastigi ásamt viðtækri reynslu af stjórnun háskólastofnana ásamt prófesorshæfi innan fræðasviðs. Vel gekk að fá reynda háskólamenn til að taka að sér þetta verk en þeir komu frá Bandaríkjunum, Bretlandi, Þýskalandi, Írlandi, Finnlandi, Svíþjóð og Danmörku.

Frelsi til þróunar

Afraksturinn liggur nú fyrir og öðlast háskólar fyrstu viðurkenningarnar á fyrrnefndum fræðasviðum við athöfn í Listasafni Íslands á morgun. Með viðurkenningunni hljóta háskólarnir aukið frelsi til að þróa og styrkja starfsemi sína á þeim fræðasviðum og undirflokkum þeirra sem viðurkenningin nær til, meðal annars frelsi til að móta nýjar námsleiðir á bakkalár- og meistarastigi.

Þá verða jafnframt gerðar opinberar niðurstöður sérfræðinganefndanna og viðbrögð háskólanna við þeim. Í þeim kemur fram athyglisverð innsýn í starf íslensku háskólanna. Þær staðfesta hversu sterkt þeir háskólar sem teknir voru til umfjöllunar standa sem kennsluog rannsóknastofnanir. Viðurkenning er hins vegar einungis fyrsta skrefið í því gæðastarfi sem framundan er.

Hátíðafyrirlestur um Þróun háskóla á 21. öld

 Hátíðafyrirlestur um Þróun háskóla á 21. öld í tilefni 30 ára afmælis
félagsvísindadeildar mánudaginn 10. september, kl 16-18 í stofu 101 í
Odda, HÍ. 
   

Erindi og málstofa um þróun háskóla á 21. öld á vegum
félagsvísindadeildar Háskóla Íslands. David F. Labaree, sem er prófessor
við mennatvísindadeild Stanford háskóla ræðir um þróun háskóla í
Bandaríkjunum í erindi sem hann nefnir: Reflections on the development
of the modern university. Í erindinu dregur hann fram atriði sem verða
grunnur umræðu á málstofu í framhaldi af erindinu.

Páll Skúlason stýrir síðan almennri umræðu um þessa þróun og hvernig
Evrópsku háskólarnir og þeir íslensku sérstaklega spegla hana.

David F. Labaree hefur skrifað bæði bækur og greinar um þróun menntunar
á háskólastigi, ekki síst starfsmenntunar almennt, en einnig
kennaramenntunar sérstaklega,  í umhverfi sem leggur ríka áherslu á
rannsóknir og fræði. 
 
Meðfylgjandi er um málstofuna á ensku, þar sem nánar er sagt frá
hugmyndum hans og ritverkum. 

An event in a series where the faculty of Social Science celebrates its
thirtieth anniversary.

Faculty of Social Science
University of Iceland

September 10th 2007, 16:00-18:00, Oddi 101


The match and mismatch between the idea and the pragmatics of the modern
university.
Reflections on the development of the modern university.

Ólafur Þ. Harðarson. Dean of the Faculty of Social Science

Reflections on the development of the modern university. A view from the
US. 
David F. Labaree, Professor and Associate Dean for Student Affairs,
School of Education, Stanford University 

16:40-18:00 Discussion with the audience
A reflection and discussion lead by 
Páll Skúlason, former rector of the University and Professor, Department
of philosophy, University of Iceland.

Topics for discussion: 

The development of professional education within the research culture
        Teacher education, engineering, business, … 
Liberal vs professional education, do they have a life together?
The issue of governance and management of a research university
The issue of academia, e.g. research, academic freedom, competition, …
The issue of financing of academia
Who is in control? Academics, administrators, students, governments,… ?

Perhaps also:
What are the universities for?
Where are they heading?

David Labaree and Páll Skúlason: Concluding remarks

David Labaree is Professor and Associate Dean for Student Affairs at the
School of Education, Stanford University. Having held the post of
professor at Michigan State University, in 2003 he moved to become a
professor at Stanford. He has recently also held the posts of president,
History of Education Society, vice president of Division F (History of
Education), AERA and been a member of the AERA executive board.

Among his interests is the pressure exerted by markets on democratic
education; also the peculiar nature of education schools as they have
evolved over the years in the U.S. Currently he is working on the
historical roots and continuing consequences of America’s distinctive
structure of higher education.

He has published the following books:

2006. Education, markets, and the public good : the selected works of
David F. Labaree. New York: Routledge, 2006. with the introductory
essay:  “Getting It Wrong”

2004. The trouble with ed schools. New Haven: Yale University Press.

1998. The making of an American high school: the credentials market and
the Central High School of Philadelphia, 1838-1939. New Haven : Yale
University Press, c1988.

1997. How to succeed in school without really learning : the credentials
race in American education. New Haven, Conn.: Yale University Press.

In the present context three of his recent papers, accessible on the
web, are particularly pertinent. 

Understanding the Rise of American Higher Education: How Complexity
Breeds Autonomy.
Abstract: This essay shows how the peculiar structure of American higher
education helps explain its success in world rankings. This structure
syncretizes contradictory goals, constituencies, sources of funds, and
forms of authority in a creative tension. One tension is between the
market and the state. Another is across three visions of higher
education – the undergraduate college (populist), graduate school
(elitist), and land grant college (practical). A third is the system’s
combination of traditional, rational, and charismatic authority. In
combination, these promote organizational complexity, radical
stratification, broad political and financial support, partial autonomy,
and adaptive entrepreneurial behavior.

An Uneasy Relationship: The History of Teacher Education in the
University.

From the introduction: “For better and for worse, teacher education in
the United States has come to be offered primarily within the
institutional setting of the university. …  Since the 1970s, teacher
education has been a wholly owned subsidiary of the university.

“Mutual Subversion: A Short History of the Liberal and the Professional
in American Higher Education”. 
>From the introduction: “The initial argument is that over the years
professional education has gradually subverted liberal education. The
counterpoint is that, over the same period of time liberal education
subverted professional education. ... [and argue] that the professional
has come to dominate the goals of higher education while the liberal has
come to dominate its content. 

Skólagjöld og umræðan um þau

Dagný Ósk Aradóttir heldur því fram að skólagjöld minnki ekki brottfall.

PHP 

Metrics for the Evaluation of Research Output

Recently, there has been some discussion on this blog of the important issue of the evaluation of the research output of individual scientists, university departments and research centres. Some obvious and simple statistics are number of papers, number of citations, and other pure bean-counting metrics. I have already argued elsewhere why I'd like to see papers weighed in some way by the quality of the outlet in which they appear, so I am not going to reiterate that point here. 

What I'd like to point out, with apologies to those of you who know this already, is that there are other, more refined measures of impact that are widely used in the world of academia throughout the world. Moreover, some of these metrics can be calculated at the press of a button using tools like Anne-Wil Harzing's Publish or Perish. There is really no excuse for not using such a resource in a qualitative/quantitative evaluation!

A widely-used metric is the so-called h-index. The h-index was proposed by J.E. Hirsch in the paper An index to quantify an individual's scientific research output, arXiv:physics/0508025. It is defined as follows:

A scientist has index h if h of his/her N papers have at least h citations each, and the other (N-h) papers have fewer than h citations each.

By way of example, from 1 August 2007 there will be at least 10 full-time members of staff at the School of Computer Science at Reykjavík University whose h-index is 5 or more, and at least 5 of those will have h-index 10 or larger, meaning roughly that they have written 10 or more papers that have 10 or more citations. My former BRICS colleague Jens Palsberg (who is now a professor of computer science at UCLA) maintains a partial list of computer science researchers who each has h-index 40 or higher. 

Another metric of research impact and activity that is becoming popular is the g-index. The g-index was proposed by Leo Egghe in his paper Theory and practice of the g-index, Scientometrics, Vol. 69, No 1 (2006), pp. 131-152. It is defined as follows:

[Given a set of articles] ranked in decreasing order of the number of citations that they received, the g-index is the (unique) largest number such that the top g articles received (together) at least g² citations.

The g-index aims to improve on the h-index by giving more weight to highly-cited articles.

Continuing with my example, from 1 August 2007 at least 8 full-time members of staff at the School of Computer Science at Reykjavík University will have g-index 13 or higher. 

The Nobel Prize winner Harry Kroto, whom I mentioned repeatedly in other posts, has h-index 31 and g-index 80 according to a quick-and-dirty search. 

Readers who are keen on qualitative analysis of research will find that  Publish or Perish lets them easily compute other metrics such as the Contemporary h-index and the Individual h-index. I encourage them to play with that tool, but be warned! It is addictive!

 

Grein Eiríks Bergmann Eiríkssonar um Háskóla

EBE bendir æ svo réttilega á, að það á að bera háskóla á landinu saman við erlenda háskóla!

"En alveg sama hvað menn spinna í fjölmiðlum þá er erfitt að breiða yfir þá einkunn Ríkisendurskoðunnar að háskólarnir á Íslandi standa sambærilegum erlendum háskólum nokkuð að baki. Fjárframlög til þeirra eru einfaldlega of lítil. Þetta þurfum við að laga."

Athugasemd við frétt í Mbl: Ríkisendurskoðun gerir athugasemdir við umfjöllun um háskólaskýrslu

Í fréttinni segir meðal annars (http://www.mbl.is/mm/frettir/innlent/frett.html?nid=1274831):

"Ríkisendurskoðun tekur undir það sjónarmið að akademísk staða háskóla, þ.e. menntun kennara og rannsóknarvirkni, og gæði kennslu séu tveir aðskildir þættir. Akademísk staða gefur þó til kynna hvort skólarnir hafi yfir að ráða velmenntuðu starfsfólki sem fylgist með nýjungum á fræðasviði sínu og reynir að stuðla að framþróun þess. Að því leyti er hún viss forsenda gæða. Um það hljóta jafnt forstöðumenn háskóla sem yfirvöld menntamála að vera sammála."

Ég er algjörlega sammála því að hátt menntunarstig og mikil rannsóknavirkni er nauðsynleg forsenda góðrar kennslu og stuðlar að því að það nám sem boðið er upp á feli alltaf í sér helstu nýjungar á viðkomandi sviði. Þetta er einmitt ástæðan fyrir því að við ráðnungu nýrra akademískra starfsmanna  í tölvunarfræðideild HR er mikil áhersla lögð á þessi atriði enda kemur greinilega fram í skýrslunni að rannsóknavirkni deildarinnar, eins og hún er mæld í útektinni, hefur meira en sexfaldast á tímabilinu sem athugunin náði yfir. Við hjá deildinni höldum að sjálfsögðu áfram  þessarri þróun og hlökkum því verulega til næstu úttektar Ríkisendurskoðunar á gæaðmálum deildarinnar sem við væntum að verði gerð eftir 3 ár og  þar sem afrakstur átaks okkar verður gerður lýðum ljós.

Áður en ég yfirgef þessa færslu, get ég ekki stillt mig um að koma með smá persónulegt ívaf og vitna í álit kærunefndar jafnréttismála í máli nr. 10/2005, sjónarmið Háskóla Íslands (http://www.rettarheimild.is/Felagsmala/KaerunefndJafnrettismala/2006/06/01/nr/2211) en þar segir:

"Það hafi verið mat deildarinnar að vegna eðlis fagsins (tölvunarfræði) væri mikilvægara að fá til starfans kennara sem hefði reynslu af kennslu í grunnnámskeiðum tölvunarfræði en framhaldsnámskeiðum og/eða með mikla rannsóknareynslu. Þetta hafi umsækjendum mátt vera ljóst."

Ég skora hérmeð á tölvunarfræðiskor Háskóla Ísands að virða viðhorf Ríkisendurskoðunar  og endurskoða viðhorf sitt til fagsins tölvunarfræði og stuðla þannig að því að skapa því þann sess sem því ber í íslensku samfélagi.

Fyrir þá sem hafa áhuga á að kynna sér rannsóknavirkni akademískra starfsmanna í tölvunarfræði HR og HÍ eins og hún birtist frá alþjóðlegu sjónarmiði, (þeas án þess að "aðlaga hana séríslenskum aðstæðum")  er boðið að heimsækja eftirfarandi vefsíður: http://www.ru.is/luca/csstaff.html    http://www.ru.is/luca/csstaffHI.html.

Ályktun Stúdentaráðs Háskóla Íslands um skýrslu Ríkisendurskoðunar

• Stúdentaráð Háskóla Íslands fagnar hversu vel Háskóli Íslands kemur út úr
skýrslunni – kemur ekki á óvart.
• Samkeppnisstaða skólanna er skökk, enda fá einkareknu háskólarnir jafnmikið
fé og þeir opinberu frá ríkinu – einsdæmi.
• Jafnréttti til náms verði ekki skert með hertari inntökuskilyrðum eða
inntökuprófum.
• Ríkisstjórnin taki skýra afstöðu gegn upptöku skólagjalda í opinberum
háskólum og styðji við bakið á HÍ svo hann komist í hóp bestu háskóla í
heimi.
Skýrsla Ríkisendurskoðunar, Kostnaður, skilvirkni og gæði háskólakennslu, staðfestir
ýmislegt sem Stúdentaráð Háskóla Íslands hefur bent á síðustu ár.
Í skýrslunni kemur það sama fram og hefur margoft verið staðfest að Háskóli Íslands
er góður og vel rekinn skóli. Svo skýr samanburður á háskólum landsins hefur hins
vegar aldrei litið dagsins ljós og er skýrslan því afar athyglisverð á margan hátt.
Háskóli Íslands kemur áberandi best út í úttektinni.
Í skýrslunni er bent á að fyrirkomulag háskólastigsins hér á landi eigi sér ekki
hliðstæðu í nágrannalöndunum en Stúdentaráð hefur ítrekað bent á þá staðreynd. Hér
fá allir skólar ríkisframlag og skólagjöldin sem einkareknu háskólarnir innheimta
skerða ekki framlagið en það skekkir samkeppnisstöðu skólanna verulega. Einnig
kemur fram sú athyglisverða staðreynd að tekjur Háskólans í Reykjavík koma að
stærri hluta frá ríkinu heldur en tekjur Háskóla Íslands, eða 76% á móti 66% árið
2005, þrátt fyrir að skólagjöld í grunnámi hafi það ár verið 220 þúsund í HR.
Skýrsla Ríkisendurskoðunar bendir á ýmsar leiðir til þess að efla enn frekar
háskólamenntun í landinu og ein þeirra er að herða inntökuskilyrði við ríkisháskólana
til þess að draga úr brottfalli og auka skilvirkni. Stúdentaráð Háskóla Íslands ítrekar
hversu mikilvægt það er að allir eigi kost á háskólamenntun og vill frekar að spornað
verði við brottfalli með aðgerðum sem skerða ekki jafnrétti til náms.
Í öllum þeim greinum sem bornar voru saman, þ.e. lögfræði, viðskiptafræði og
tölvunarfræði kemur Háskóli Íslands best út. Viðamestur er samanburðurinn á
viðskiptafræði og eflaust marktækastur þar sem allir samanburðaskólarnir hafa kennt
viðskiptafræði um nokkurt skeið. Viðskiptadeild HÍ kemur best út úr samanburðinum
í öllum þáttum nema einum. Kannaður var kostnaður, akademísk staða, skilvirkni,
viðhorf nemenda og afdrif brautskráðra stúdenta. Viðhorf nemenda var áberandi verst
í HÍ, en þar var m.a. spurt um þætti eins og viðhorf til gæða kennslu, aðbúnaðar o.fl.
Þetta eru skýr skilaboð um að bæta þurfi aðbúnað stúdenta við HÍ. Þó má benda á að
útskrifaðir nemendur frá HÍ eru með hæstu launin og þeim vegnar best í starfi að námi
loknu.
Í skýrslunni kemur einnig fram að útskrifaðir karlmenn eru með töluvert hærri laun en
konur, og verður sá launamunur að hluta til ekki útskýrður. Stúdentaráð Háskóla
Íslands hefur ítrekað bent á að leiðrétta beri kynbundinn launamun í landinu sem fyrst
og hvetur enn til þess.

Kostnaður gæða

Gæði kosta pening. Það er ekki obinberum háskólum til tekna að þeir séu ódýrir (sem er ekki það sama og að vera hagkvæmur), það þýðir fyrst og fremst að þeir standast ekki einkaskólunum snúning þegar kemur að því að bjóða besta fólkinu (hvernig sem það er svo skilgreint) laun. Og þannig missa þeir yngsta, kraftmesta og best menntaðasta fólkið yfir til einkaskólanna. 

Ríkisendurskoðun gerir athugasemdir við umfjöllun um háskólaskýrslu

Qualitative Evaluation of Scientific Output

In one of the comments to this post, Indriði Indriðason wrote:

"Somehow I can't help but smile when scientists advocate the use of qualitative measures.   Though I suspect the disagreement is about the kind of bean counting that should take place. "

I added a further comment to Indriði's comment, which I reiterate below in case any reader of this blog is interested in it. (I wonder how many people read comments to posts .) 

The reason why I keep boring readers (sorry about that) with this issue is that it is all too easy to read too much in the figures and the conclusions of the "Skyrsla". People with knowledge of academic work (should) know better, but the leaders and articles appearing in the newspapers over the last couple of days are just hype.

Anyway, for what it's worth, here is my comment. Enjoy!

------------------------------------------

Indriði, 

Of course, there is no perfect way of measuring academic quality and the path is littered with those who have tried to come up with the "right equation" to do so. (If you want to see an elaborate evaluation system, look at the way departments are evaluated in the British Research Assessment Exercise 2008. You will be able to find specific evaluation plans for each discipline at http://www.rae.ac.uk/panels/.)

At the very least, however, I would like to see a system in which the numerical value of a paper is weighted in some way by the impact of the outlet in which it appears, the citations it has had etc. It makes no sense to me to give X points both to a paper that appears in the "Mickey Mouse Journal of Computer Science" and in the "Journal of the ACM" (one of the most prestigious journals in computer science).

According to pure bean counting, a researcher who writes 41 "mickey mouse papers" brings more points than, say, Timothy Gowers (Cambridge mathematician who won the Fields Medal---the most important prize in mathematics for mathematicians under 40) because Gowers has written fewer than 40 papers, or so I believe. A system which gives this kind of result cannot be one that we want to use. 

Anyway, I think that it is really worthwhile  for any department to undertake a research evaluation every five years, say. A lot of the gain is in the process of looking back at one's work, put it into perspective, evaluate whether one has achieved what one wanted to achieve, and decide what one wants to do in the future. An outside opinion on the performance, the structure and the aims of a department can only help it to grow scientifically, improve and set itself goals that are both ambitious and achievable. 

At the end of the day, this is much more important than any numerical value assigned to a department.