Alle snakker om tellekantsystemet, men hva er det og gjør det egentlig?  Den som ønsker å gå mer i dybden, vil finne pekere til grunnlagsdokumenter, rapporter og lignende underveis i denne teksten. For en rask innføring, se posten Tellekantsystemet i et nøtteskall.

Her skal vi se på systemets historie. I et tidligere innlegg har jeg forsøkt å gi en kortversjon av hva det er og måler. I senere innlegg kan vi kanskje snakke om bruken av systemet og ta opp aktuelle diskusjoner og problemstillinger? Leserne av bloggen ønskes hjertelig velkommen til å stille spørsmål, kommentere og diskutere.

Kjært barn har mange navn

Hvor kjært tellekantsystemet er, kommer vel an på hvem man spør, men akkurat nå handler det om navnet. Det vi skal snakke om har ingenting med bretting av skjorter før plassering i skapet å gjøre, som jeg forstår mange med annen referansebakgrunn enn undertegnede ser for seg når de snakker om tellekanter. Det som telles i systemet som har satt sitt preg på norsk høyere utdanningssektor siden rapporten Vekt på forskning kom ut i 2004, er publikasjoner.

Siden 2011 har vi i Norge hatt felles rapportering av vitenskapelig publisering for universitets- og høgskolesektoren (UH), instituttsektoren og helseforetakene gjennom CRIStin og NVI (Norsk vitenskapsindeks), og den felles betegnelsen for dette er Norsk publiseringsindikator (NPI). NPI er også navnet på et nettsted som inneholder det aller meste man trenger å vite om publiseringsindikatoren.

Indikatoren er i sin tur en del av grunnlaget for den resultatbaserte omfordelingen (RBO) Kunnskapsdepartementet bruker når de deler ut midler til de høyere utdannings- og forskningsinstitusjonene. Institusjonene mottar en grunnbevilgning over statsbudsjettet. Den er sammensatt av en basisdel og en resultatbasert del. Den resultatbaserte delen avhenger av hvordan institusjonene presterer innenfor en rekke områder. Blant det vi måles på i UH-sektoren er studiepoengproduksjon (pardon my French, eller new public managementsk), avlagte doktorgrader, utveksling, og publisering.

Evaluering

Dagens finansieringssystem for sektoren har vært i bruk siden 2002, publiseringsindikatoren fra og med 2006. Det viktigste grunnlagsdokumentet er rapporten utarbeidet av Universitets- og høgskolerådet (UHR) i 2004, Vekt på forskning. Det ble gjort en grundig evaluering av publiseringsindikatoren i 2013. Ett av de viktigste funnene var at publiseringen i Norge hadde økt betraktelig i omfang i denne tiårsperioden. Det ble konkludert med at publiseringsindikatoren ikke var den eneste, men likevel en sannsynlig medvirkende årsak til denne veksten. Samtidig greide man ikke å påvise en tilsvarende økning i den målbare innflytelsen av norsk forskning internasjonalt.

Videre ble det påpekt en del tekniske svakheter ved systemet, blant annet angående poengutregningen, prosessen for nominering og klassifisering av publiseringskanaler, og manglende fagfeltsnøytralitet. Spørsmålet om bruken av indikatoren ble også tatt opp. Samtidig som dens transparens og forståelighet ble berømmet, ble det understreket at nettopp disse karakteristikkene muliggjorde en annen bruk, på institusjonelt og individuelt nivå, enn det som var tenkt opprinnelig.

Første store endring

Innvendingene som kom fram i rapporten er bakgrunnen for at man gjorde en større endring av indikatoren i 2015. Den nye utregningsmåten for poeng skulle først og fremst bidra til å utjevne ulikhetene mellom fagområder med forskjellige publiseringsmønster og –kulturer, ved å redusere ulempen ved å være flere medforfattere på en og samme artikkel. Den skulle stimulere til internasjonalisering, ved å premiere samforfatterskap med forskere fra andre land. Videre skulle det bli vanskeligere enn før å bruke indikatoren på individnivå – en praksis som Universitets- og høgskolerådet (UHR) og det nasjonale publiseringsutvalgets sammen har uttrykt sin skepsis til, men som, med god hjelp fra både forskningsinstitusjoner og organer som sysler med evaluering, akkreditering og den slags, har bredt om seg.

Dette er ikke lett for verken forskere eller ledere å forholde seg til. Vi har et system som er laget for å stimulere forskning og publisering, og som gjennom å premiere visse typer publiseringer i bestemte kanaler høyere enn andre, er ment å styre publiseringsmønstre i ønskede retninger. Det er enkeltpersoner som publiserer, eventuelt (og helst) sammen med andre, og det er enkeltpersoners bidrag til enkelte publikasjoner som genererer poeng. Likevel er poengene ikke ment å skulle brukes til å premiere den enkelte forsker eller publikasjon, men institusjonen hvor vedkommende er tilsatt. Det har vært utvist mye kreativitet i arbeidet med å finne måter å bruke systemet til å stimulere ønsket forskeratferd, med varierende resultat.

Flere endringer?

Mange er kritiske til systemet, av forskjellige grunner, og mange ønsker endringer i det. Ofte handler kritikken om nytten og hensiktsmessigheten av et slikt system, eller om det systemet ikke måler. Det har for eksempel vært foreslått å innføre flere nivåer og kategorier, for å få med andre sider ved det arbeidet forskere gjør enn å publisere vitenskapelige artikler og bøker.

Sjangere det ofte er diskusjon om er fag- og lærebøker. Mange mener også det er urettferdig at det gir uttelling å skrive artikler, men ikke å gjøre fagfellevurderinger eller redaktørarbeid som er forutsetninger for at artiklene skal kunne komme ut. Formidling til andre enn forskere og studenter som kan ventes å ha tilgang til, og å kunne forstå og nyttiggjøre seg vitenskapelige publikasjoner, har heller ingen plass i indikatoren.

Et betimelig spørsmål er om oppmerksomheten rundt vitenskapelig publisering og poeng, for eksempel i forbindelse med ansettelser, opprykk, akkreditering, og evalueringer, bidrar til å underminere andre viktige arbeidsoppgaver for forskerne? Publisering er lettere å måle enn mye annet, derfor egner det seg bedre for et system som tellekantene enn det for eksempel formidling gjør. Det er ikke dermed sagt at formidling til ulike målgrupper er mindre viktig.

Noe annet som kan telles, selv om det må gjøres på andre måter enn for publisering, er siteringer. Innenfor en del fagområder kan de brukes for å si noe om gjennomslagskraft, eller det som gjerne betegnes med det «ny-norske» ordet impakt. Derfor har det nylig vært foreslått, utredet, og avviklet en høring om muligheten for å innføre en siteringsindikator, ikke i stedet for publiseringsindikatoren, men som et modererende tillegg til den.

I arbeidet med nye nasjonale mål og retningslinjer for åpen tilgang til vitenskapelige artikler, som ble lansert i august 2017, ble det foreslått å stille krav om at vitenskapelige artikler må gjøres åpent tilgjengelige for at de skal gi poeng. Forslaget ble noe moderert underveis i prosessen, etter høringen, men det kan hende, når den nødvendige infrastrukturen er på plass og tilgjengelig for alle, at deponering i vitenarkiv blir en forutsetning for uttelling i den resultatbaserte omfordelingen.

Det er lov å tenke

Enn så lenge vil jeg anmode alle om å ikke tillegge tellekantsystemet større vekt enn det fortjener. Vel er det mye snakk om nivåer og publiseringspoeng, men bare en liten del av pengene som finansierer forskning i Norge påvirkes av dem. Og tellekantsystemet verken kan eller skal måle noe annet enn vitenskapelige publikasjoner, vektet for type, publiseringskanal og internasjonalt medforfatterskap.

Publiseringsindikatoren gir ikke noe fullstendig bilde av verken enkeltforskere og deres kunnskap og innsats, forskningens gjennomslagskraft, prosjekter eller institusjoner.

Forskere bør tenke gjennom sin publiseringsstrategi og handle i tråd med den. De som ansetter og leder forskere, de som evaluerer forskning og forskere, og beslutningstakere på alle nivåer, bør utvise fornuft ved bruk av statistikk basert på NVI-resultatene.

Kanskje må vi av og til minne oss selv og hverandre om å ikke se oss blinde på nivåplasseringer og poeng. Det finnes andre måter å verdsette forskeres jobb på enn de som lett kan måles i tellekantsystemet, og de bør brukes, enten som alternativ, eller som supplement til publiseringsindikatoren. Det går an å ha flere tanker i hodet på en gang.