Litt mer om tellekantsystemet

Alle snakker om tellekantsystemet, men hva er det og gjør det egentlig?  Den som ønsker å gå mer i dybden, vil finne pekere til grunnlagsdokumenter, rapporter og lignende underveis i denne teksten. For en rask innføring, se posten Tellekantsystemet i et nøtteskall.

Massevis av bøker stablet som en skulptur
Foto: Callum Scott
CC BY-NC 2.0

Her skal vi se på systemets historie. I et tidligere innlegg har jeg forsøkt å gi en kortversjon av hva det er og måler. I senere innlegg kan vi kanskje snakke om bruken av systemet og ta opp aktuelle diskusjoner og problemstillinger? Leserne av bloggen ønskes hjertelig velkommen til å stille spørsmål, kommentere og diskutere.

Kjært barn har mange navn

Hvor kjært tellekantsystemet er, kommer vel an på hvem man spør, men akkurat nå handler det om navnet. Det vi skal snakke om har ingenting med bretting av skjorter før plassering i skapet å gjøre, som jeg forstår mange med annen referansebakgrunn enn undertegnede ser for seg når de snakker om tellekanter. Det som telles i systemet som har satt sitt preg på norsk høyere utdanningssektor siden rapporten Vekt på forskning kom ut i 2004, er publikasjoner.

Siden 2011 har vi i Norge hatt felles rapportering av vitenskapelig publisering for universitets- og høgskolesektoren (UH), instituttsektoren og helseforetakene gjennom CRIStin og NVI (Norsk vitenskapsindeks), og den felles betegnelsen for dette er Norsk publiseringsindikator (NPI). NPI er også navnet på et nettsted som inneholder det aller meste man trenger å vite om publiseringsindikatoren.

Indikatoren er i sin tur en del av grunnlaget for den resultatbaserte omfordelingen (RBO) Kunnskapsdepartementet bruker når de deler ut midler til de høyere utdannings- og forskningsinstitusjonene. Institusjonene mottar en grunnbevilgning over statsbudsjettet. Den er sammensatt av en basisdel og en resultatbasert del. Den resultatbaserte delen avhenger av hvordan institusjonene presterer innenfor en rekke områder. Blant det vi måles på i UH-sektoren er studiepoengproduksjon (pardon my French, eller new public managementsk), avlagte doktorgrader, utveksling, og publisering.

Evaluering

Dagens finansieringssystem for sektoren har vært i bruk siden 2002, publiseringsindikatoren fra og med 2006. Det viktigste grunnlagsdokumentet er rapporten utarbeidet av Universitets- og høgskolerådet (UHR) i 2004, Vekt på forskning. Det ble gjort en grundig evaluering av publiseringsindikatoren i 2013. Ett av de viktigste funnene var at publiseringen i Norge hadde økt betraktelig i omfang i denne tiårsperioden. Det ble konkludert med at publiseringsindikatoren ikke var den eneste, men likevel en sannsynlig medvirkende årsak til denne veksten. Samtidig greide man ikke å påvise en tilsvarende økning i den målbare innflytelsen av norsk forskning internasjonalt.

Videre ble det påpekt en del tekniske svakheter ved systemet, blant annet angående poengutregningen, prosessen for nominering og klassifisering av publiseringskanaler, og manglende fagfeltsnøytralitet. Spørsmålet om bruken av indikatoren ble også tatt opp. Samtidig som dens transparens og forståelighet ble berømmet, ble det understreket at nettopp disse karakteristikkene muliggjorde en annen bruk, på institusjonelt og individuelt nivå, enn det som var tenkt opprinnelig.

Første store endring

Innvendingene som kom fram i rapporten er bakgrunnen for at man gjorde en større endring av indikatoren i 2015. Den nye utregningsmåten for poeng skulle først og fremst bidra til å utjevne ulikhetene mellom fagområder med forskjellige publiseringsmønster og –kulturer, ved å redusere ulempen ved å være flere medforfattere på en og samme artikkel. Den skulle stimulere til internasjonalisering, ved å premiere samforfatterskap med forskere fra andre land. Videre skulle det bli vanskeligere enn før å bruke indikatoren på individnivå – en praksis som Universitets- og høgskolerådet (UHR) og det nasjonale publiseringsutvalgets sammen har uttrykt sin skepsis til, men som, med god hjelp fra både forskningsinstitusjoner og organer som sysler med evaluering, akkreditering og den slags, har bredt om seg.

Dette er ikke lett for verken forskere eller ledere å forholde seg til. Vi har et system som er laget for å stimulere forskning og publisering, og som gjennom å premiere visse typer publiseringer i bestemte kanaler høyere enn andre, er ment å styre publiseringsmønstre i ønskede retninger. Det er enkeltpersoner som publiserer, eventuelt (og helst) sammen med andre, og det er enkeltpersoners bidrag til enkelte publikasjoner som genererer poeng. Likevel er poengene ikke ment å skulle brukes til å premiere den enkelte forsker eller publikasjon, men institusjonen hvor vedkommende er tilsatt. Det har vært utvist mye kreativitet i arbeidet med å finne måter å bruke systemet til å stimulere ønsket forskeratferd, med varierende resultat.

Flere endringer?

Mange er kritiske til systemet, av forskjellige grunner, og mange ønsker endringer i det. Ofte handler kritikken om nytten og hensiktsmessigheten av et slikt system, eller om det systemet ikke måler. Det har for eksempel vært foreslått å innføre flere nivåer og kategorier, for å få med andre sider ved det arbeidet forskere gjør enn å publisere vitenskapelige artikler og bøker.

Sjangere det ofte er diskusjon om er fag- og lærebøker. Mange mener også det er urettferdig at det gir uttelling å skrive artikler, men ikke å gjøre fagfellevurderinger eller redaktørarbeid som er forutsetninger for at artiklene skal kunne komme ut. Formidling til andre enn forskere og studenter som kan ventes å ha tilgang til, og å kunne forstå og nyttiggjøre seg vitenskapelige publikasjoner, har heller ingen plass i indikatoren.

Et betimelig spørsmål er om oppmerksomheten rundt vitenskapelig publisering og poeng, for eksempel i forbindelse med ansettelser, opprykk, akkreditering, og evalueringer, bidrar til å underminere andre viktige arbeidsoppgaver for forskerne? Publisering er lettere å måle enn mye annet, derfor egner det seg bedre for et system som tellekantene enn det for eksempel formidling gjør. Det er ikke dermed sagt at formidling til ulike målgrupper er mindre viktig.

Noe annet som kan telles, selv om det må gjøres på andre måter enn for publisering, er siteringer. Innenfor en del fagområder kan de brukes for å si noe om gjennomslagskraft, eller det som gjerne betegnes med det «ny-norske» ordet impakt. Derfor har det nylig vært foreslått, utredet, og avviklet en høring om muligheten for å innføre en siteringsindikator, ikke i stedet for publiseringsindikatoren, men som et modererende tillegg til den.

I arbeidet med nye nasjonale mål og retningslinjer for åpen tilgang til vitenskapelige artikler, som ble lansert i august 2017, ble det foreslått å stille krav om at vitenskapelige artikler må gjøres åpent tilgjengelige for at de skal gi poeng. Forslaget ble noe moderert underveis i prosessen, etter høringen, men det kan hende, når den nødvendige infrastrukturen er på plass og tilgjengelig for alle, at deponering i vitenarkiv blir en forutsetning for uttelling i den resultatbaserte omfordelingen.

Det er lov å tenke

Enn så lenge vil jeg anmode alle om å ikke tillegge tellekantsystemet større vekt enn det fortjener. Vel er det mye snakk om nivåer og publiseringspoeng, men bare en liten del av pengene som finansierer forskning i Norge påvirkes av dem. Og tellekantsystemet verken kan eller skal måle noe annet enn vitenskapelige publikasjoner, vektet for type, publiseringskanal og internasjonalt medforfatterskap.

Publiseringsindikatoren gir ikke noe fullstendig bilde av verken enkeltforskere og deres kunnskap og innsats, forskningens gjennomslagskraft, prosjekter eller institusjoner.

Forskere bør tenke gjennom sin publiseringsstrategi og handle i tråd med den. De som ansetter og leder forskere, de som evaluerer forskning og forskere, og beslutningstakere på alle nivåer, bør utvise fornuft ved bruk av statistikk basert på NVI-resultatene.

Kanskje må vi av og til minne oss selv og hverandre om å ikke se oss blinde på nivåplasseringer og poeng. Det finnes andre måter å verdsette forskeres jobb på enn de som lett kan måles i tellekantsystemet, og de bør brukes, enten som alternativ, eller som supplement til publiseringsindikatoren. Det går an å ha flere tanker i hodet på en gang.

mm
Førstebibliotekar, HVL Bergen

Tellekantsystemet i et nøtteskall

Vi i biblioteket får en del spørsmål fra forskere om tellekantsystemet. Vi merker at mange lurer på hva det egentlig er og betyr. Noen av oss har det i ryggmargen, kall det gjerne en slags yrkesskade, at når vi skal beskrive et fenomen, må vi starte med å definere eller i hvert fall konkretisere begrepet som betegner det, og si noe om dets historie og kontekst. Det har jeg også gjort, men denne tilnærmingen tenkte jeg først å dele med dere i neste post. Så dere som har lignende tilbøyeligheter: følg med videre på denne bloggen.

Bilde av klesskap hvor ting ligger i stabler, illustrerer tellekanter
Foto: Marcin Bejer
CC BY-NC 2.0

 

I dette innlegget beskrives tellekantsystemet kort og konkret. Mange nettsteder har utdypende informasjon. Skal jeg velge ett å anbefale, må det bli nettstedet til Norsk Publiseringsindikator, ofte forkortet NPI, hvor omtrent alt du trenger å vite står.

Tellekantsystemet ER

  • det populære navnet på Norsk publiseringsindikator;
  • et nasjonalt system for å rapportere vitenskapelig publisering;
  • spesifikt norsk;
  • grunnlaget for den resultatbaserte omfordelingen av midler fra Kunnskapsdepartementet til universiteter og høgskoler;
  • much ado about little: mindre enn 2% av de statlige kronene som brukes til å finansiere forskning kanaliseres via tellekantsystemet;
  • en suksesshistorie, aktuell som norsk eksportvare til flere andre land;
  • laget for bruk på aggregert nivå, altså for å beregne poeng for institusjoner.

Tellekantsystemet er IKKE

  • det samme som CRIStin;
  • et system for å måle forskning i sin alminnelighet;
  • alene egnet til å måle hvor vellykket man er som fagperson eller forsker;
  • allmenngyldig og uforanderlig;
  • rettferdig;
  • det viktigste i verden, selv om det i noen sammenhenger kan virke slik;
  • laget for å belønne individer og enkeltprestasjoner.

I Norsk publiseringsindikator

  • finnes tre typer vitenskapelige publiseringer: artikler i tidsskrift, bokkapitler/antologibidrag, og monografier;
  • deles publiseringskanalene inn i nivå 1 og 2, hvorav 2 er det høyeste;
  • regnes poeng ut ved at forfatterandeler beregnes basert på antall forfattere og tilhørigheter de har oppgitt i publikasjonen (forfatteradresser), som så multipliseres med vektingsfaktorer for type publikasjon, nivå og internasjonalt medforfatterskap;
  • premieres ikke Open Access-publisering per i dag, men på ikke veldig lang sikt kan arkivering i vitenarkiv bli en forutsetning for å få uttelling for poengene;
  • tas det ikke hensyn til hvor mye publikasjoner blir sitert, men det blir diskutert å innføre en indikator for det også.

For å regnes som vitenskapelig, må en publikasjon

  • presentere ny innsikt;
  • være i en form som gjør resultatene etterprøvbare eller anvendelige i ny forskning;
  • være på et språk og ha en distribusjon som gjør den tilgjengelig for de fleste forskere som kan ha interesse av den;
  • være i en publiseringskanal (tidsskrift, serie, bokutgiver, nettsted) med rutiner for fagfellevurdering.

Hentet fra Vekt på forskning, rapporten fra 2004 som er grunnlaget for publiseringsindikatoren. 

For at HVL skal få uttelling for våre forskeres publikasjoner, må

  • forfatterne sørge for at publikasjonene ligger inne i CRIStin, senest 1. februar året etter at de er publisert. Noen blir automatisk importert og må bare kontrolleres, andre må registreres manuelt i en av kategoriene vitenskapelig artikkel, vitenskapelig antologi/konferanseserie eller vitenskapelig monografi;
  • forfatterne sørge for å oppgi HVL som forfatteradresse i publikasjonene;
  • biblioteket kvalitetssikre alle registreringene;
  • biblioteket godkjenne publikasjonene som vitenskapelige;
  • biblioteket rapportere publikasjonene inn til Norsk vitenskapsindeks (NVI) innen fastsatt frist (cirka 1. april).

NVI-resultatet

  • kunngjøres hvert år i april når rapportene er kvalitetssikret;
  • brukes i diverse offentlige statistikker og rapporter;
  • på institusjons- og fakultetsnivå er tilgjengelig for alle, for eksempel i NSDs database for høyere utdanning (DBH), på lavere nivå er det tilgjengelig kun for den enkelte institusjons superbrukere.

Institusjonens publiseringspoeng

  • utløser en sum penger. Hvor mange kroner institusjonene får per poeng, avhenger av en totalramme i Statsbudsjettet, og av hvor mye som blir publisert, totalt og på den enkelte institusjon;
  • utløser penger året etter rapportering, slik at publikasjoner utgitt i 2015 blir rapportert i 2016 og pengene kommer i 2017.

Pengene

  • blir tildelt institusjonen, som fordeler dem internt i tråd med gjeldende budsjettmodell.
mm
Førstebibliotekar, HVL Bergen