Det finnes ulike indikatorer for siteringer. Ser vi på profilen til en forsker i Google Scholar får vi blant annet opp h-indeks, som sier noe om hvor mange artikler vedkommende har publisert og hvor mye de er sitert. Informasjon om hvor mange ganger vitenskapelige publikasjoner er sitert dukker opp i stadig flere sammenhenger. Kan vi bruke den informasjonen til å vurdere og sammenligne publikasjoner?
Siteringer sier noe om synlighet
Det at en publikasjon er blitt sitert sier noe om at den har hatt gjennomslag. Tekster som ikke blir lest (uansett grunn), blir heller ikke sitert. Samtidig er det viktig å være klar over at kulturen for å sitere varierer mellom fagområder. Det gjelder både hvor mye, når, og hvordan man viser til andres forskning.
Hvor mye en publikasjon blir sitert, vil også komme an på teksten, hvor den er publisert, hvilken type, og hvor lett tilgjengelig den er. Det er sjelden noen ulempe å publisere i de best kjente kanalene. Artikler som er fritt tilgjengelige på nett (open access), og som har forfattere fra flere land, har også gode sjanser for å bli sitert. Det samme gjelder artikler som presenterer mye brukte metoder og sentrale begreper.
Er all oppmerksomhet god oppmerksomhet?
Antall siteringer er ikke alene et tilstrekkelig mål for kvalitet. Det hender noen siterer en publikasjon for å kritisere eller tilbakevise påstandene i den, for å påpeke feil, eller for å ta avstand fra den av andre årsaker. Da snakker vi gjerne om negative siteringer.
Det er mulig å påvirke siteringstall ved å legge inn tilsynelatende umotiverte siteringer, for eksempel som en vennetjeneste eller «takk for sist» til en redaktør eller fagfelle. Eksempler på uetisk atferd som systematisk manipulering av siteringstall er kjent. Og selvsitering er en diskutabel praksis; av og til helt legitim, noen ganger ikke.
Som regel er siteringer motivert av et ønske om å gå i dialog med andre forskere, noe som jo er en sentral aktivitet i den akademiske virkeligheten. Det å sitere en publikasjon kan sees som et initiativ til enten å koble seg på en eksisterende, eller å starte en ny faglig diskusjon. Det behøver ikke å ligge noen vurdering av kvaliteten på den siterte publikasjonen i det.
Hva blir inkludert og hva blir utelatt?
Ulike aktører teller siteringer på forskjellige måter, og til dels fra forskjellige kilder. I våre dager gjøres jobben selvfølgelig ikke manuelt, men det varierer i hvilken grad og på hvilken måte faglig, menneskelig kompetanse faktisk er inne og påvirker prosessene.
Google Scholar teller siteringer fra flere kilder enn de viktigste andre aktørene, Web of Science og Scopus, gjør. Derfor blir siteringstallene som regel betydelig høyere i Google Scholar. Det kan man jo se som positivt, men samtidig preges datagrunnlaget av støy, unøyaktigheter og gjentakelser, som trekker kvaliteten ned.
Hva er det egentlig som måles?
Man kan ikke sammenligne epler og pærer. I hvert fall ikke alltid. Til grunn for ulike indikatorer ligger mer eller mindre avanserte utregninger. Noen av indikatorene har betydelige begrensninger, og alle bygger på bestemte forutsetninger, som kan være vanskelige å oppdage. Hvis man skal bruke siteringsindikatorer, er det viktig å vite hva som faktisk måles, og hvilke problemer eller begrensninger indikatorene har. Ukritisk bruk kan føre til at sammenligninger blir urettferdige, og at vi bedømmer på gale premisser.
La oss ta impaktfaktor som et eksempel. Det er et mål for gjennomsnittlig antall siteringer til artiklene i et tidsskrift over en kort tidsperiode.
Hvor godt speiler et gjennomsnittstall virkeligheten? Ofte svært dårlig. Tidsskriftets gjennomsnittstall sier ingenting om siteringstallene for den enkelte artikkel. Siteringer til tidligere artikler sier i utgangspunktet ikke noe om hvor mye nye artikler vil bli sitert i fremtiden. Realiteten er dessuten at siteringer ikke er jevnt fordelt – som regel får noen få artikler mange siteringer, og de aller fleste får få eller ingen. Dette er det som i sosiologien kalles Matteuseffekten. Les mer om den i Robert K. Mertons artikkel fra 1968.
Når siteringsvinduet (perioden man teller siteringer i) er kort, for eksempel de to årene som brukes ved standard beregning av impaktfaktor, har det potensielt stor betydning når på året den aktuelle artikkelen kommer ut. Den som kommer i januar har bedre tid til å samle siteringer enn den som kommer i desember.
Alle målinger har begrensninger
Det gjelder både kvalitative og kvantitative målinger. Når vi skal vurdere et forskningsarbeid, eller en persons kompetanse, er det uhyre viktig å ikke bruke noen av dem mekanisk og ukritisk. Roboter er gode til å telle, men mennesker er fortsatt flinkere enn dem til å tenke.
Bibliometriske indikatorer kan være nyttige, de blir stadige lettere tilgjengelige og mer brukt, ofte med henvisning til at de er enkle og tidsbesparende. Det bør få noen alarmklokker til å ringe: Vettig bruk av bibliometri bør nemlig være vanskelig og ta tid.
Man må vite hva man vil måle, og velge dertil egnede indikatorer og verktøy. Er det gjennomslag for enkeltartikler man er ute etter, har det lite for seg å måle gjennomsnittlig siteringstall på tidsskriftnivå (Journal Impact Factor). Hvis basen man henter data fra ikke dekker de mest relevante publiseringkanalene innen det aktuelle fagområdet, har tallene man får ut liten verdi.
Dessuten vil en enkelt indikator i de færreste sammenhenger gi et godt og fullstendig bilde alene. Flere indikatorer sammen kan imidlertid brukes som supplement til andre – individuelle og kvalitative – vurderinger.
Disse poengene er blant hovedbudskapene i to viktige opprop som oppmuntrer til ansvarlighet i bibliometri (responsible metrics): San Francisco Declaration on Research Assessment (DORA) fra 2012 og Leiden manifesto for research metrics fra 2015.
Les mer om h-indeks og impaktfaktor på HVL-bibliotekets nettside eller på PhD on Track.