InterobservatørenighetIOA

Fakta

Kort definisjon

Interobservatørenighet er i hvilken grad to uavhengige observatører registrerer det samme fra samme materiale. Uenighet er en presisjonsrapport om definisjonen, ikke en personalsak.

Canis forklarer

Enkelt forklart

To kyndige observatører ser samme opptak og teller hver for seg. Spriker tallene, er det ikke observatørene det er noe galt med.

Det er DEFINISJONEN som er for upresis.

Regelen er nådeløs og vakker på samme tid, fordi den snur ansvaret dit det kan gjøres noe: uenigheten føres tilbake til systemet, ikke til den som talte.

Det gir en praktisk arbeidsregel: avvik over en avtalt grense betyr at tellereglene må skjerpes. Og det gir en enda mer nyttig innsikt – de fleste telleproblemer er pinpoint-problemer. Uenighet om tallet er uenighet om hva som teller.

Fakta

Utfyllende faglig forklaring

Interobservatørenighet er den mest direkte operasjonaliseringen av at en atferdsdefinisjon er brukbar. En definisjon som ikke gir enighet, kan ikke bære måling – uansett hvor presis den ser ut på papiret.

Det gjør enigheten til et mål på definisjonen framfor på observatørene, og retningen på konklusjonen er hele poenget. En vurderingsferdighet som ellers ville vært skjønn, blir dermed etterprøvbar: kriteriet ditt finnes i nøyaktig den grad andre kan se det.

Formen på definisjonen påvirker enigheten målbart. En sammenligning av lange operasjonelle definisjoner mot korte pinpoints fant høyere deteksjonsnøyaktighet for den korte formen – med forfatternes egne forbehold om at studien er den første i sitt slag, og at pinpointen ga flere falske positive.

Regnemåten, og hva den forutsetter. Enighet regnes som antall enigheter delt på summen av enigheter og uenigheter. En enighet er at begge registrerte forekomst i samme enhet; en uenighet er at den ene registrerte noe den andre ikke gjorde – enten en falsk positiv eller en falsk negativ. Formelen forutsetter altså at materialet er delt i enheter begge skårer på samme måte, og den er meningsløs uten den inndelingen.

Enighet mot fasit er noe annet enn enighet med hverandre. Der det finnes en fasit – en telling alle er enige om, gjerne laget bilde for bilde fra opptak – kan man måle hver observatør mot den i stedet. kubina2022 gjorde det, og delte avviket i to typer som ikke skal slås sammen: falske positive (registrert noe som ikke skjedde) og falske negative (oversett noe som skjedde). I den studien ga den lange operasjonelle definisjonen 5 % falske positive og 35 % falske negative, mens den korte pinpointen ga 10 % og 11 %. Samlet nøyaktighet var 75 % mot 93 % (n = 28).

⚠️ Tallene skal alltid siteres med forfatternes egne forbehold: studien er den første som sammenligner de to formene empirisk, og pinpointen ga dobbelt så mange falske positive. Gevinsten ligger i de falske negative. I klinisk arbeid er den asymmetrien poenget – en falsk negativ skjuler hvor alvorlig atferden faktisk er, og kan gi et svakere tiltak enn saken tilsier.

Merk at enighet ikke er det samme som riktighet. To observatører kan være enige og begge ta feil, om definisjonen systematisk peker på noe annet enn det man tror. Enighet er nødvendig, ikke tilstrekkelig.

Anvendelse

Eksempel: hundetrening

En trener som skårer seg selv, kan bruke samme prinsipp alene: skår samme opptak på nytt etter noen dager. Spriker de to skåringene, er kriteriet for upresist – og de to observatørene er da deg selv, med tre dagers mellomrom.

Kilder

• kubina2022