Observatørdrift

Fakta

Kort definisjon

Observatørdrift er at en observatør gradvis og umerkelig endrer måten definisjonen anvendes på over tid. Definisjonen på papiret står stille; det som teller som en forekomst, gjør det ikke.

Canis forklarer

Enkelt forklart

Du teller det samme i uke tolv som i uke én. Tror du.

Det som faktisk skjer, er at grensen flytter seg litt hver uke. De marginale tilfellene som ble talt i starten, blir etter hvert «ikke egentlig», eller motsatt: terskelen glir nedover og stadig mer teller.

Ingen bestemmer seg for dette. Det er nettopp derfor det er farlig.

Og konsekvensen ser ut som et resultat. En kurve som synker fordi observatøren er blitt strengere, er ikke til å skille fra en kurve som synker fordi tiltaket virker – ikke ut fra kurven alene.

Motgiften er enkel og kjedelig: skår gamle opptak på nytt. Er dagens skåring av en gammel video ulik den opprinnelige, har du drevet. Da vet du det, og da kan du gjøre noe med det.

Fakta

Utfyllende faglig forklaring

Drift mot reaktivitet. De to forveksles fordi begge gir tall som ikke stemmer, men de sitter i hver sin ende av målingen. Reaktivitet er at atferden endrer seg fordi den måles. Drift er at målingen endrer seg mens atferden står stille. Tiltakene er motsatte: reaktivitet håndteres ved å måle lenger til den har lagt seg, drift ved å kalibrere mot et fast referansepunkt.

Hvorfor drift oppstår. Vanligvis fordi definisjonen har et rom for skjønn som må fylles på nytt hver gang. Jo flere betingelser en definisjon inneholder, jo flere steder kan skjønnet gli – og en observatør som har sett hundre marginale tilfeller, har utviklet en praksis som ikke lenger står skrevet noe sted. Se operasjonalisering av målatferd.

Drift smitter mellom observatører. To personer som skårer sammen over tid, konvergerer mot en felles praksis som kan ligge et stykke fra definisjonen. Da vil interobservatørenighet stige mens gyldigheten faller – enighet er ikke riktighet, og drift er tilfellet der forskjellen betyr mest.

Tre mottiltak, i den rekkefølgen de koster.

1. Behold et fast sett kalibreringsopptak som skåres på nytt med jevne mellomrom. Avvik fra den opprinnelige skåringen er drift, målt.
2. Skår mot en fasit framfor mot hverandre der en slik finnes, slik at referansepunktet ikke selv kan gli. Se kalibrering av måling.
3. Skjerp definisjonen når driften er sporet til et bestemt grensetilfelle. Å skrive inn avgjørelsen fjerner rommet den gled i.

En praktisk konsekvens for lange prosjekter. Jo lengre måleserien er, jo mer verdt er kalibreringen – og jo mer fristende er det å hoppe over den, fordi alt ser ut til å gå bra. Det er den kombinasjonen som gjør drift til en tålmodig feil.

Anvendelse

Eksempel: hundetrening

En instruktør skårer «rolig atferd i passering» over et halvår.

I januar krevde hun at hunden gikk forbi uten å stoppe. I juni godtar hun et kort stopp, fordi hun har sett så mange nesten-gode passeringer at terskelen har flyttet seg. Kurven viser framgang. Hundene er de samme.

Anvendelse

Eksempel: menneskelig læring

En lærer teller «leser flytende» ukentlig gjennom et skoleår.

Klassens generelle framgang gjør at hun ubevisst hever kravet – det som var flytende i september, er bare greit i mars. Elevenes kurver flater ut på et tidspunkt der de faktisk fortsatt stiger. Driften produserte et platå som ikke fantes.

Hva begrepet ikke betyr

Drift er ikke slurv. Det er en systematisk, langsom forskyvning som skjer nettopp hos den oppmerksomme observatøren, fordi erfaring med grensetilfeller er det som flytter grensen.

Det er heller ikke det samme som lav interobservatørenighet. Drift kan gi høy enighet mellom to personer som har drevet i samme retning.

Vanlige misforståelser

• «Jeg bruker samme definisjon, så jeg måler likt.» Definisjonen står stille; anvendelsen gjør det ikke.
• «Høy enighet betyr at målingen holder.» To observatører kan ha drevet sammen.
• «Drift rammer nybegynnere.» Den rammer den erfarne mest, fordi det er erfaringen med grensetilfeller som flytter terskelen.
• «Det jevner seg ut.» Drift er retningsbestemt, ikke tilfeldig støy. Den jevner seg ikke ut.

Kilder

• johnstonpennypacker1993