Forstå intern og ekstern gyldighet

Intern og ekstern validitet er begreper som gjenspeiler om resultatene av en studie er pålitelige og meningsfylte. Mens intern gyldighet er relatert til hvor godt en studie gjennomføres (dens struktur), gjelder ekstern gyldighet hvor gjeldende funnene er for den virkelige verden.

Hva er intern gyldighet?

Intern validitet er i hvilken grad en studie etablerer et pålitelig forhold mellom årsak og virkning mellom en behandling og et resultat. Intern validitet gjenspeiler også at en gitt studie gjør det mulig å eliminere alternative forklaringer på et funn.

Hvis du for eksempel implementerer et røykesluttprogram med en gruppe individer, hvor sikker kan du være på at forbedring sett i behandlingsgruppen skyldes behandlingen du administrerte?

Intern gyldighet avhenger i stor grad av prosedyrene for en studie og hvor nøye den utføres.

Intern gyldighet er ikke en "ja eller nei" -type. I stedet vurderer vi hvor trygge vi kan være med funnene i en studie, basert på om den unngår feller som kan gjøre funnene tvilsomme.

Jo mindre sjanse det er for "forvirring" i en studie, jo høyere intern validitet og jo mer selvsikker kan vi være i funnene. Confounding refererer til en situasjon der andre faktorer spiller inn som forvirrer resultatet av en studie. For eksempel kan en studie gjøre oss usikre på om vi kan stole på at vi har identifisert ovennevnte "årsak og virkning" -scenario.

Kort sagt, du kan bare være trygg på at studien din er gyldig internt hvis du kan utelukke alternative forklaringer på dine funn. Som et kort sammendrag kan du bare anta årsak og virkning når du oppfyller følgende tre kriterier i studien:

• Årsaken gikk foran effekten når det gjelder tid.
• Årsak og virkning varierer sammen.
• Det er ingen andre sannsynlige forklaringer på dette forholdet du har observert.

Faktorer som forbedrer intern gyldighet

Hvis du ønsker å forbedre den interne validiteten til en studie, vil du vurdere aspekter av forskningsdesignet ditt som vil gjøre det mer sannsynlig at du kan avvise alternative hypoteser. Det er mange faktorer som kan forbedre intern validitet.

• Blindende: Deltakere - og noen ganger forskere - som ikke er klar over hvilken intervensjon de får (for eksempel ved å bruke placebo i en medisinstudie) for å unngå at denne kunnskapen påvirker deres oppfatninger og atferd og dermed resultatet av studien
• Eksperimentell manipulasjon: Manipulere en uavhengig variabel i en studie (for eksempel å gi røykere et opphørsprogram) i stedet for bare å observere en forening uten å utføre noen intervensjon (undersøke forholdet mellom trening og røykeadferd)
• Tilfeldig valg: Velge deltakere tilfeldig eller på en måte som de er representative for befolkningen du ønsker å studere
• Randomisering: Tilordne deltakere tilfeldig til behandlings- og kontrollgrupper, og sørger for at det ikke er noen systematisk skjevhet mellom gruppene
• Studieprotokoll: Å følge spesifikke prosedyrer for administrering av behandlingen for ikke å innføre noen effekter av for eksempel å gjøre ting annerledes med en gruppe mennesker versus en annen gruppe mennesker

Faktorer som truer intern gyldighet

Akkurat som det er mange måter å sikre at en studie er internt gyldig, er det også en liste over potensielle trusler mot intern gyldighet som bør vurderes når man planlegger en studie.

• Slitasje: Deltakere som faller fra eller forlater en studie, noe som betyr at resultatene er basert på et partisk utvalg av bare de menneskene som ikke valgte å forlate (og muligens alle som har noe til felles, for eksempel høyere motivasjon)
• Forvirrende: En situasjon der endringer i en utfallsvariabel kan antas å skyldes en tredje variabel som er relatert til behandlingen du administrerte.
• Spredning: Dette refererer til behandlingen i en studie som spredte seg fra behandlingsgruppen til kontrollgruppen gjennom gruppene som interagerer og snakker med eller observerer hverandre. Dette kan også føre til et annet problem som kalles motvillig demoralisering, der en kontrollgruppe prøver mindre hardt fordi de føler seg misfornøyde over gruppen de er i.
• Eksperimenter bias: En eksperiment som oppfører seg på en annen måte med forskjellige grupper i en studie, noe som fører til en innvirkning på resultatene av denne studien (og elimineres ved å blinde)
• Historiske hendelser: Kan påvirke utfallet av studier som skjer over en periode, for eksempel en endring i den politiske lederen eller en naturkatastrofe som påvirker hvordan deltakere i studien føler og handler
• Instrumentering: Det er mulig å "prime" deltakerne i en studie på bestemte måter med tiltakene du bruker, noe som får dem til å reagere på en måte som er annerledes enn de ellers ville gjort.
• Modning: Dette beskriver tidens innvirkning som en variabel i en studie. Hvis en studie finner sted over en periode der det er mulig at deltakerne naturlig endret seg på en eller annen måte (ble eldre, ble slitne), kan det være umulig å utelukke om effekter sett i studien bare skyldtes effekten av tiden.
• Statistisk regresjon: Den naturlige effekten av deltakere i ekstreme ender av et tiltak som faller i en bestemt retning bare på grunn av tid i stedet for effekten av en intervensjon
• Testing: Gjentatt testing av deltakere ved bruk av de samme tiltakene påvirker resultatene. Hvis du gir noen den samme testen tre ganger, er det ikke sannsynlig at de vil gjøre det bedre når de lærer testen eller blir vant til testprosessen slik at de svarer annerledes?

Hva er ekstern gyldighet?

Ekstern gyldighet refererer til hvor godt resultatet av en studie kan forventes å gjelde for andre innstillinger. Med andre ord refererer denne typen validitet til hvor generaliserbare funnene er. Gjelder funnene for eksempel andre mennesker, innstillinger, situasjoner og tidsperioder?

Økologisk validitet, et aspekt av ekstern validitet, refererer til om en undersøkelses funn kan generaliseres til den virkelige verden.

Selv om strenge forskningsmetoder kan sikre intern validitet, kan ekstern validitet derimot være begrenset av disse metodene.

Et annet begrep kalt overførbarhet er relatert til ekstern validitet og refererer til en kvalitativ forskningsdesign. Overførbarhet refererer til om resultatene overføres til situasjoner med lignende egenskaper.

Faktorer som forbedrer ekstern gyldighet

Hva kan du gjøre for å forbedre studiens eksterne validitet?

• Tenk på psykologisk realisme: Forsikre deg om at deltakerne opplever hendelsene i en studie som en reell begivenhet ved å fortelle dem en "cover story" om målet med studien. I noen tilfeller kan deltakere i noen tilfeller oppføre seg annerledes enn de ville gjort i det virkelige liv hvis de vet hva de kan forvente eller vet hva målet med studien er.
• Gjør ombehandling eller kalibrering: Bruk statistiske metoder for å justere for problemer relatert til ekstern validitet. For eksempel, hvis en studie hadde ujevne grupper for noen egenskaper (som alder), kan det brukes omvekt.
• Gjenskape: Gjennomfør studien igjen med forskjellige prøver eller i forskjellige innstillinger for å se om du får de samme resultatene. Når mange studier er utført, metaanalyse kan også brukes til å bestemme om effekten av en uavhengig variabel er pålitelig (basert på å undersøke funnene fra et stort antall studier om ett emne).
• Prøv felteksperimenter: Gjennomfør en studie utenfor laboratoriet i naturlige omgivelser.
• Bruk inkludering og eksklusjonskriterier: Dette vil sikre at du har klart definert populasjonen du studerer i forskningen din.

Faktorer som truer ekstern gyldighet

Ekstern validitet er truet når en studie ikke tar hensyn til samspillet mellom variabler i den virkelige verden.

• Effekter før og etter test: Når før- eller posttesten på en eller annen måte er relatert til effekten som sees i studien, slik at årsak og virkning-forholdet forsvinner uten disse ekstra testene
• Eksempel funksjoner: Når noe av det aktuelle prøven var ansvarlig for effekten (eller delvis ansvarlig), førte til begrenset generaliserbarhet av funnene
• Utvalg bias: Betraktet som en trussel mot intern gyldighet, beskriver seleksjonsskjevheter forskjeller mellom grupper i en studie som kan være relatert til den uavhengige variabelen (nok en gang, noe som motivasjon eller vilje til å delta i studien, spesifikk demografi til enkeltpersoner er mer sannsynlig å delta i en online undersøkelse).
• Situasjonelle faktorer: Tid på dagen, sted, støy, forskeregenskaper og hvor mange tiltak som brukes kan påvirke generaliserbarheten av funn.

Intern vs. ekstern gyldighet

Intern og ekstern gyldighet er som to sider av samme mynt. Du kan ha en studie med god intern gyldighet, men generelt kan det være irrelevant for den virkelige verden. På den annen side kan du gjennomføre en feltstudie som er svært relevant for den virkelige verden, men som ikke har pålitelige resultater når det gjelder å vite hvilke variabler som forårsaket resultatene du ser.

Likheter

Hva er likhetene mellom intern og ekstern validitet? De er begge faktorer som bør vurderes når man utformer en studie, og begge har implikasjoner når det gjelder om resultatene av en studie har betydning. Begge er ikke "enten / eller" begreper, og du vil derfor alltid bestemme i hvilken grad studien din utfører når det gjelder begge typer gyldighet.

Hvert av disse konseptene er vanligvis rapportert i en forskningsartikkel som er publisert i en vitenskapelig tidsskrift. Dette for at andre forskere kan evaluere studien og ta beslutninger om resultatene er nyttige og gyldige.

Forskjeller

Den vesentlige forskjellen mellom intern og ekstern validitet er at intern validitet refererer til strukturen til en studie og dens variabler, mens ekstern validitet er relatert til hvor universelle resultatene er. Det er ytterligere forskjeller mellom de to også.

Intern gyldighet

• Konklusjoner er berettiget

• Kontrollerer fremmede variabler

• Eliminerer alternative forklaringer

• Fokuser på nøyaktighet og sterke forskningsmetoder

Ekstern gyldighet

• Funn kan generaliseres

• Resultatene gjelder praktiske situasjoner

• Resultatene gjelder for hele verden

• Resultatene kan oversettes til en annen sammenheng

Intern validitet fokuserer på å vise en forskjell som skyldes den uavhengige variabelen alene, mens resultater av ekstern validitet kan oversettes til hele verden.

Eksempler på gyldighet

Et eksempel på en studie med god intern gyldighet ville være hvis en forsker antar at bruk av en bestemt mindfulness-app vil redusere negativ stemning. For å teste denne hypotesen tildeler forskeren tilfeldig et utvalg av deltakere til en av to grupper: de som skal bruke appen over en definert periode, og de som deltar i en kontrolloppgave.

Forskeren sørger for at det ikke er noen systematisk skjevhet i hvordan deltakerne blir tildelt gruppene, og blinder også sine forskningsassistenter til gruppene studentene er i under eksperimentering.

En streng studieprotokoll brukes som skisserer prosedyrene for studien. Potensielle forvirrende variabler måles sammen med humør, som deltakernes sosioøkonomiske status, kjønn, alder, blant andre faktorer. Hvis deltakerne faller ut av studien, blir egenskapene deres undersøkt for å sikre at det ikke er noen systematisk skjevhet når det gjelder hvem som forblir i studien.

Et eksempel på en studie med god ekstern validitet ville være i eksemplet ovenfor, forskeren sørget også for at studien hadde ekstern validitet ved at deltakerne brukte appen hjemme i stedet for i laboratoriet. Forskeren definerer tydelig populasjonen av interesse og velger et representativt utvalg, og han / hun replikerer studien for forskjellige teknologiske enheter.

Et ord fra veldig bra

Å sette opp et eksperiment slik at det har god intern og ekstern validitet innebærer å være oppmerksom fra starten av faktorer som kan påvirke hvert aspekt av forskningen din.

Det er best å bruke ekstra tid på å utforme en strukturelt forsvarlig studie som har vidtrekkende implikasjoner i stedet for å raskt skynde seg gjennom designfasen bare for å oppdage problemer senere. Bare når både intern og ekstern validitet er høy, kan sterke konklusjoner trekkes om resultatene dine.

En oversikt over den vitenskapelige metoden