10 Hypotesetesting
Ida påstår at hun kan smake forskjell på to colamerker. Et nytt læringsopplegg skal gi bedre resultater. En terning ser ut til å gi mange seksere. I alle tilfellene har vi data, og spørsmålet er det samme: Kan resultatet skyldes tilfeldigheter, eller er det noe mer? En hypotesetest gir en systematisk måte å svare på. Vi antar at bare tilfeldigheter er i sving, og regner ut hvor sannsynlig det da er å få et så ekstremt resultat som det vi fikk. Er det svært lite sannsynlig, forkaster vi antakelsen.
Last ned oppgaveheftet for kapittel 10 (PDF): oppsummering, gjennomregnede eksempler og oppgaver med fasit, til arbeid uten PC.
Læringsmål
Etter å ha arbeidet med kapittelet skal du kunne
- forklare idéen bak en hypotesetest, og bruke simulering til å finne en p-verdi,
- formulere nullhypotese og alternativ hypotese,
- gjennomføre hypotesetester med binomisk fordeling og med normalfordeling,
- velge mellom ensidig og tosidig test, og bruke et signifikansnivå,
- forklare type I- og type II-feil, og skille mellom statistisk og praktisk signifikans,
- gjennomføre en hypotesetest på et reelt datasett og tolke resultatet.
10.1 Hypotesetester
Seksjonen handler om idéen bak en hypotesetest og om de to testene vi bruker i dette faget: med binomisk fordeling når utvalget er lite, og med normalfordeling når det er stort.
10.1.1 Kan det være tilfeldig?
Ida påstår at hun kan smake forskjell på Coca-Cola og Pepsi. Klassen setter opp en blindtest: Hun får \(10\) glass, ett om gangen, og skal si hvilket merke det er. Hun svarer riktig på \(8\). Er det bevis for at hun kan smake forskjell? Ikke nødvendigvis. Også den som bare gjetter, får av og til \(8\) riktige. Spørsmålet er hvor ofte.
Læringsmål
Etter dette delkapittelet skal du kunne
- forklare hva en nullhypotese og en alternativ hypotese er,
- finne en p-verdi med simulering,
- trekke en konklusjon ut fra p-verdien.
Nullhypotesen
Vi later som om nullhypotesen er sann, og spør: Hvor sannsynlig er det da å få et resultat som er minst like ekstremt som det vi fikk?
p-verdien
Hvis Ida gjetter, er antall riktige som \(10\) myntkast. Figuren viser resultatet av \(10\,000\) simulerte blindtester der hun gjetter.
I \(5{,}4\ \%\) av de simulerte testene fikk den som gjettet, minst \(8\) riktige (de røde søylene). Dette tallet kalles p-verdien.
For Ida er p-verdien omtrent \(0{,}05\). Det er ikke svært sjeldent å få \(8\) riktige ved å gjette, omtrent én gang av tjue. Testen gir ikke sterkt bevis for at hun kan smake forskjell. Hadde hun fått \(9\) riktige, ville p-verdien vært omtrent \(0{,}01\), som er mye sterkere bevis.
- p-verdien er ikke sannsynligheten for at \(H_0\) er sann. Den er sannsynligheten for dataene (eller noe mer ekstremt) gitt at \(H_0\) er sann.
- En stor p-verdi beviser ikke at \(H_0\) er sann. Den betyr bare at dataene ikke gir sterke nok bevis mot den.
- «Minst like ekstremt» betyr i retningen til \(H_1\): For Ida er det \(8\), \(9\) eller \(10\) riktige, ikke bare \(8\).
Oppgaver
Start på nivå 1. Når du får til de fleste oppgavene på et nivå, går du videre til neste. Utfordringene til slutt er for deg som vil prøve deg på noe vanskeligere.
Nivå 1
Nivå 2
Kodeoppgaver
Oppgaven skal løses uten PC. Bruk kodecellen etter oppgaven til å sjekke svaret ditt etterpå.
Utfordringer
Oppsummering
Nullhypotese
\(H_0\): ingen effekt, bare tilfeldigheter.
p-verdi
Sannsynligheten for et minst like ekstremt resultat når \(H_0\) er sann.
Konklusjon
Liten p-verdi: forkast \(H_0\). Stor p-verdi: behold \(H_0\).
- p-verdien er ikke sannsynligheten for at \(H_0\) er sann.
- Å beholde \(H_0\) er ikke det samme som å bevise den.
10.1.2 Hypotesetest med binomisk fordeling
I 10.1.1 fant vi p-verdien for colatesten med simulering. Men antall riktige når Ida gjetter, er binomisk fordelt, \(X \sim B(10;\ 0{,}5)\). Da kan vi finne den eksakte p-verdien med tabellen i bilag A: \(P(X \ge 8) = 1 - P(X \le 7)\), som er \(1 - 0{,}9453 = 0{,}0547\). Det er det samme som simuleringen ga, men uten PC.
Læringsmål
Etter dette delkapittelet skal du kunne
- gjennomføre en hypotesetest i fem steg,
- regne ut p-verdien med binomisk fordeling,
- bruke et signifikansnivå til å trekke en konklusjon.
Signifikansnivå
Hvor liten må p-verdien være før vi forkaster \(H_0\)? Det bestemmer vi før vi ser på dataene.
Fem steg
- p-verdien er \(P(X \ge x)\), ikke \(P(X = x)\) og ikke \(P(X > x)\). Det observerte resultatet skal være med.
- Retningen i p-verdien følger \(H_1\): \(P(X \ge x)\) når \(H_1\) er \(p > p_0\), og \(P(X \le x)\) når \(H_1\) er \(p < p_0\).
- Velg \(\alpha\) og \(H_1\) før du ser på dataene.
- Konklusjonen skal stå i konteksten, ikke bare «forkast \(H_0\)».
Oppgaver
Start på nivå 1. Når du får til de fleste oppgavene på et nivå, går du videre til neste. Utfordringene til slutt er for deg som vil prøve deg på noe vanskeligere.
Nivå 1
Nivå 2
Kodeoppgaver
Oppgaven skal løses uten PC. Bruk kodecellen etter oppgaven til å sjekke svaret ditt etterpå.
Utfordringer
Oppsummering
Hypoteser
\(H_0\): \(p = p_0\). \(H_1\): \(p > p_0\) eller \(p < p_0\).
Testobservator
\(X \sim B(n, p_0)\) under \(H_0\)
p-verdi
\(P(X \ge x)\) eller \(P(X \le x)\), i retningen til \(H_1\)
Konklusjon
Forkast \(H_0\) hvis p-verdien \(\le \alpha\).
- Velg \(H_1\) og \(\alpha\) før du ser på dataene.
- Når \(p_0 > 0{,}5\), tell fiaskoene for å bruke tabellen.
10.1.3 Hypotesetest med normalfordeling
Med \(55\,401\) fødsler kan vi ikke bruke tabellen over binomisk fordeling. Men vi vet fra kapittel 8 at \(\hat{p}\) og \(\bar{x}\) er omtrent normalfordelte når utvalget er stort. Da måler vi hvor mange standardfeil observatoren ligger fra verdien i \(H_0\), og finner p-verdien med normalfordelingen.
Læringsmål
Etter dette delkapittelet skal du kunne
- gjennomføre en hypotesetest for en andel med normalfordeling,
- gjennomføre en hypotesetest for et gjennomsnitt med normalfordeling,
- vurdere forutsetningene for testene.
Test for andel
Under \(H_0\): \(p = p_0\) er \(\hat{p} \approx N\!\left(p_0, \sqrt{\frac{p_0(1 - p_0)}{n}}\right)\) (8.1.4). Vi standardiserer.
I testen bruker vi \(p_0\) i standardfeilen, ikke \(\hat{p}\), fordi vi regner som om \(H_0\) er sann.
Test for gjennomsnitt
- I testen for andel brukes \(p_0\) i standardfeilen, ikke \(\hat{p}\).
- Del på standardfeilen (\(\frac{s}{\sqrt{n}}\)), ikke på \(s\).
- Sjekk forutsetningene: stort utvalg og tilfeldig utvalg.
- Fortegnet til \(z\) skal passe med \(H_1\). Får du \(z > 0\) når \(H_1\) er \(\mu < \mu_0\), er p-verdien større enn \(0{,}5\).
Oppgaver
Start på nivå 1. Når du får til de fleste oppgavene på et nivå, går du videre til neste. Utfordringene til slutt er for deg som vil prøve deg på noe vanskeligere.
Nivå 1
Nivå 2
Kodeoppgaver
Oppgaven skal løses uten PC. Bruk kodecellen etter oppgaven til å sjekke svaret ditt etterpå.
Utfordringer
Oppsummering
Test for andel
\[ z = \frac{\hat{p} - p_0}{\sqrt{p_0(1 - p_0)/n}} \]
Test for gjennomsnitt
\[ z = \frac{\bar{x} - \mu_0}{s / \sqrt{n}} \]
p-verdi
\(P(Z \ge z)\) eller \(P(Z \le z)\), i retningen til \(H_1\)
- Bruk \(p_0\), ikke \(\hat{p}\), i standardfeilen i testen for andel.
- Krever store utvalg: \(np_0 \ge 10\) og \(n(1 - p_0) \ge 10\), eller \(n \ge 30\).
10.2 Tolke tester
Seksjonen handler om valgene vi gjør når vi setter opp en test, og om hva en test kan og ikke kan si. Til slutt gjennomfører vi en hypotesetest på et reelt datasett.
10.2.1 Signifikansnivå og ensidige og tosidige tester
Du lurer på om en mynt er skjev, men du vet ikke om den gir for mye kron eller for mye mynt. Du kaster den \(100\) ganger og får \(59\) kron. Til nå har den alternative hypotesen hatt en retning, som \(p > 0{,}5\). Her vil du reagere på avvik i begge retninger. Det gir en tosidig test, og p-verdien blir dobbelt så stor.
Læringsmål
Etter dette delkapittelet skal du kunne
- velge mellom ensidig og tosidig alternativ hypotese,
- regne ut p-verdien for en tosidig test,
- bruke kritiske verdier og forklare sammenhengen med konfidensintervaller.
Ensidig og tosidig
Retningen skal bestemmes før vi ser på dataene. Ser vi først at det ble mange kron og så velger \(H_1\): \(p > 0{,}5\), får vi en for liten p-verdi.
Kritiske verdier
I stedet for å regne ut p-verdien kan vi sammenlikne \(z\) med en kritisk verdi. Med \(\alpha = 0{,}05\) forkaster vi \(H_0\) når
| \(H_1\) | Forkast \(H_0\) når |
|---|---|
| \(p > p_0\) | \(z \ge 1{,}645\) |
| \(p < p_0\) | \(z \le -1{,}645\) |
| \(p \ne p_0\) | \(z \le -1{,}96\) eller \(z \ge 1{,}96\) |
Verdiene der vi forkaster, kalles forkastningsområdet.
Figuren viser den venstre halen av forkastningsområdet for en tosidig test med \(\alpha = 0{,}05\): arealet \(0{,}025\) under \(-1{,}96\). Det er like mye over \(1{,}96\).
Tosidig test og konfidensintervall
Det er en nær sammenheng mellom en tosidig test med \(\alpha = 0{,}05\) og et \(95\ \%\) konfidensintervall: Vi forkaster \(H_0\): \(p = p_0\) omtrent når \(p_0\) ligger utenfor konfidensintervallet. For mynten er intervallet
\[ 0{,}59 \pm 1{,}96 \cdot \sqrt{\frac{0{,}59 \cdot 0{,}41}{100}} = 0{,}59 \pm 0{,}096 \]
altså fra \(0{,}494\) til \(0{,}686\). Det inneholder \(0{,}5\), og testen beholder \(H_0\). (Sammenhengen er ikke helt nøyaktig, fordi testen bruker \(p_0\) og intervallet \(\hat{p}\) i standardfeilen.)
- Velg ensidig eller tosidig før du ser på dataene.
- I en tosidig test skal p-verdien dobles: \(2 \cdot P(Z \ge |z|)\).
- Kritisk verdi for tosidig test med \(\alpha = 0{,}05\) er \(1{,}96\), for ensidig \(1{,}645\).
- \(\alpha\) skal bestemmes på forhånd, ikke justeres etterpå for å få det resultatet man ønsker.
Oppgaver
Start på nivå 1. Når du får til de fleste oppgavene på et nivå, går du videre til neste. Utfordringene til slutt er for deg som vil prøve deg på noe vanskeligere.
Nivå 1
Nivå 2
Kodeoppgaver
Oppgaven skal løses uten PC. Bruk kodecellen etter oppgaven til å sjekke svaret ditt etterpå.
Utfordringer
Oppsummering
Ensidig test
\(H_1\): \(p > p_0\) eller \(p < p_0\)
Tosidig test
\(H_1\): \(p \ne p_0\). p-verdi \(= 2 \cdot P(Z \ge |z|)\)
Kritiske verdier (\(\alpha = 0{,}05\))
Ensidig: \(1{,}645\). Tosidig: \(1{,}96\).
Test og konfidensintervall
Tosidig test med \(\alpha = 0{,}05\) forkaster omtrent når \(p_0\) er utenfor \(95\ \%\)-intervallet.
- Retning og \(\alpha\) velges før dataene ses.
10.2.2 Feil og tolkning
En hypotesetest ligner en rettssak. Den tiltalte er uskyldig til det motsatte er bevist (\(H_0\)). Retten dømmer bare når bevisene er sterke nok (liten p-verdi). Likevel kan retten ta feil på to måter: dømme en uskyldig, eller frikjenne en skyldig. Slik kan også en hypotesetest gi feil konklusjon, selv når alt er regnet riktig.
Læringsmål
Etter dette delkapittelet skal du kunne
- forklare type I-feil og type II-feil,
- forklare hvorfor en liten test lett overser en virkelig effekt,
- skille mellom statistisk og praktisk signifikans,
- forklare hvorfor mange tester gir signifikante resultater ved en tilfeldighet.
To typer feil
Med lavere \(\alpha\) blir type I-feil sjeldnere, men type II-feil vanligere. Den eneste måten å redusere begge på er et større utvalg.
Statistisk og praktisk signifikans
«Statistisk signifikant» betyr bare at avviket neppe skyldes tilfeldigheter. Det betyr ikke at avviket er stort eller viktig.
Mange tester
Med \(\alpha = 0{,}05\) forkaster vi en sann \(H_0\) i \(5\ \%\) av testene. Gjør vi mange tester, vil noen av dem bli signifikante bare av tilfeldigheter. Leter man gjennom mange tester og rapporterer bare de signifikante, kalles det p-hacking.
- Å beholde \(H_0\) er ikke det samme som å bevise den. En liten test kan lett overse en virkelig effekt (type II-feil).
- «Statistisk signifikant» betyr ikke «stort» eller «viktig».
- p-verdien er ikke sannsynligheten for at \(H_0\) er sann.
- Mange tester gir signifikante resultater ved en tilfeldighet. Vær skeptisk til resultater som er plukket ut blant mange.
Oppgaver
Start på nivå 1. Når du får til de fleste oppgavene på et nivå, går du videre til neste. Utfordringene til slutt er for deg som vil prøve deg på noe vanskeligere.
Nivå 1
Nivå 2
Kodeoppgaver
Oppgaven skal løses uten PC. Bruk kodecellen etter oppgaven til å sjekke svaret ditt etterpå.
Utfordringer
Oppsummering
Type I-feil
Forkaste en sann \(H_0\). Sannsynlighet \(\alpha\).
Type II-feil
Beholde en usann \(H_0\). Mindre med større utvalg.
Styrke
Sannsynligheten for å oppdage en virkelig effekt.
Mange tester
\(P(\text{minst én signifikant}) = 1 - (1 - \alpha)^k\)
- Statistisk signifikant betyr ikke stort eller viktig.
- Å beholde \(H_0\) beviser den ikke.
10.2.3 Undersøkelse: Hypotesetest på reelle data
Se på folketallene i de norske kommunene: Oslo har \(728\,714\), Bergen rundt \(293\,000\), Utsira \(200\). Hvor stor andel av folketallene begynner på sifferet \(1\)? Kanskje en niendedel, siden det er ni mulige første sifre? Den amerikanske fysikeren Frank Benford la i 1938 merke til at i mange slags tall fra virkeligheten begynner omtrent \(30\ \%\) på \(1\) og bare \(5\ \%\) på \(9\). Dette kalles Benfords lov. Gjelder den for kommunene i Norge?
I denne undersøkelsen velger du selv spørsmål, hypoteser og test, og går gjennom hele prosessen på et reelt datasett.
Læringsmål
Etter dette delkapittelet skal du kunne
- formulere hypoteser om et reelt datasett,
- velge og gjennomføre en passende hypotesetest,
- tolke resultatet i konteksten og vurdere forutsetninger og begrensninger.
Datasettene
| Fil | Variabler |
|---|---|
kommuner-folketall-2026.csv |
folketall for de \(357\) kommunene |
fodte-kjonn.csv |
levendefødte gutter og jenter i Norge hvert år 1972–2025 |
fodte-kommuner-2025.csv |
levendefødte gutter og jenter i hver kommune i 2025 |
fodte-maned.csv |
levendefødte i hver måned 1966–2025 |
Benfords lov sier at sannsynligheten for at første siffer er \(d\), er \(\log_{10}\!\left(1 + \frac{1}{d}\right)\):
| Første siffer | Benford |
|---|---|
| 1 | \(0{,}301\) |
| 2 | \(0{,}176\) |
| 3 | \(0{,}125\) |
| 4 | \(0{,}097\) |
| 5 | \(0{,}079\) |
| 6 | \(0{,}067\) |
| 7 | \(0{,}058\) |
| 8 | \(0{,}051\) |
| 9 | \(0{,}046\) |
Oppgaven
Velg ett spørsmål, eller lag ditt eget:
- Er andelen kommuner med folketall som begynner på \(1\) større enn \(\frac{1}{9}\)? Passer den med Benfords lov?
- Ble det født flere gutter enn jenter i et bestemt år, eller i en bestemt kommune?
- Ble det født færre barn i desember enn modellen med like sannsynlige dager sier, i et år du velger?
- Har andelen gutter endret seg fra 1970-tallet til 2020-tallet?
Gå gjennom alle fire stegene, og skriv en kort rapport. Rapporten skal ha med hypotesene med begrunnelse for valget av ensidig eller tosidig test, testobservatoren og forutsetningene, p-verdien, konklusjonen i konteksten, en vurdering av praktisk betydning, og begrensninger.
Oppgaver
Oppgavene under kan løses uten notatboka.
Nivå 1
Nivå 2
Oppsummering
Hypotesetest på reelle data
Spørsmål, hypoteser (ensidig eller tosidig), testobservator og forutsetninger, p-verdi, konklusjon i konteksten, praktisk betydning og begrensninger.
- Å beholde \(H_0\) betyr at dataene passer med den, ikke at den er bevist.
10.3 Oppgaver
Oppgavene blander stoff fra hele kapittelet.
10.4 Oppsummering
Hypotesetester
Fem steg
Hypoteser, signifikansnivå, testobservator, p-verdi, konklusjon i konteksten.
Binomisk test
\(X \sim B(n, p_0)\), p-verdi \(P(X \ge x)\) eller \(P(X \le x)\)
Test for andel
\[ z = \frac{\hat{p} - p_0}{\sqrt{p_0(1 - p_0)/n}} \]
Test for gjennomsnitt
\[ z = \frac{\bar{x} - \mu_0}{s / \sqrt{n}} \]
Tosidig p-verdi
\[ 2 \cdot P(Z \ge |z|) \]
Kritiske verdier (\(\alpha = 0{,}05\))
Ensidig: \(1{,}645\). Tosidig: \(1{,}96\).
- Forkast \(H_0\) når p-verdien \(\le \alpha\).
- Velg \(H_1\) og \(\alpha\) før du ser på dataene.
Tolkning
p-verdi
Sannsynligheten for et minst like ekstremt resultat når \(H_0\) er sann. Ikke sannsynligheten for at \(H_0\) er sann.
Type I og type II
Forkaste sann \(H_0\) (sannsynlighet \(\alpha\)), beholde usann \(H_0\).
- Å beholde \(H_0\) beviser den ikke.
- Statistisk signifikant betyr ikke stort eller viktig.
- Mange tester gir signifikante resultater ved en tilfeldighet.