Hipotezy się nie potwierdziły – co napisać w wynikach i dyskusji

Wynik nieistotny statystycznie to zwykły wynik badania, a nie błąd w pracy. Typowe pytanie z pracy dyplomowej: co napisać, gdy test wyszedł nieistotny, i jak to uczciwie opisać w wynikach i dyskusji?

Przykład: Notatki czy Quizy?

Student porównał punkty z kolokwium w dwóch grupach po 5 osób: jedna powtarzała materiał z notatek, druga rozwiązywała quizy. Hipoteza: quizy dają lepszy wynik. To ten sam układ co we wpisie test t Studenta – przykład, ale tym razem różnica średnich jest mniejsza (1 punkt zamiast 3).

Test t Studenta daje t(8) = 1,00; p = 0,347; d = 0,63. Wynik jest nieistotny. Jednocześnie d Cohena = 0,63 to według umownych progów Cohena (1988) efekt średni. Oba fakty są prawdziwe naraz – i oba trzeba opisać.

Co napisać w rozdziale wyników

Zasada jest prosta: ten sam komplet liczb co przy wyniku istotnym (American Psychological Association, 2020) i jedno zdanie decyzji, sformułowane ostrożnie.

Przedział ufności i wielkość efektu zamiast „brak różnic”

Wartość p mówi tylko, jak zaskakujący byłby taki wynik, gdyby prawdziwa różnica wynosiła zero. Nie mówi, że różnica wynosi zero. Brak dowodu na efekt nie jest dowodem jego braku (Altman i Bland, 1995). Więcej mówi przedział ufności dla różnicy średnich: od −1,31 do 3,31 punktu. Dane są więc zgodne zarówno z niewielką przewagą notatek, jak i z ponad trzypunktową przewagą quizów. Uczciwy wniosek brzmi: „badanie było za małe, żeby to rozstrzygnąć” (Cumming, 2014).

Jeśli naprawdę chcesz wykazać, że różnicy praktycznie nie ma, potrzebny jest osobny test równoważności z z góry ustaloną najmniejszą ważną różnicą (Lakens, 2017). Zwykły test t tego nie pokaże. Więcej o raportowaniu efektów znajdziesz we wpisie wielkość efektu – jak liczyć i raportować.

Moc testu post hoc – dlaczego nie

Wielu studentów słyszy: „policz moc obserwowaną”. W naszym przykładzie wyszłaby około 14%. Problem w tym, że taka moc to tylko inaczej przeliczona wartość p: nieistotny wynik zawsze da niską moc obserwowaną, więc nie dowiesz się niczego nowego (Hoenig i Heisey, 2001). Zamiast tego zrób jedną z dwóch rzeczy, o których piszemy w haśle błąd II rodzaju i moc testu:

• Analiza wrażliwości. Przy 5 osobach w grupie test miał 80% szans wykryć dopiero efekt d = 2,02 – czyli bardzo duży.
• Planowana liczebność. Do wykrycia efektu średniego (d = 0,5) z mocą 80% potrzeba 64 osób w każdej grupie. To konkretna wskazówka dla przyszłych badań – szerzej opisujemy to we wpisie ile osób przebadać do pracy magisterskiej.

Co napisać w dyskusji

1. Przypomnij hipotezę i wynik jednym zdaniem, bez liczb z testu.
2. Oceń wielkość efektu i jej niepewność: kierunek zgodny z hipotezą, efekt średni, szeroki przedział ufności.
3. Porównaj z literaturą: czy inni autorzy uzyskali podobny kierunek efektu, na większych próbach?
4. Podaj możliwe wyjaśnienia: mała próba, mało rzetelny pomiar, krótki czas interwencji, specyficzna grupa badanych, a dopiero na końcu – teoria.
5. Opisz ograniczenia i rekomendacje: ile osób warto przebadać następnym razem i co zmienić w procedurze.

Pełny schemat dyskusji znajdziesz w poradniku dyskusja wyników w pracy magisterskiej, a zasady formułowania i testowania hipotez – w tekście weryfikacja hipotez w pracy magisterskiej.

Jak policzyć przedział ufności, efekt i analizę wrażliwości w R?

# Dane: punkty z kolokwium w dwóch grupach (po 5 osób)
notatki <- c(1, 2, 3, 4, 5)
quizy   <- c(2, 3, 4, 5, 6)

# 1) Test t Studenta: statystyka, p i 95% przedział ufności dla różnicy średnich
wynik <- t.test(quizy, notatki, var.equal = TRUE)
round(c(roznica = mean(quizy) - mean(notatki), t = unname(wynik$statistic),
        df = unname(wynik$parameter), p = wynik$p.value), 3)
round(as.vector(wynik$conf.int), 2)

# 2) Wielkość efektu d Cohena z 95% przedziałem ufności
d <- effectsize::cohens_d(quizy, notatki)
round(unlist(d[c("Cohens_d", "CI_low", "CI_high")]), 2)

# 3) Zamiast „mocy post hoc”: jaki efekt ten układ (5 + 5 osób)
#    wykryłby z mocą 80%? (analiza wrażliwości)
round(power.t.test(n = 5, power = 0.80, sd = 1)$delta, 2)

# 4) Ile osób w grupie trzeba, by wykryć d = 0,5 z mocą 80%?
ceiling(power.t.test(delta = 0.5, power = 0.80, sd = 1)$n)

Wynik w konsoli R:

roznica       t      df       p 
  1.000   1.000   8.000   0.347 
[1] -1.31  3.31
Cohens_d   CI_low  CI_high 
    0.63    -0.66     1.89 
[1] 2.02
[1] 64

Funkcja power.t.test z parametrem sd = 1 podaje efekt w jednostkach odchylenia standardowego, czyli wprost d Cohena.

Checklista: nieistotny wynik w pracy

• Podałeś statystykę testu, stopnie swobody, dokładne p, wielkość efektu i przedział ufności.
• Nigdzie nie ma zdań „przyjęto H0” ani „grupy się nie różnią”.
• Hipotezy są w pierwotnym brzmieniu – nie zmieniłeś ich po zobaczeniu wyników.
• Zamiast mocy obserwowanej podałeś analizę wrażliwości albo potrzebną liczebność.
• W dyskusji są wyjaśnienia, ograniczenia i konkretne rekomendacje.

Pytania, które zadają studenci

Czy promotor obniży ocenę, bo hipotezy się nie potwierdziły?

Nie powinien, bo ocenia się metodę i sposób opisu, a nie kierunek wyniku. Słabo wypada dopiero praca, w której nieistotny wynik jest ukryty, przemilczany albo „naciągnięty”.

Czy mogę zmienić hipotezę, żeby pasowała do wyników?

Nie. Dopisywanie hipotez po fakcie zniekształca wnioski. Zostaw pierwotne hipotezy, a nowe obserwacje opisz w osobnym podrozdziale jako analizy eksploracyjne.

Czy mogę dobrać jeszcze kilka osób, aż wyjdzie istotnie?

Dobieranie osób „do skutku” i ponowne testowanie zawyża ryzyko fałszywego alarmu (Simmons i in., 2011). Jeśli zbierasz dodatkowe dane, zaplanuj docelową liczebność z góry i napisz o tym w metodzie.