Rzetelność test–retest – wzór i przykład

Rzetelność test–retest mówi, na ile ten sam kwestionariusz daje te same wyniki, gdy wypełniają go te same osoby dwa razy, w odstępie kilku dni lub tygodni. Przykładowe pytanie z pracy dyplomowej: czy moja skala stresu przed sesją jest stabilna, jeśli zbadam studentów ponownie po dwóch tygodniach?

Kiedy liczyć rzetelność test–retest?

• mierzysz cechę, która z założenia jest stała w krótkim czasie (np. lęk jako cecha, styl uczenia się, poglądy);
• masz te same osoby zbadane dwa razy tym samym narzędziem;
• wynik jest liczbowy: suma lub średnia punktów ze skali.

Test–retest sprawdza stabilność w czasie. Spójność wewnętrzną pozycji jednej skali, zmierzoną raz, opisuje alfa Cronbacha i korelacja pozycja–całość. Gdy odpowiedzi to kategorie (np. „tak/nie”), zamiast ICC użyj kappy Cohena. To samo ICC opisujemy szerzej w haśle współczynnik ICC – tu „sędziami” są po prostu dwa pomiary.

Wzór na rzetelność test–retest (ICC)

Na głos: „ICC to nadwyżka różnic między osobami nad błędem, podzielona przez wszystkie źródła zmienności wyników”. Wersja (2,1) liczy w mianowniku także zmianę między pomiarami, a wersja (3,1) ją pomija.

\(n\)

liczba osób zbadanych dwa razy (tu 5)

\(k\)

liczba pomiarów (w test–retest prawie zawsze 2)

\(MS_{\text{os}}\)

średni kwadrat dla osób: jak bardzo różnią się od siebie średnie wyniki poszczególnych studentów

\(MS_{\text{cz}}\)

średni kwadrat dla czasu: jak bardzo przesunęła się średnia całej grupy między pomiarem 1 a pomiarem 2

\(MS_{\text{bł}}\)

średni kwadrat błędu: zmiany u pojedynczych osób, których nie tłumaczy ani osoba, ani wspólne przesunięcie

ICC(2,1)

zgodność bezwzględna: drugi pomiar ma dać te same liczby – to właściwa wersja dla test–retest

ICC(3,1)

spójność: wystarczy, że kolejność osób się utrzyma, nawet jeśli wszyscy dostali więcej punktów

Przykład krok po kroku

Pięcioro studentów wypełniło krótką skalę stresu przed sesją (0–15 punktów). Po dwóch tygodniach, gdy sesja była już bliżej, wypełnili ją ponownie. Średnia wszystkich 10 wyników to 80 / 10 = 8.

1. Najpierw korelacja Pearsona, dla porównania. Odchylenia pomiaru 1 od jego średniej 7: −5, −1, 1, 2, 3. Odchylenia pomiaru 2 od średniej 9: −5, 1, −1, 2, 3. Iloczyny par: 25, −1, −1, 4, 9; suma 36. Sumy kwadratów odchyleń: 25 + 1 + 1 + 4 + 9 = 40 w obu kolumnach. Zatem \(r = 36 / \sqrt{40 \cdot 40} = 36 / 40 = 0{,}90\).
2. Suma kwadratów dla osób. Każda średnia osoby powstała z 2 wyników, więc sumę z szóstej kolumny mnożymy przez k = 2: \(SS_{\text{os}} = 2 \cdot 38 = 76\). Stopnie swobody: 5 − 1 = 4, więc \(MS_{\text{os}} = 76 / 4 = 19\).
3. Suma kwadratów dla czasu. Średnie pomiarów to 7 i 9. Odchylenia od 8: −1 i 1; kwadraty: 1 i 1; suma 2. Każda średnia powstała z 5 wyników, więc \(SS_{\text{cz}} = 5 \cdot 2 = 10\). Stopnie swobody: 2 − 1 = 1, więc \(MS_{\text{cz}} = 10\).
4. Suma kwadratów błędu. Całkowita suma kwadratów to 90 (ostatnia kolumna). Odejmujemy to, co już wyjaśniliśmy: \(SS_{\text{bł}} = 90 − 76 − 10 = 4\). Stopnie swobody: (5 − 1) · (2 − 1) = 4, więc \(MS_{\text{bł}} = 4 / 4 = 1\). Sprawdzenie: zmiany 2, 4, 0, 2, 2 odbiegają od swojej średniej 2 o 0, 2, −2, 0, 0; kwadraty sumują się do 8, a 8 / 2 = 4.
5. ICC(3,1) – spójność. \((19 − 1) / (19 + 1 \cdot 1) = 18 / 20 = 0{,}90\). Tyle samo co Pearson, bo oba pomiary mają tu tę samą wariancję (40 / 4 = 10).
6. ICC(2,1) – zgodność bezwzględna. Dodatkowy składnik mianownika: \(\frac{2}{5} \cdot (10 − 1) = 0{,}4 \cdot 9 = 3{,}6\). Zatem \(ICC = 18 / (19 + 1 + 3{,}6) = 18 / 23{,}6 = 0{,}763\), po zaokrągleniu 0,76.
7. Test F. \(F = MS_{\text{os}} / MS_{\text{bł}} = 19 / 1 = 19{,}00\) przy df = 4 i 4. Wartość krytyczna z tablic rozkładu F dla α = 0,05 to 6,39 (w R: qf(0.95, 4, 4)). Ponieważ 19 > 6,39, wynik jest istotny; dokładnie p = 0,007.

Pearson czy ICC do rzetelności test–retest?

Wybierz ICC. Pearson odpowiada tylko na pytanie, czy osoby zachowały kolejność. Jeśli wszyscy w drugim pomiarze dostaliby dokładnie 2 punkty więcej, r wyniósłby 1, choć żaden wynik się nie powtórzył. ICC(2,1) traktuje takie przesunięcie jako brak zgodności. W naszym przykładzie różnica jest wyraźna: r = 0,90, a ICC(2,1) = 0,76. Warto też osobno sprawdzić, czy średnia się zmieniła, np. testem t dla prób zależnych: tu t(4) = 3,16; p = 0,034. Przesunięcie średniej może mieć sensowną przyczynę (zbliżająca się sesja), ale wtedy dwa pomiary nie są wymienne.

Ważny jest też odstęp między pomiarami. Za krótki sprawi, że ludzie zapamiętają swoje odpowiedzi. Za długi sprawi, że cecha naprawdę się zmieni. Uzasadnij swój wybór w opisie metody.

Jak zinterpretować i opisać wynik?

Koo i Li (2016) proponują progi: poniżej 0,50 – rzetelność słaba, 0,50–0,75 – umiarkowana, 0,75–0,90 – dobra, powyżej 0,90 – doskonała. ICC(2,1) = 0,76 leży tuż nad granicą „dobrej”. Przedział ufności od −0,09 do 0,97 pokazuje jednak, że przy 5 osobach prawie nic nie wiemy na pewno. Ci sami autorzy zalecają co najmniej 30 zróżnicowanych osób w badaniu rzetelności.

Jak policzyć rzetelność test–retest w R?

pomiar_1 <- c(2, 6,  8,  9, 10)   # stres przed sesją, pierwszy pomiar
pomiar_2 <- c(4, 10, 8, 11, 12)   # te same osoby dwa tygodnie później

# 1) korelacja Pearsona – widzi tylko, czy kolejność osób się utrzymała
cor(pomiar_1, pomiar_2)                                       # 0,90

# 2) ICC „ręcznie” z tabeli ANOVA (n = 5 osób, k = 2 pomiary)
X <- cbind(pomiar_1, pomiar_2); n <- 5; k <- 2; M <- mean(X)  # M = 8
SS_os  <- k * sum((rowMeans(X) - M)^2)                        # 76
SS_cz  <- n * sum((colMeans(X) - M)^2)                        # 10
SS_bl  <- sum((X - M)^2) - SS_os - SS_cz                      # 90 - 76 - 10 = 4
MS_os <- SS_os / (n - 1); MS_cz <- SS_cz / (k - 1); MS_bl <- SS_bl / ((n - 1) * (k - 1))
c(MS_os = MS_os, MS_cz = MS_cz, MS_bl = MS_bl)                # 19, 10, 1
c(ICC_2_1 = (MS_os - MS_bl) / (MS_os + (k - 1) * MS_bl + k * (MS_cz - MS_bl) / n),
  ICC_3_1 = (MS_os - MS_bl) / (MS_os + (k - 1) * MS_bl))

# 3) gotową funkcją z pakietu psych
w <- psych::ICC(X)$results[1:3, ]
data.frame(typ = w$type, ICC = round(w$ICC, 3), F = round(w$F, 2), p = round(w$p, 3),
           CI_dolna = round(w$`lower bound`, 2), CI_gorna = round(w$`upper bound`, 2))

Wynik w konsoli R:

[1] 0.9
MS_os MS_cz MS_bl 
   19    10     1 
  ICC_2_1   ICC_3_1 
0.7627119 0.9000000 
   typ   ICC     F     p CI_dolna CI_gorna
1 ICC1 0.743  6.79 0.030    -0.04     0.97
2 ICC2 0.763 19.00 0.007    -0.09     0.97
3 ICC3 0.900 19.00 0.007     0.33     0.99

Wartości „ręczne” i wynik psych::ICC() są identyczne: 0,763 i 0,900. Do opisu test–retest wybierz wiersz ICC2 (zgodność bezwzględna, pojedynczy pomiar).

Najczęstsze błędy

• Podawanie samej korelacji Pearsona jako „rzetelności test–retest” – nie widzi ona przesunięcia średniej.
• Brak informacji, którą wersję ICC policzono (model, typ, jednostka).
• Badanie zbyt małej grupy i ocenianie wyniku tylko po wartości punktowej, bez przedziału ufności.
• Odstęp między pomiarami dobrany „jak wyszło”, bez uzasadnienia.
• Liczenie test–retest dla cechy, która z natury szybko się zmienia (np. nastrój dnia).