Jak odpowiedzieć na recenzję statystyczną – przykłady odpowiedzi

Recenzja statystyczna to lista uwag do analiz w artykule: moc, poprawki, założenia, wielkość efektu, wnioski przyczynowe. Typowe pytanie po decyzji „major revision”: jak odpowiedzieć rzeczowo, co doliczyć, a z czym można się uprzejmie nie zgodzić?

Jak zbudować list odpowiedzi do recenzentów?

1. Zacytuj uwagę. Każdą uwagę wklej w całości i ponumeruj (R1.1, R1.2, R2.1…).
2. Odpowiedz krótko i konkretnie. Jedno zdanie podziękowania wystarczy, potem przejdź do rzeczy.
3. Pokaż zmianę. Wklej nowy fragment tekstu i podaj stronę oraz wiersz w poprawionej wersji.
4. Podaj liczby. Jeżeli policzyłeś coś nowego, wpisz wynik w odpowiedzi, a nie tylko „uzupełniono”.
5. Nie zgadzaj się bez argumentu. Gdy uważasz, że uwaga jest chybiona, odpowiedz źródłem metodologicznym albo dodatkową analizą.

Najczęstsze uwagi recenzentów i co z nimi zrobić

Przykłady opieramy na małym badaniu z wpisu o sekcji „Analiza statystyczna” w artykule: grupa trening i grupa kontrolna po 5 osób, trzy zmienne zależne – stres, koncentracja i sen. W pierwszej wersji autor podał trzy testy t bez korekty i bez przedziałów ufności.

Przykładowe odpowiedzi do zaadaptowania

Przykład w R: poprawka Holma i przedziały ufności do istniejących wyników

Najczęstsza prośba to „dodaj korektę i przedziały ufności” – tego wymaga też standard JARS (Appelbaum i in., 2018). Nie musisz zmieniać całej analizy – wystarczy kilka linii. Funkcja p.adjust() poprawia wartości p, t.test() zwraca przedział ufności dla różnicy średnich, a pakiet effectsize – d z przedziałem. Ostatnia linia to analiza wrażliwości z funkcji power.t.test(). Jak wygląda pełny opis porównania dwóch grup z tabelą i rysunkiem, zobaczysz w przykładowym raporcie z testu t.

# Dane z artykułu: grupa kontrolna vs trening uważności (n = 5 + 5), trzy zmienne zależne
badanie <- data.frame(
  grupa = factor(rep(c("Kontrolna", "Trening"), each = 5), levels = c("Kontrolna", "Trening")),
  stres = c(5, 6, 7, 8, 9, 1, 2, 3, 4, 5),
  koncentracja = c(3, 5, 5, 6, 6, 5, 7, 7, 8, 8),
  sen = c(5, 6, 7, 8, 9, 6, 7, 8, 9, 10))
zmienne <- c("stres", "koncentracja", "sen")

# Recenzent: „brak korekty wielokrotnych porównań i przedziałów ufności”
wyniki <- t(sapply(zmienne, function(z) {
  tt <- t.test(badanie[[z]][badanie$grupa == "Trening"],
               badanie[[z]][badanie$grupa == "Kontrolna"])   # różnica: Trening − Kontrolna
  d <- effectsize::cohens_d(badanie[[z]][badanie$grupa == "Trening"],
                            badanie[[z]][badanie$grupa == "Kontrolna"])
  c(roznica = unname(diff(rev(tt$estimate))), ci_low = tt$conf.int[1], ci_high = tt$conf.int[2],
    t = unname(tt$statistic), p = tt$p.value, d = d$Cohens_d, d_low = d$CI_low, d_high = d$CI_high)
}))
wyniki <- cbind(wyniki, p_holm = p.adjust(wyniki[, "p"], method = "holm"))  # poprawka Holma
round(wyniki[, c("t", "p", "p_holm")], 3)
round(wyniki[, c("roznica", "ci_low", "ci_high", "d", "d_low", "d_high")], 2)

# Recenzent: „za mała próba” – analiza wrażliwości zamiast mocy post hoc
power.t.test(n = 5, sig.level = 0.05, power = 0.80)$delta          # najmniejsze d wykrywalne z mocą 80%

Wynik w konsoli R:

                  t     p p_holm
stres        -4.000 0.004  0.012
koncentracja  2.582 0.033  0.065
sen           1.000 0.347  0.347
             roznica ci_low ci_high     d d_low d_high
stres             -4  -6.31   -1.69 -2.53 -4.23  -0.75
koncentracja       2   0.21    3.79  1.63  0.13   3.07
sen                1  -1.31    3.31  0.63 -0.66   1.89
[1] 2.024438

Pierwsza tabela pokazuje, co zmienia poprawka: najmniejsze p mnożymy przez 3, drugie przez 2, a trzecie zostaje bez zmian, z zachowaniem kolejności (0,0039 · 3 = 0,012; 0,0325 · 2 = 0,065). Wzór krok po kroku znajdziesz w haśle poprawka Holma i FDR, a obliczenie przedziału – w haśle przedział ufności dla różnicy średnich.

Co zrobić, gdy po poprawce wynik przestał być istotny?

Napisz to wprost i zmień wnioski. Brak istotności po korekcie nie oznacza, że trening nie działa na koncentrację – oznacza, że te dane nie dają podstaw do odrzucenia hipotezy zerowej przy kontroli błędu dla trzech testów. Podaj różnicę z przedziałem ufności i wskaż, że potrzebne jest większe badanie. Jak opisać taki wynik bez tłumaczenia się, pokazujemy we wpisie hipotezy się nie potwierdziły. Jak liczyć i opisywać efekty, pokazujemy we wpisie wielkość efektu – jak liczyć i raportować.

Czy można nie zgodzić się z recenzentem?

Tak, jeśli masz argument. Przykład: recenzent prosi o moc obliczoną z uzyskanego efektu. Możesz grzecznie wyjaśnić, że taka moc nic nowego nie mówi, bo wynika z wartości p (Hoenig i Heisey, 2001), i w zamian podać analizę wrażliwości albo uzasadnienie liczebności (Lakens, 2022). Redaktor zwykle przyjmuje taką odpowiedź, gdy widzi, że problem potraktowano poważnie. Jak zaplanować liczebność od początku, opisujemy w poradniku o analizie mocy do grantu i artykułu.

Najczęstsze błędy w odpowiedziach na recenzję

• Odpowiedź „poprawiono” bez wskazania miejsca zmiany i bez nowego wyniku.
• Poprawka tylko dla części testów albo zmiana metody korekty, aż wynik się utrzyma.
• Moc post hoc jako argument, że „badanie miało wystarczającą moc”.
• Dopisanie wielkości efektu bez przedziału ufności.
• Pozostawienie języka przyczynowego w abstrakcie, choć poprawiono go w wynikach.