ReproducibiliTea — Nauka w kryzysie to prowadzony w formacie ReproducibiliTea cykl spotkań, których celem jest przybliżenie idei Otwartej Nauki zarówno osobom studiującym, jak i wszystkim zainteresowanym nauką. W jego trakcie podejmiemy również próbę zdiagnozowania problemów, na które ruch Otwartej Nauki stara się odpowiedzieć.
Spotkania i dyskusje odbywają się co dwa tygodnie, w czwartki o godzinie 19:00, stacjonarnie na Wydziale Fizyki UW (Pasteura 5) w auli 0.06 oraz online pod podanym linkiem. Podczas każdego spotkania zostanie zaprezentowany wybrany artykuł, poświęcony diagnozie lub próbie rozwiązania jednego z aspektów kryzysu w nauce. Artykuły będą przedstawiane w przystępny sposób, a po każdej prezentacji planowana jest dyskusja zarówno na żywo, jak i online.
Wraz ze Stowarzyszeniem na rzecz Otwartej Nauki, wydarzenia współorganizują: Koło Naukowe Neuroinformatyki i SKN Neurobiologii na Uniwersytecie Warszawskim, Studenckie Koło Open Science z SWPSu, Sekcja Metanauki oraz Koło Naukowe Studentów Psychologii z Uniwersytetu Jagiellońskiego.
Nadchodzące spotkanie
Statystyczne rytuały
Statistical Rituals: The Replication Delusion and How We Got There
Gerd Gigerenzer omawia problem replikacji w badaniach naukowych, koncentrując się na rytuałach statystycznych, które zdominowały praktykę badawczą. Autor argumentuje, że nadmierne poleganie na standardowych, lecz błędnych procedurach statystycznych prowadzi do pozornie solidnych wyników, podczas gdy ich rzeczywista wartość naukowa jest niska. Przedstawione są również historyczne i kulturowe czynniki, które przyczyniły się do sytuacji, w której formalne procedury statystyczne często przysłaniają troskę o rzetelność naukową. W artykule proponowane jest alternatywne podejście mające na celu zwiększenie wiarygodności wyników badań.
Kolejne spotkania
Manifest Otwartej Nauki
A manifesto for reproducible science
„Manifest na rzecz reprodukowalnej nauki” przedstawia konkretne działania mające na celu zwiększenie wiarygodności wyników badań naukowych oraz przyspieszenie postępów w nauce. Autorzy proponują zmiany w takich obszarach jak: metody badawcze, raportowanie wyników, oraz system oceny i awansów w nauce. Autorzy prezentują dowody sugerujące, że te reformy mogą skutecznie poprawić jakość badań, jednak ich pełne wdrożenie będzie wymagało ciągłej oceny i udoskonaleń. Artykuł podkreśla ich znaczenie dla stworzenia bardziej przejrzystego i efektywnego systemu naukowego.
O potrzebie krytycznej metanauki
The case for formal methodology in scientific reform
Artykuł krytycznie ocenia obecne próby reformy metodologicznej w nauce, wskazując na brak rygoru i nadmierne uogólnienia w tych inicjatywach. Autorzy twierdzą, że związane z nimi problemy wynikają częściowo z braku formalizmu i niedostatecznego oparcia na podstawowych zasadach naukowych. W obliczu ryzyka, jakie niesie przyjęcie problematycznych postulatów, postulują wprowadzenie rygorystycznych standardów statystycznych oraz większej subtelności naukowej w reformach. Proponują pięcioetapowe, formalne podejście do rozwiązywania problemów metodologicznych, ilustrując jego korzyści poprzez analizę trzech popularnych, lecz błędnych twierdzeń: (i) że reprodukowalność jest fundamentem nauki; (ii) że dane nie mogą być używane więcej niż raz w żadnej analizie; oraz (iii) że badania eksploracyjne wiążą się z nieprawidłową praktyką statystyczną.
Triangulacje
Robust research needs many lines of evidence
Solidne badania naukowe wymagają uwzględnienia wielu niezależnych źródeł dowodów. Autorzy krytykują nadmierne poleganie na pojedynczych badaniach lub metodach, podkreślając, że taka praktyka może prowadzić do błędnych wniosków i niepełnego obrazu rzeczywistości. Zamiast tego, proponują podejście polegające na łączeniu różnych metodologii i źródeł danych, co pozwala na bardziej wszechstronne i wiarygodne wnioski. Artykuł podkreśla znaczenie integracji wielu linii dowodów dla zwiększenia odporności badań naukowych na błędy i zmienność wyników.
Co zamiast p-value
The reign of the p-value is over: what alternative analyses could we employ to fill the power vacuum?
Autorzy zwracają uwagę na to, że p-value dostarcza jedynie ograniczonych informacji i jest podatne na błędną interpretację. Choć wielu badaczy zdaje sobie sprawę z tych słabości, nie zawsze wiedzą, jak zmienić sposób analizowania danych. Artykuł przedstawia cztery alternatywne podejścia statystyczne, które mogą zastąpić lub uzupełnić p-value, jednocześnie będąc stosunkowo prostymi do wdrożenia. Pierwsze podejście obejmuje wzbogacenie p-value o dodatkowe informacje. Drugie skupia się na efektach i ocenie ich precyzji zamiast samej istotności statystycznej. Trzecia opcja to zastosowanie czynnika Bayesa do oceny poziomów dowodów na rzecz hipotezy zerowej i alternatywnej, co jest szczególnie przydatne w badaniach z ciągłym zbieraniem danych. Wreszcie, Kryterium Informacyjne Akaikego (AIC) może zastąpić p-value w modelach predykcyjnych, dostarczając informacji o najlepszym modelu.
Wyjaśniać, czy przewidywać
To Explain or to Predict?
„Wyjaśniać, czy przewidywać” omawia różnicę między modelowaniem wyjaśniającym a predykcyjnym która, choć kluczowa dla rozwoju wiedzy naukowej, jest często zaniedbywana. W wielu dyscyplinach modelowanie statystyczne stosowane jest niemal wyłącznie do wyjaśnień przyczynowych, przy założeniu, że modele o wysokiej mocy wyjaśniającej mają również wysoką zdolność predykcyjną. Autorka wskazuje na częste mylenie tych dwóch podejść, mimo że ich rozróżnienie jest niezbędne dla postępu nauki. Artykuł ma na celu wyjaśnienie tej różnicy, omówienie jej źródeł oraz przedstawienie jej praktycznych konsekwencji na każdym etapie procesu modelowania — podkreślając potrzebę osobnych ram metodologicznych dla wyjaśnień i predykcji.
Zakończone spotkania
Ewolucja złej nauki
The natural selection of bad science
Artykuł analizuje mechanizmy ewolucyjne, które sprzyjają rozprzestrzenianiu się nieoptymalnych praktyk badawczych w nauce. Autorzy argumentują, że konkurencja o publikacje i prestiż promuje szybkie i sensacyjne wyniki kosztem rzetelności i powtarzalności. Zjawisko to prowadzi do preferowania złych metod, które, mimo że mniej wiarygodne, zyskują przewagę w środowisku naukowym. Artykuł postuluje konieczność reform w celu poprawy jakości badań i zahamowania dalszej degeneracji procesów naukowych
Wątpliwe praktyki badawcze
Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling
Przypadki wyraźnych nadużyć naukowych spotkały się ostatnio z dużym zainteresowaniem, ale to mniej rażące praktyki badawcze mogą być bardziej powszechne i ostatecznie bardziej szkodliwe dla nauki. Korzystając z anonimowego formatu e-licytacji uzupełnionego zachętami do uczciwego raportowania, autorzy przeprowadzili ankietę na temat zaangażowania w wątpliwe praktyki badawcze wśród ponad 2000 psychologów. Łącząc trzy różne metody szacowania, stwierdzili, że odsetek respondentów, którzy zaangażowali się w wątpliwe praktyki badawcze, był zaskakująco wysoki, a niektóre wątpliwe praktyki mogą stanowić dominujący sposób prowadzenia badań.
P-hacking
False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant
W tym artykule autorzy pokazują dwie rzeczy. Po pierwsze, jak łatwo osiągać wyniki istotne statystycznie (p ≤ 0.05) pomimo nieistnienia efektu, a przy wykorzystaniu elastyczności w gromadzeniu danych, w ich analizie i w raportowaniu. Badacze przedstawiają w tym celu symulacje komputerowe i kilka rzeczywistych eksperymentów, dzięki czemu widać, jak niebezpiecznie łatwo jest gromadzić (i publikować) statystycznie istotne dowody na fałszywą hipotezę. Po drugie, prezentują proste, tanie i skuteczne rozwiązanie tego problemu, oparte na transparentności analizy. Obejmuje ono sześć konkretnych wymogów stawianych autorom i cztery wytyczne dla recenzentów.
Publikuj lub giń
Five problems plaguing publishing in the life sciences—and one common cause
Chociaż publikowanie w recenzowanych czasopismach naukowych pozostaje złotym standardem w udostępnianiu wyników badań, w erze cyfrowej złoto blaknie przez różne zanieczyszczenia, w tym (a) zmęczenie recenzentów, (b) oszustwa, (c) drapieżne czasopisma, (d) ciągłe wykorzystywanie Impact Factor jako wskaźnika jakości artykułów oraz (e) nieetyczne praktyki. W niniejszym artykule przedstawiono przegląd tych problemów, a także proponowane i wdrażane rozwiązania. Omawiane zagadnienia są symptomami szerszego problemu, a mianowicie kultury „publikuj albo giń” i związanej z nią metodyki oceniania wyników naukowców przy podejmowaniu decyzji o przyznawaniu grantów, zatrudnianiu i awansowaniu.