Khủng hoảng tái lập là việc rất nhiều kết quả khoa học đã công bố không được tìm thấy lại khi nhóm khác làm lại thí nghiệm. Năm 2015, một dự án lặp lại 100 nghiên cứu tâm lý học và chỉ khoảng 36% cho kết quả có ý nghĩa như bản gốc; các công ty dược cũng báo cáo không lặp lại được phần lớn nghiên cứu ung thư tiền lâm sàng mà họ thử. Nguyên nhân chính không phải gian lận, mà là cỡ mẫu nhỏ, cách phân tích linh hoạt và thói quen chỉ đăng kết quả "đẹp".
Tái lập là gì và vì sao nó là xương sống của khoa học
Một kết quả khoa học có giá trị khi người khác, ở nơi khác, làm theo cùng phương pháp và thấy điều tương tự. Nếu chỉ một phòng thí nghiệm thấy được, có thể đó là đặc điểm riêng của mẫu, thiết bị, người làm, hoặc đơn giản là may rủi thống kê.
Người ta phân biệt vài mức:
- Tái tạo phân tích (reproducibility): dùng đúng dữ liệu và mã của tác giả, chạy lại có ra cùng con số không.
- Tái lập (replication): thu thập dữ liệu mới theo cùng thiết kế, có thấy cùng hiệu ứng không.
- Khái quát hoá: đổi bối cảnh, đối tượng, cách đo, hiệu ứng có còn không.
Khủng hoảng tái lập chủ yếu nói về mức thứ hai, và đôi khi cả mức thứ nhất.
Những hồi chuông
"Vì sao phần lớn kết quả nghiên cứu được công bố là sai" (2005)
Năm 2005, nhà dịch tễ học John Ioannidis công bố trên PLoS Medicine một bài với tiêu đề gây sốc như trên. Bằng mô hình thống kê, ông lập luận rằng khi nghiên cứu có cỡ mẫu nhỏ, hiệu ứng nhỏ, nhiều giả thuyết được thử, và cách phân tích linh hoạt, thì phần lớn kết quả "có ý nghĩa thống kê" có thể là báo động giả. Bài này trở thành một trong những bài được trích dẫn nhiều nhất về phương pháp nghiên cứu.
Dữ liệu từ ngành dược
Năm 2011, các nhà khoa học của hãng Bayer báo cáo rằng khi cố lặp lại các nghiên cứu đã công bố để chọn mục tiêu phát triển thuốc, họ chỉ tái lập được dữ liệu trong khoảng một phần tư số dự án. Năm 2012, C. Glenn Begley và Lee Ellis viết trên Nature rằng nhóm ở hãng Amgen chỉ xác nhận được 6 trong 53 nghiên cứu ung thư tiền lâm sàng "mang tính bước ngoặt".
Dự án tái lập tâm lý học (2015)
Năm 2015, nhóm Open Science Collaboration, gồm khoảng 270 nhà nghiên cứu, công bố trên Science kết quả lặp lại 100 nghiên cứu đăng trên ba tạp chí tâm lý học lớn. Trong bản gốc, 97% có kết quả có ý nghĩa thống kê; trong bản lặp lại, chỉ khoảng 36%. Độ lớn hiệu ứng trung bình cũng chỉ còn khoảng một nửa.
Khảo sát giới khoa học (2016)
Năm 2016, tạp chí Nature khảo sát hơn 1.500 nhà nghiên cứu. Hơn 70% cho biết đã từng không lặp lại được thí nghiệm của người khác, và hơn một nửa đã từng không lặp lại được chính thí nghiệm của mình.
Vì sao kết quả không lặp lại được
Gian lận có tồn tại nhưng hiếm. Phần lớn vấn đề đến từ những thói quen phổ biến mà nhiều người làm mà không thấy là sai:
| Nguyên nhân | Diễn ra thế nào | Hậu quả |
|---|---|---|
| Cỡ mẫu nhỏ | Thí nghiệm với vài chục người, vài con chuột | Hiệu ứng tìm được thường bị phóng đại, dễ là may rủi |
| Thiên lệch xuất bản | Tạp chí và tác giả ưu tiên kết quả "có gì đó"; kết quả âm nằm trong ngăn kéo | Tài liệu khoa học lệch về phía hiệu ứng dương |
| "Câu" giá trị p (p-hacking) | Thử nhiều cách loại số liệu, nhiều biến, nhiều phép thử, chọn cái đạt p dưới 0,05 | Báo động giả tăng mạnh dù không ai cố ý gian dối |
| Đặt giả thuyết sau khi thấy kết quả (HARKing) | Thấy dữ liệu rồi mới viết như thể đã dự đoán từ trước | Kết quả khám phá ngẫu nhiên được trình bày như kiểm định |
| Mô tả phương pháp thiếu | Bỏ qua chi tiết quy trình, hoá chất, dòng tế bào | Người khác không làm lại được dù kết quả đúng |
Điểm tinh tế là mỗi quyết định riêng lẻ đều có vẻ hợp lý: bỏ một người tham gia không tập trung, thêm một biến kiểm soát, dừng thu số liệu khi kết quả đã rõ. Nhưng gộp lại, những lựa chọn ấy, mà nhà thống kê Andrew Gelman gọi là "khu vườn những lối rẽ", có thể biến nhiễu thành phát hiện.
Một ví dụ: lời tiên tri trong phòng thí nghiệm
Năm 2011, nhà tâm lý học Daryl Bem, một người có uy tín lâu năm, công bố trên một tạp chí tâm lý học hàng đầu loạt chín thí nghiệm cho thấy người tham gia dường như "cảm nhận trước" sự kiện tương lai. Bài báo dùng các phương pháp thống kê thông thường của ngành thời đó. Chính điều này làm giới tâm lý học giật mình: nếu phương pháp chuẩn có thể "chứng minh" một điều khó tin như vậy, thì vấn đề có thể nằm ở phương pháp. Các nghiên cứu lặp lại sau đó không tìm thấy hiệu ứng, và bài báo trở thành chất xúc tác cho phong trào cải cách.
Khoa học tự sửa: những cải cách đang chạy
- Đăng ký trước (preregistration): ghi lại giả thuyết, cỡ mẫu và kế hoạch phân tích trên một kho công khai trước khi thu dữ liệu. Với thử nghiệm lâm sàng, việc đăng ký đã thành yêu cầu bắt buộc của các tạp chí y khoa lớn từ giữa thập niên 2000.
- Báo cáo đăng ký (registered reports): tạp chí bình duyệt và chấp nhận bài dựa trên câu hỏi và phương pháp, trước khi biết kết quả. Kết quả âm hay dương đều được đăng. Hình thức này được tạp chí Cortex áp dụng từ năm 2013 và nay có ở hàng trăm tạp chí.
- Dữ liệu và mã mở: đưa dữ liệu, mã phân tích lên kho công khai để người khác kiểm tra.
- Tái lập nhiều phòng thí nghiệm: các dự án như Many Labs cho hàng chục phòng thí nghiệm cùng làm một thí nghiệm theo cùng quy trình, cho ra ước tính đáng tin hơn bất kỳ nghiên cứu đơn lẻ nào.
- Cỡ mẫu lớn hơn và tính trước độ mạnh thống kê.
Góc nhìn hôm nay: đọc "nghiên cứu cho thấy" thế nào
Khủng hoảng tái lập không có nghĩa "khoa học không đáng tin". Ngược lại, chính giới khoa học tự phát hiện, tự đo đạc và tự công bố vấn đề của mình, rồi thay đổi cách làm. Ngành nào cũng có điểm yếu; điều đáng quý là có cơ chế để phát hiện ra chúng. Vật lý, hoá học, y học lâm sàng quy mô lớn có những truyền thống kiểm chứng riêng, và mức độ tái lập khác nhau giữa các ngành.
Khi đọc tin "một nghiên cứu cho thấy…", có thể hỏi:
- Nghiên cứu có bao nhiêu người, bao nhiêu mẫu?
- Đây là nghiên cứu đơn lẻ hay đã có nhiều nghiên cứu cùng chiều, có phân tích gộp chưa?
- Nghiên cứu có đăng ký trước không, dữ liệu có công khai không?
- Hiệu ứng lớn cỡ nào trong đời thực, hay chỉ "có ý nghĩa thống kê"?
Muốn đọc thêm, cuốn Bad Science của Ben Goldacre giải thích dễ hiểu nhiều thói quen nghiên cứu làm lệch kết quả, đặc biệt trong y học.
Câu hỏi thường gặp
Khủng hoảng tái lập là gì?
Khủng hoảng tái lập là tình trạng nhiều kết quả khoa học đã công bố không được tìm thấy lại khi các nhóm khác làm lại thí nghiệm. Vấn đề được chú ý mạnh từ đầu thập niên 2010, nhất là trong tâm lý học và nghiên cứu y sinh tiền lâm sàng.
Bao nhiêu nghiên cứu tâm lý học lặp lại được?
Trong dự án năm 2015 của Open Science Collaboration lặp lại 100 nghiên cứu tâm lý học, khoảng 36% bản lặp lại cho kết quả có ý nghĩa thống kê, so với 97% ở bản gốc. Tỷ lệ cụ thể thay đổi theo lĩnh vực và cách định nghĩa "lặp lại thành công".
P-hacking là gì?
P-hacking là việc thử nhiều cách phân tích dữ liệu, như loại bớt số liệu, thêm biến, đổi phép thử, rồi chỉ báo cáo cách cho giá trị p dưới 0,05. Nó làm tăng mạnh khả năng báo động giả, kể cả khi người làm không cố ý gian dối.
Làm sao để nghiên cứu đáng tin hơn?
Các biện pháp chính là đăng ký trước giả thuyết và kế hoạch phân tích, dùng cỡ mẫu đủ lớn, công khai dữ liệu và mã, và khuyến khích các nghiên cứu lặp lại. Hình thức báo cáo đăng ký cho phép tạp chí chấp nhận bài trước khi biết kết quả.
Khủng hoảng tái lập có nghĩa khoa học không đáng tin không?
Không. Chính giới khoa học đã tự phát hiện, đo lường và công bố vấn đề, rồi thay đổi cách làm. Điều cần là đọc kết quả đơn lẻ thận trọng và tin hơn vào những kết luận đã được nhiều nghiên cứu độc lập xác nhận.
