Giá trị ngoại lai (outlier) là điểm dữ liệu nằm xa hẳn phần lớn các điểm còn lại. Có nên bỏ nó hay không phụ thuộc vào nguyên nhân: nếu chắc chắn đó là lỗi đo, lỗi nhập liệu hay lỗi đơn vị thì sửa hoặc loại, còn nếu nó là một giá trị thật dù hiếm thì phải giữ, và chọn phương pháp phân tích chịu được nó. Quy tắc vàng của người làm dữ liệu là không bao giờ xoá một điểm chỉ vì nó "xấu xí", và luôn ghi lại mình đã làm gì với nó.
Vì sao một điểm lạ có thể làm hỏng cả phép tính
Hãy lấy một ví dụ giả định. Mười hộ trong một con hẻm có thu nhập hằng tháng từ 8 đến 15 triệu đồng, trung bình khoảng 11 triệu. Một hộ chủ doanh nghiệp chuyển tới với thu nhập 300 triệu. Trung bình của 11 hộ nhảy lên gần 37 triệu, một con số không mô tả được hộ nào trong hẻm. Trung vị thì gần như không đổi.
Đó là lý do giới thống kê gọi trung bình là đại lượng "không vững" (non-robust): một điểm cực đoan đủ để kéo nó đi bất kỳ đâu. Độ lệch chuẩn, hệ số tương quan, đường hồi quy tuyến tính đều nhạy với ngoại lai theo cách tương tự. Năm 1973, nhà thống kê Francis Anscombe công bố bốn bộ dữ liệu nhỏ, sau này gọi là bộ tứ Anscombe, có cùng trung bình, cùng phương sai, cùng hệ số tương quan và cùng đường hồi quy, nhưng khi vẽ ra lại khác nhau hoàn toàn. Một trong bốn bộ là đường thẳng hoàn hảo bị một điểm ngoại lai bẻ cong kết quả. Bài học đến nay vẫn được dạy ở mọi lớp nhập môn: luôn vẽ dữ liệu ra trước khi tin vào con số tóm tắt.
Cách nhận ra ngoại lai
Điểm z
Cách quen nhất: tính một điểm cách trung bình bao nhiêu độ lệch chuẩn. Quy ước thường gặp coi điểm có |z| lớn hơn 3 là đáng ngờ. Nhưng có một nghịch lý: chính ngoại lai làm phình độ lệch chuẩn, nên nó có thể "tự che" mình. Với mẫu nhỏ, một điểm rất lạ đôi khi vẫn không vượt được ngưỡng 3.
Hàng rào Tukey và biểu đồ hộp
Nhà thống kê John Tukey, trong cuốn Exploratory Data Analysis năm 1977, phổ biến biểu đồ hộp (box plot) cùng một quy tắc đơn giản: lấy khoảng tứ phân vị IQR (từ phân vị 25% tới 75%), điểm nào nằm ngoài khoảng từ Q1 − 1,5×IQR tới Q3 + 1,5×IQR thì được vẽ riêng như điểm ngoại lai. Vì dựa trên phân vị chứ không dựa trên trung bình, cách này ít bị chính ngoại lai làm méo.
Độ lệch tuyệt đối trung vị (MAD)
Thay trung bình bằng trung vị, thay độ lệch chuẩn bằng trung vị của các khoảng cách tới trung vị. Điểm z "vững" tính theo MAD được nhiều người làm thực tế ưa dùng, vì nó vẫn hoạt động tốt khi dữ liệu có tới gần một nửa là điểm bẩn.
Kiểm định chính thức
Kiểm định Grubbs, do Frank Grubbs đề xuất năm 1950, kiểm tra xem điểm cực đoan nhất có lệch "quá mức ngẫu nhiên" với giả định dữ liệu phân phối chuẩn hay không. Tiêu chuẩn Chauvenet và tiêu chuẩn Peirce là những quy tắc cũ hơn từ thế kỷ 19. Các kiểm định này đều đòi hỏi giả định về phân phối; nếu giả định sai, kết luận cũng sai.
Nhiều chiều cùng lúc
Một người cao 1,9 m không lạ, nặng 45 kg không lạ, nhưng cao 1,9 m mà nặng 45 kg thì rất lạ. Ngoại lai nhiều chiều không hiện ra khi xét từng biến riêng. Khoảng cách Mahalanobis, các phương pháp dựa trên mật độ như LOF hay Isolation Forest được dùng cho trường hợp này.
Bốn nguồn gốc của một điểm lạ
| Nguồn gốc | Ví dụ | Nên làm gì |
|---|---|---|
| Lỗi nhập liệu | Tuổi 250, cân nặng 7.000 kg do gõ thừa số 0 | Đối chiếu bản gốc; sửa nếu tìm được, loại nếu không |
| Lỗi đo hoặc thiết bị | Cảm biến nhiệt bị nắng chiếu, cân chưa về 0 | Kiểm tra nhật ký thiết bị; loại có ghi chú |
| Lẫn tổng thể | Một người lớn lọt vào bộ số liệu chiều cao trẻ lớp 3 | Loại khỏi phân tích này vì nó không thuộc đối tượng nghiên cứu |
| Giá trị thật nhưng hiếm | Một trận mưa kỷ lục, một khách hàng chi tiêu rất lớn | Giữ lại; dùng phương pháp vững hoặc phân tích riêng |
Ba dòng đầu là "nhiễu" cần làm sạch. Dòng cuối lại là thông tin quý, nhiều khi là thông tin quý nhất trong cả bộ dữ liệu. Các công ty bảo hiểm sống còn nhờ hiểu đúng những trận bão hiếm; nhà quản lý đê điều cần biết đỉnh lũ lớn nhất chứ không phải mực nước trung bình.
Những lần xoá ngoại lai suýt làm mất phát hiện
Có một câu chuyện hay được kể về lỗ thủng tầng ôzôn: phần mềm vệ tinh của NASA đã tự loại bỏ các số đo ôzôn quá thấp ở Nam Cực, nên người ta phát hiện chậm. Thực tế phức tạp hơn. Theo giải thích của chính các nhà khoa học NASA sau này, các số đo thấp bất thường được gắn cờ để kiểm tra chứ không bị xoá, và nhóm nghiên cứu đã kiểm tra lại với dữ liệu trạm mặt đất. Nhóm Khảo sát Nam Cực của Anh công bố trước, năm 1985, dựa trên số đo từ mặt đất. Phiên bản "NASA vứt dữ liệu" vì thế là cách kể đơn giản hoá, nhưng bài học gốc vẫn đúng: một quy trình tự động loại điểm lạ có thể giấu đi chính điều cần thấy.
Trong tài chính, người ta có thuật ngữ "rủi ro đuôi" (tail risk). Các mô hình giả định thị trường dao động theo phân phối chuẩn thường đánh giá quá thấp khả năng có những ngày biến động cực lớn. Coi các ngày đó là ngoại lai rồi gạt sang bên là cách chắc chắn nhất để bị bất ngờ.
Giữ lại nhưng không để nó lấn át: các lựa chọn ở giữa
Giữa "xoá" và "để nguyên" có nhiều lựa chọn tinh tế hơn:
- Dùng thống kê vững: báo cáo trung vị thay trung bình, dùng hồi quy vững thay hồi quy bình phương nhỏ nhất.
- Cắt tỉa (trimming): bỏ một tỉ lệ nhỏ ở hai đầu khi tính trung bình. Cách tính điểm ở nhiều môn thể thao do giám khảo chấm, như nhảy cầu, cũng dùng ý tưởng bỏ điểm cao nhất và thấp nhất.
- Winsor hoá: không bỏ, mà kéo các giá trị cực đoan về ngưỡng, ví dụ phân vị 1% và 99%.
- Biến đổi thang đo: lấy logarit với dữ liệu lệch phải như thu nhập, dân số, giá nhà; các điểm rất lớn trở nên bớt áp đảo.
- Phân tích hai lần: chạy với và không có ngoại lai, báo cáo cả hai. Nếu kết luận đổi hẳn, người đọc cần biết điều đó.
Góc nhìn hôm nay: một quy trình năm bước khi gặp điểm lạ
- Vẽ ra. Biểu đồ điểm, biểu đồ hộp, biểu đồ theo thời gian. Mắt người vẫn là công cụ phát hiện ngoại lai tốt nhất với dữ liệu nhỏ.
- Truy nguồn. Ai ghi số này, bằng máy gì, lúc nào? Có ghi chú bất thường trong sổ tay thí nghiệm hay nhật ký vận hành không?
- Phân loại theo bốn nguồn gốc ở trên. Nếu không xác định được, đừng tự đoán là lỗi.
- Quyết định trước khi xem kết quả. Đặt quy tắc xử lý ngoại lai trước khi chạy phép kiểm định, để không bị cám dỗ chọn cách cho ra kết quả mình muốn. Giới nghiên cứu khuyến khích ghi quy tắc này vào kế hoạch phân tích đăng ký trước.
- Ghi lại và báo cáo. Bao nhiêu điểm bị loại, vì sao, kết quả thay đổi thế nào. Minh bạch là thứ phân biệt làm sạch dữ liệu với xào nấu dữ liệu.
Muốn đọc thêm, sách Exploratory Data Analysis của Tukey vẫn đáng giá dù đã gần nửa thế kỷ; bài báo năm 1973 của Anscombe, "Graphs in Statistical Analysis", ngắn và dễ đọc. Với tiếng Việt, các giáo trình xác suất thống kê đại học đều có phần về biểu đồ hộp và thống kê mô tả để bắt đầu.
Câu hỏi thường gặp
Giá trị ngoại lai là gì?
Giá trị ngoại lai (outlier) là điểm dữ liệu nằm xa hẳn phần lớn các điểm khác trong cùng một bộ số liệu. Nó có thể là lỗi nhập liệu, lỗi đo, điểm lẫn từ tổng thể khác, hoặc một giá trị thật nhưng hiếm. Cách xử lý phụ thuộc vào nguyên nhân.
Có nên loại bỏ giá trị ngoại lai không?
Chỉ loại khi có lý do rõ ràng như lỗi nhập liệu, lỗi thiết bị hoặc điểm không thuộc đối tượng nghiên cứu. Nếu đó là giá trị thật, hãy giữ lại và dùng phương pháp vững như trung vị, hồi quy vững hoặc biến đổi logarit. Luôn ghi lại đã loại những gì và vì sao.
Cách xác định outlier bằng IQR?
Tính tứ phân vị Q1 và Q3, lấy IQR = Q3 − Q1. Điểm nhỏ hơn Q1 − 1,5×IQR hoặc lớn hơn Q3 + 1,5×IQR được coi là ngoại lai theo quy tắc hàng rào Tukey. Đây là cách biểu đồ hộp đánh dấu các điểm riêng.
Vì sao trung bình bị ảnh hưởng bởi ngoại lai còn trung vị thì không?
Trung bình cộng tất cả các giá trị nên một số cực lớn kéo nó đi theo. Trung vị chỉ là giá trị đứng giữa khi xếp thứ tự, nên một điểm cực đoan ở đầu mút gần như không làm nó thay đổi. Vì vậy dữ liệu lệch như thu nhập thường được báo cáo bằng trung vị.
Bộ tứ Anscombe là gì?
Đó là bốn bộ dữ liệu nhỏ do Francis Anscombe công bố năm 1973, có thống kê tóm tắt gần như giống hệt nhau nhưng hình dạng khác hẳn khi vẽ ra. Một bộ cho thấy chỉ một điểm ngoại lai đủ làm sai lệch đường hồi quy. Ví dụ này nhắc người phân tích luôn vẽ dữ liệu trước khi tính.
