Công cụ áp dụng cách tiếp cận nhiều vòng kiểm tra độc lập (multiple-hurdles approach): không
dựa vào một chỉ số duy nhất để kết luận, mà tổng hợp nhiều phép kiểm tra nhắm vào các kiểu hành vi bất
thường khác nhau (Curran, 2016).
1. Nhận diện cấu trúc khảo sát
Tự động phát hiện các cột thang đo Likert và nhóm chúng theo construct dựa theo quy ước đặt tên item,
kể cả khi tên cột là cả câu hỏi đầy đủ kiểu Google Form.
2. Hành vi trả lời ở từng người
Trùng lặp giữa các phản hồi, Maximum Percent Match — % khớp với người giống nhất trong mẫu,
ngưỡng cảnh báo 85% theo mô phỏng thực nghiệm của Kuriakose & Robbins (2016) trên hơn 1.000 khảo sát
quốc tế thật — mẫu trả lời lặp một mức liên tục, độ biến thiên trong câu trả lời của từng người (IRV),
và thiên hướng chọn mức cực/mức giữa thang đo. Người "near-straightline" được loại trước khi tính MPM
để tránh khớp giả tạo (Simmons, Mercer, Schwarzer & Kennedy, 2016).
3. Tính nhất quán nội tại của từng người
Person-Total Correlation (Donlon & Fischer, 1968), Psychometric Synonyms/Antonyms, và Polytomous
Guttman Errors — ba kỹ thuật mở rộng theo Curran (2016).
4. Cấu trúc thống kê tổng thể
Cronbach's Alpha riêng theo từng construct, độ đồng đều tương quan trong/giữa construct, và cấu trúc
eigenvalue (PCA) của từng construct — nhạy với hiện tượng "quá sạch, quá đều" đặc trưng của dữ liệu sinh
theo công thức cố định.
5. Phân tích đa biến
Khoảng cách Mahalanobis (1936) để tìm outlier đa biến, và kiểm định Mardia cho độ lệch khỏi phân phối
chuẩn đa biến — có lưu ý điểm mù đã biết của Mahalanobis (Meade & Craig, 2012).
6. Dấu vết thu thập dữ liệu
Nếu sheet có cột thời gian nộp, công cụ phân tích khoảng cách giữa các lần nộp liên tiếp.
7. Tổng hợp điểm nghi vấn
Mỗi dấu hiệu được gán một trọng số theo độ tin cậy của bằng chứng, cộng lại thành điểm tổng, phân
loại thành 3 mức: Thấp / Trung bình / Cao.
Giới hạn
Đây là công cụ sàng lọc sơ bộ, không phải bằng chứng kết luận dữ liệu bị ngụy tạo hay do AI tạo
ra. Chỉ khi nhiều dấu hiệu độc lập cùng xuất hiện mới đáng để xem xét kỹ và đối chiếu với bối cảnh thu
thập thực tế.
Tài liệu tham khảo
- Curran, P. G. (2016). Methods for the detection of carelessly invalid responses in survey data.
Journal of Experimental Social Psychology, 66, 4–19.
Response pattern, individual consistency, khung tiếp cận nhiều vòng kiểm tra độc lập.
- Meade, A. W., & Craig, S. B. (2012). Identifying careless responses in survey data.
Psychological Methods, 17(3), 437–455.
Cảnh báo điểm mù của Mahalanobis distance.
- Donlon, T. F., & Fischer, F. E. (1968). An index of an individual's agreement with
group-determined item difficulties. Educational and Psychological Measurement, 28, 105–113.
Person-Total Correlation.
- Mahalanobis, P. C. (1936). On the generalized distance in statistics.
Proceedings of the National Institute of Science of India, 12, 49–55.
Outlier đa biến (Mahalanobis distance).
- Wilson, E. B., & Hilferty, M. M. (1931). The distribution of chi-square.
Proceedings of the National Academy of Sciences, 17(12), 684–688.
Xấp xỉ ngưỡng phân phối chi-square cho Mahalanobis và Mardia.
- Kuriakose, N., & Robbins, M. (2016). Don't get duped: Fraud through duplication in public
opinion surveys. Statistical Journal of the IAOS, 32, 283–291.
Chỉ số Maximum Percent Match (MPM) và ngưỡng cảnh báo 85%.
- Simmons, K., Mercer, A., Schwarzer, S., & Kennedy, C. (2016). Evaluating a new proposal for
detecting data falsification in surveys. Statistical Journal of the IAOS, 32, 327–338.
Hiệu chỉnh: loại người "near-straightline" trước khi tính MPM.
- Blasius, J., & Thiessen, V. (2015). Should we trust survey data? Assessing response
simplification and data fabrication. Social Science Research, 52, 479–493.
Khung "task simplification" định hướng chung cho cách tiếp cận của công cụ.
