Trong lĩnh vực thống kê và khoa học dữ liệu, “chuẩn hóa” và “tiêu chuẩn hóa” là hai khái niệm thường được sử dụng, đôi khi còn được dùng thay thế cho nhau. Sự nhầm lẫn giữa chúng là điều dễ hiểu, nhưng thực tế, có một sự khác biệt tinh tế giữa hai phương pháp này. Bài viết này sẽ giải thích một cách đơn giản nhất về chuẩn hóa và tiêu chuẩn hóa, ứng dụng thực tế của chúng, và sự khác biệt quan trọng giữa chúng.
Chuẩn hóa (Normalization) là gì?
Chuẩn hóa là một kỹ thuật масштабирования (scaling) trong đó các điểm dữ liệu được dịch chuyển và масштабирования lại để chúng nằm trong phạm vi từ 0 đến 1. Nó còn được gọi là масштабирования min-max.
Công thức tính điểm chuẩn hóa:
X mới = (X — X min)/ (X max — X min)
Trong đó, Xmax và Xmin là giá trị lớn nhất và nhỏ nhất của đặc trưng tương ứng.
- Nếu X=Xmin; thì Xmới =0
Vì tử số sẽ trở thành Xmin -Xmin, bằng 0.
- Nếu X=Xmax ; thì Xmới =1
Trong trường hợp này, cả tử số và mẫu số sẽ bằng nhau và triệt tiêu lẫn nhau, cho ta giá trị Xmới =1.
Nghe có vẻ phức tạp? Hãy xem một ví dụ để hiểu rõ hơn.
Trong kỳ thi Đánh giá năng lực (ví dụ: CAT ở Ấn Độ), số lượng hồ sơ đăng ký rất lớn. Vì không thể đánh giá tất cả thí sinh cùng một lúc, kỳ thi được tổ chức theo nhiều ca hoặc thậm chí vào các ngày khác nhau. Đề thi ở các ca khác nhau là khác nhau. Mặc dù các câu hỏi được thiết kế sao cho độ khó của mỗi ca là như nhau, nhưng vẫn có khả năng độ khó của các ca khác nhau. Do đó, sẽ không công bằng cho những thí sinh gặp phải bộ câu hỏi khó hơn. Để đảm bảo công bằng cho tất cả thí sinh, điểm số của họ sẽ được chuẩn hóa.
Giả sử kỳ thi được tổ chức trong hai ca: ca A và ca B. Các câu hỏi trong ca A tương đối dễ hơn so với ca B. Vì các câu hỏi trong ca A tương đối dễ, điểm số tối đa mà một thí sinh đạt được là 280 (trên tổng số 300) và điểm tối thiểu là 80. Mặt khác, điểm số tối đa và tối thiểu của thí sinh trong ca B lần lượt là 250 và 50.
Chúng ta không thể so sánh điểm của một thí sinh đạt 150 điểm trong ca A với một thí sinh đạt điểm tương tự trong ca B.
Do đó, chúng ta cần chuẩn hóa điểm số.
Điểm chuẩn hóa của một thí sinh đạt 150 điểm trong ca A sẽ được tính như sau:
Để đơn giản, ta gọi nó là Xa.
Xa = (150-Xmin)/(Xmax-Xmin)
Xmax = 280
Xmin = 80
Thay các giá trị này vào, ta được:
Xa = (150-80)/(280-80)
Xa = 0.35
Điểm chuẩn hóa của một thí sinh đạt 150 điểm trong ca B sẽ là:
Để đơn giản, ta gọi nó là Xb.
Xb = (150-Xmin)/(Xmax-Xmin)
Xmax = 250
Xmin = 50
Thay các giá trị này vào, ta được:
Xb = (150-50)/(250-50)
Xb = 0.5
Ở đây, ta thấy Xb > Xa.
Tổng điểm của kỳ thi CAT = 300
Nếu bạn muốn so sánh trên tổng số 300, thì:
Xa * 300 = 105
Xb * 300 = 150
Hy vọng ví dụ này giúp bạn hiểu rõ hơn về chuẩn hóa và lý do cần thiết phải sử dụng nó.
Tiêu chuẩn hóa (Standardization) là gì?
Tiêu chuẩn hóa là một phương pháp масштабирования khác, trong đó các giá trị được căn chỉnh xung quanh giá trị trung bình với độ lệch chuẩn bằng 1. Điều này có nghĩa là nếu chúng ta tính toán giá trị trung bình và độ lệch chuẩn của các điểm đã được tiêu chuẩn hóa, chúng sẽ lần lượt là 0 và 1.
Công thức tính giá trị tiêu chuẩn hóa:
Z = (X – µ) / σ
Trong đó:
µ = giá trị trung bình của phân phối
σ = độ lệch chuẩn của phân phối
Z được gọi là điểm tiêu chuẩn (standard score) và nó biểu thị số độ lệch chuẩn mà một điểm dữ liệu cụ thể nằm trên hoặc dưới giá trị trung bình.
Ví dụ: Nếu Z=2, điều đó có nghĩa là điểm dữ liệu đó nằm trên giá trị trung bình 2 độ lệch chuẩn.
Nếu chúng ta vẽ đồ thị các điểm tiêu chuẩn này, nó sẽ là một phân phối chuẩn với giá trị trung bình tại 0 và độ lệch chuẩn bằng 1. Phân phối chuẩn với giá trị trung bình = 0 và σ =1 còn được gọi là phân phối chuẩn tắc và được ký hiệu là N(0,1).
Có vẻ hơi kỹ thuật? Hãy giải một ví dụ để hiểu rõ hơn.
Giả sử bạn và bạn của bạn học ở các trường đại học khác nhau, nơi hệ thống chấm điểm khác nhau. Bạn đạt 85 điểm trong một bài kiểm tra. Điểm trung bình của lớp là 75 và độ lệch chuẩn là 5. Bạn của bạn đạt 615 điểm, điểm trung bình của lớp là 600 với độ lệch chuẩn là 50. Làm thế nào bạn có thể nói ai đang học tốt hơn? Vì điểm 85 không thể so sánh với 615.
Đây là lúc tiêu chuẩn hóa phát huy vai trò của nó. Nó cho phép chúng ta so sánh trực tiếp các điểm số với các hệ quy chiếu khác nhau và đưa ra nhận định về chúng.
Điểm Z của bạn = (85-75)/5 = 2
Điều đó có nghĩa là bạn đang cao hơn điểm trung bình 2 độ lệch chuẩn.
Điểm Z của bạn của bạn = (615-600)/50 = 0.3
Điều đó có nghĩa là bạn của bạn đang cao hơn điểm trung bình 0.3 độ lệch chuẩn.
Nhìn vào các điểm tiêu chuẩn, bạn có thể thấy rõ rằng bạn đang học tốt hơn nhiều so với bạn của mình.
Thật dễ dàng phải không?
Nên sử dụng chuẩn hóa hay tiêu chuẩn hóa?
Điều này phụ thuộc vào loại dữ liệu bạn đang sử dụng.
Chuẩn hóa được ưu tiên hơn tiêu chuẩn hóa khi dữ liệu của chúng ta không tuân theo phân phối chuẩn. Nó có thể hữu ích trong các thuật toán máy học không giả định bất kỳ phân phối dữ liệu nào, chẳng hạn như k-nearest neighbor (k-láng giềng gần nhất) và mạng nơ-ron.
Tiêu chuẩn hóa tốt để sử dụng khi dữ liệu của chúng ta tuân theo phân phối chuẩn. Nó có thể được sử dụng trong các thuật toán máy học, nơi chúng ta đưa ra các giả định về phân phối dữ liệu, chẳng hạn như hồi quy tuyến tính.
Cần lưu ý rằng, không giống như chuẩn hóa, tiêu chuẩn hóa không có phạm vi giới hạn (ví dụ: 0 đến 1).
Nó cũng không bị ảnh hưởng bởi các giá trị lớn nhất và nhỏ nhất trong dữ liệu của chúng ta, vì vậy nếu dữ liệu của chúng ta chứa các giá trị ngoại lệ, thì tiêu chuẩn hóa là một lựa chọn tốt.
Lời kết:
Hy vọng bài viết này đã cung cấp cho bạn một cái nhìn tổng quan về chuẩn hóa và tiêu chuẩn hóa.