Q:
Làm thế nào các kỹ sư có thể đánh giá các bộ đào tạo và các bộ kiểm tra để phát hiện ra quá mức có thể trong học máy?
A:Để hiểu cách thức này được thực hiện, cần phải nắm bắt cơ bản vai trò của các tập dữ liệu khác nhau trong một dự án máy học điển hình. Tập huấn luyện được thiết lập để cung cấp cho công nghệ một khung tham chiếu - một đường cơ sở dữ liệu mà chương trình sử dụng để đưa ra các quyết định dự đoán và xác suất. Bộ kiểm tra là nơi bạn kiểm tra máy trên dữ liệu.
Quá mức là một hội chứng trong học máy mà mô hình không hoàn toàn phù hợp với dữ liệu hoặc mục đích.
| Tải xuống miễn phí: Machine Learning và Why It Matters |
Một trong những điều răn bao trùm của học máy là dữ liệu huấn luyện và dữ liệu kiểm tra phải là các tập dữ liệu riêng biệt. Có một sự đồng thuận khá rộng về điều này, ít nhất là trong nhiều ứng dụng, vì một số vấn đề cụ thể khi sử dụng cùng một bộ mà bạn đã sử dụng để đào tạo để kiểm tra chương trình học máy.
Khi một chương trình học máy sử dụng một bộ huấn luyện, về cơ bản có thể được gọi là một bộ đầu vào, nó sẽ hoạt động với bộ đào tạo đó để đưa ra quyết định về kết quả dự đoán. Một cách rất cơ bản để suy nghĩ về nó là tập huấn luyện là "thức ăn" cho quá trình tính toán trí tuệ.
Bây giờ khi cùng một bộ được sử dụng để thử nghiệm, máy thường có thể trả về kết quả tuyệt vời. Đó là bởi vì nó đã thấy dữ liệu đó trước đây. Nhưng toàn bộ mục tiêu của học máy trong nhiều trường hợp là tạo ra kết quả về dữ liệu chưa từng thấy trước đây. Các chương trình học máy đa năng được thực hiện để vận hành trên nhiều bộ dữ liệu khác nhau. Nói cách khác, nguyên tắc của học máy là khám phá và bạn thường không nhận được nhiều như vậy bằng cách sử dụng một bộ huấn luyện ban đầu cho mục đích thử nghiệm.
Khi đánh giá các bộ huấn luyện và các bộ kiểm tra về khả năng quá mức, các kỹ sư có thể đánh giá kết quả và tìm hiểu tại sao một chương trình có thể làm khác nhau về kết quả so sánh của hai bộ này hoặc trong một số trường hợp máy có thể làm quá tốt dữ liệu đào tạo .
Trong khả năng mô tả một số vấn đề trong học máy trong một tác phẩm năm 2014, Jason Brownlee tại Machine Learning Mastery mô tả quá mức theo cách này:
"Một mô hình được chọn vì tính chính xác của nó trên tập dữ liệu huấn luyện thay vì độ chính xác của nó trên tập dữ liệu kiểm tra không nhìn thấy rất có thể có độ chính xác thấp hơn trên tập dữ liệu kiểm tra không nhìn thấy, " Brownlee viết. "Lý do là mô hình không được khái quát hóa. Nó đã chỉ định cấu trúc trong tập dữ liệu đào tạo (in nghiêng thêm). Điều này được gọi là quá mức, và nó ngấm ngầm hơn bạn nghĩ."
Nói một cách dễ hiểu, bạn có thể nói rằng chuyên về bộ dữ liệu đào tạo, chương trình đang trở nên quá cứng nhắc. Đó là một cách ẩn dụ khác để xem tại sao một chương trình học máy không được phục vụ tối ưu bằng cách sử dụng bộ huấn luyện cho bộ kiểm tra. Đây cũng là một cách tốt để tiếp cận đánh giá hai bộ khác nhau này, vì kết quả sẽ cho các kỹ sư biết rất nhiều về cách chương trình hoạt động. Bạn muốn có một khoảng cách nhỏ hơn giữa độ chính xác cho cả hai mô hình. Bạn muốn đảm bảo rằng hệ thống không bị quá tải hoặc "hợp nhất chính xác" với một tập dữ liệu cụ thể, nhưng điều đó chung chung hơn và có thể phát triển và phát triển theo lệnh.
