Phân tích từ vựng là gì? - định nghĩa từ techopedia

Định nghĩa - Phân tích từ vựng có nghĩa là gì?

Phân tích từ vựng là một khái niệm được áp dụng cho khoa học máy tính theo cách rất giống với nó được áp dụng cho ngôn ngữ học. Về cơ bản, phân tích từ vựng có nghĩa là nhóm một dòng chữ hoặc âm thanh thành các bộ đơn vị đại diện cho cú pháp có ý nghĩa. Trong ngôn ngữ học, nó được gọi là phân tích cú pháp và trong khoa học máy tính, nó có thể được gọi là phân tích cú pháp hoặc mã thông báo.

Techopedia giải thích Phân tích từ điển

Ý tưởng của phân tích từ vựng trong khoa học máy tính là phân tích từ vựng phá vỡ dòng chảy thành từ vựng lexeme, trong đó một mã thông báo đại diện cho đơn vị ý nghĩa cơ bản. Các mã thông báo được xâu chuỗi lại với nhau theo cách mà trình biên dịch ngôn ngữ phải quay lại và cô lập chúng để thực hiện các hướng dẫn tính toán đúng. Về cơ bản, cả con người và máy tính đều thực hiện phân tích từ vựng, nhưng máy tính làm điều đó khác đi, và theo một cách kỹ thuật hơn nhiều. Cách mà máy tính thực hiện phân tích từ vựng không cần phải minh bạch đối với con người - nó chỉ cần được lập trình vào hệ thống máy tính. Các chương trình phân tích từ vựng trong khoa học máy tính thường được gọi là từ vựng, mã thông báo hoặc máy quét.