tokenizer
danh từ (noun)
Nghĩa chính
- Hệ thống phân tích luồng đầu vào thành các mã thông báo thành phần của nódanh từA system that parses an input stream into its component tokens.
Dạng từ (word form)
theo quy tắc (regular)- tokenizerDạng gốc (base form)
- tokenizersSố nhiều (plural)