Nghĩa chính
- Giảm thành một mã thông báo hoặc bộ mã thông báo bằng cách phân tích từ vựngđộng từngoại động từ (transitive)To reduce to a token or set of tokens by lexical analysis.
- Thay thế dữ liệu nhạy cảm bằng các phần giữ chỗ vô nghĩađộng từngoại động từ (transitive)To substitute sensitive data with meaningless placeholders.
- Coi như một thiểu số mã thông báođộng từngoại động từ (transitive)To treat as a token minority.
Dạng từ (word form)
theo quy tắc (regular)- tokenizeNguyên thể (infinitive)
- tokenizesNgôi thứ ba số ít (third person singular)
- tokenizedQuá khứ và phân từ II (past simple, past participle)
- tokenizingPhân từ I (present participle)