Nghĩa chính
- Thuật toán nén dữ liệu không mất dữ liệu thay thế lặp đi lặp lại cặp byte liền kề thường xuyên nhất trong một chuỗi bằng một byte mới chưa có trong dữ liệudanh từđếm được và không đếm được (countable, uncountable)A lossless data compression algorithm that iteratively replaces the most frequent pair of adjacent bytes in a sequence with a new byte not already present in the data.
- Phương pháp mã hóa từ phụ kết hợp lặp đi lặp lại các cặp ký tự liền kề thường gặp nhất trong một kho văn bản để tạo thành các mã thông báo dài hơn và có ý nghĩa hơn, thường là cho đến khi đạt đến kích thước từ vựng được xác định trướcdanh từđếm được và không đếm được (countable, uncountable)A subword tokenization method that iteratively merges the most frequent pairs of adjacent characters in a corpus to form longer and more meaningful tokens, typically until a predefined vocabulary size is reached.
Dạng từ (word form)
theo quy tắc (regular)- byte pair encodingDạng gốc (base form)
- byte pair encodingsSố nhiều (plural)