این اسکیل چه میکند؟
tokenizer مستقل از زبان که متن را Unicode خام در نظر میگیرد؛ پشتیبانی از BPE و Unigram.
ORIGINAL DESCRIPTION
Language-independent tokenizer treating text as raw Unicode. Supports BPE and Unigram algorithms.
چه زمانی به کار میآید؟
در دادهٔ اصلی، کاربرد جداگانهای ثبت نشده است. توضیح بالا و صفحهٔ منبع را ببینید.