این اسکیل چه میکند؟
tokenizerهای سریع برای پژوهش و production؛ پیادهسازی Rust یک گیگابایت را در کمتر از 20 ثانیه tokenize میکند.
ORIGINAL DESCRIPTION
Fast tokenizers optimized for research and production. Rust-based implementation tokenizes 1GB in <20 seconds.
چه زمانی به کار میآید؟
در دادهٔ اصلی، کاربرد جداگانهای ثبت نشده است. توضیح بالا و صفحهٔ منبع را ببینید.