این اسکیل چه میکند؟
گسترش پنجرهٔ context مدل transformer با RoPE، YaRN، ALiBi و درونیابی موقعیت.
ORIGINAL DESCRIPTION
Extend context windows of transformer models using RoPE, YaRN, ALiBi, and position interpolation techniques.
چه زمانی به کار میآید؟
هنگام پردازش سند طولانی (32k-128k+…
WHEN TO USE
when processing long documents (32k-128k+…
بخشی از متن اصلی با «…» قطع شده است. ادامهٔ آن حدس زده یا تکمیل نشده است.