این اسکیل چه میکند؟
افزودن speculative decoding با EAGLE-3 یا مدل draft به سرور vLLM در Jetson وقتی TPOT گلوگاه است.
ORIGINAL DESCRIPTION
Add EAGLE-3 or draft-model speculative decoding to a Jetson vLLM server when TPOT is the bottleneck.
چه زمانی به کار میآید؟
در دادهٔ اصلی، کاربرد جداگانهای ثبت نشده است. توضیح بالا و صفحهٔ منبع را ببینید.