این اسکیل چه میکند؟
سرویسدهی checkpoint کوانتیزه یا غیرکوانتیزهٔ LLM بهصورت endpoint سازگار با OpenAI با vLLM، SGLang یا TRT-LLM.
ORIGINAL DESCRIPTION
Serve a quantized or unquantized LLM checkpoint as an OpenAI-compatible API endpoint using vLLM, SGLang, or TRT-LLM.
چه زمانی به کار میآید؟
وقتی کاربر «deploy model»، «serve… میگوید
WHEN TO USE
when user says "deploy model", "serve…
بخشی از متن اصلی با «…» قطع شده است. ادامهٔ آن حدس زده یا تکمیل نشده است.