این اسکیل چه میکند؟
انتخاب stack سرویسدهی و فلگ حافظهٔ هر runtime شامل vLLM، SGLang، llama.cpp و TensorRT Edge-LLM برای بار کاری LLM/VLM روی هر NVIDIA Jetson.
ORIGINAL DESCRIPTION
Pick the serving stack and per-runtime memory flags (vLLM, SGLang, llama.cpp, TensorRT Edge-LLM) for an LLM/VLM workload on any NVIDIA Jetson.
چه زمانی به کار میآید؟
در دادهٔ اصلی، کاربرد جداگانهای ثبت نشده است. توضیح بالا و صفحهٔ منبع را ببینید.