این اسکیل چه میکند؟
روش کاهش peak حافظهٔ GPU در Megatron Bridge؛ expandable segment، PEFT + SP input re-gather، تغییر parallelism، activation recompute، CPU…
ORIGINAL DESCRIPTION
Techniques for reducing peak GPU memory in Megatron Bridge — expandable segments, PEFT + SP input re-gather, parallelism resizing, activation recompute, CPU…
چه زمانی به کار میآید؟
در دادهٔ اصلی، کاربرد جداگانهای ثبت نشده است. توضیح بالا و صفحهٔ منبع را ببینید.
بخشی از متن اصلی با «…» قطع شده است. ادامهٔ آن حدس زده یا تکمیل نشده است.