LLM | 投机解码:加速原理与实验结果 – MoonOut

LLM | 投机解码:加速原理与实验结果 – MoonOut



[Abstract]背景:オープンソースの大型モデルGLM-5.2(FP8版、zai-org/GLM-5.2-FP8、BF16オリジナル版zai-org/GLM-5.2)を導入しました。リクエスト量が増加すると生成速度がボトルネックになることがわかったので、投機的デコードによりモデルのスループットを向上させたいと考えています。 GLM-5.2 には MTP レイヤが付属しているため、別の MTP レイヤを探すことなく、投機的デコードを直接開始できます。全文を読む



Source link

Leave a Reply

Your email address will not be published. Required fields are marked *