Meituan は、MIT プロトコルを採用し、追加の承認なしで商用推論の展開と二次トレーニングをサポートする LongCat-2.5 を正式にオープンソース化しました。
LongCat-2.5 は、長距離エージェント タスク用のネイティブ マルチモーダル モデルです。複雑なコード ベース開発、完全なプロジェクト構築、ビジュアル コーディング、およびプロフェッショナル オフィス シナリオにおけるエンドツーエンドの配信機能が大幅に向上しました。モデルの合計パラメータは 1.6 兆で、各トークンは約 480 億のパラメータをアクティブにし、100 万のコンテキストをサポートします。ビデオ メモリと帯域幅が限られている国内のコンピューティング チップについては、モデル アーキテクチャ、チップの適応、展開戦略において徹底的な共同最適化も実施しました。
完全なスコアと評価条件については、技術ブログを参照してください。
LongCat-2.5 の長距離能力の向上は、単一点の変更ではなく、トレーニング リンク全体の拡張によるものです。これらの設計により、モデルの機能の定義は変更されませんが、長期的なタスクにおいて機能を安定して発揮できるようになります。
まず、実際の長距離タスクのトレーニング データに近くなります。さらに長距離の軌跡を追加し、実際のエージェントの失敗軌跡を再現可能で検証可能なトレーニング タスクに変えます。
2 番目に、タスクのリズムが長い強化学習により適しています。部分的なロールアウトの非同期トレーニングを使用して、未完了の長いタスクを後続の実行のために保存できるようにします。オーバーサンプリング レートはパス レートに応じて動的に調整され、すべてが正しいかすべてが間違っているサンプル グループをフィルタリングします。古いバイアスを軽減するために、チェックポイントにわたる古い軌道に対して勾配補正が実行されます。
第三に、「抜け穴の利用」によるトレーニングの制約をより効果的に軽減できます。タスク環境はインターネットから切断され、git 履歴とファイル キャッシュはクリアされ、LLM ジャッジを使用して軌跡を監視します。モデルがタスクを完了することに集中できるように、繰り返しの思考、繰り返しのツール呼び出し、考えすぎに制約が課されます。
|実際の使用プロセスにおけるモデルのパフォーマンスを観察するのに役立つ、開発者によるエンドツーエンドの評価例を確認してください。
LongCat-2.5 はビジュアル コーディングで優れたパフォーマンスを発揮し、クリエイティブなデザイン、3D、その他のタスクをサポートします。これらの機能の向上は、視覚表現層の変換によってもたらされます。モデルは視覚信号をマルチレベルの離散トークンとして表現し、外部の視覚モジュールではなく、テキストなどのメイン モデルによって均一に処理されます。具体的には、モデルはネイティブ解像度の視覚特徴に対して残差ベクトル量子化を実行して、詳細を段階的に補完します。ビジュアル トークンは事前に計算してオフラインでキャッシュできるため、オンライン計算の量が減り、分散トレーニング負荷のバランスがより良くなります。ビジュアル コードブックとバックボーンは共同でトレーニングされ、ビジョンとテキストは同じバックボーン パラメータのセットを共有し、同じセマンティック空間で共同して視覚的な理解とコード生成を完了します。
|実際の使用プロセスにおけるモデルのパフォーマンスを観察するのに役立つ、開発者によるエンドツーエンドの評価例を確認してください。
プロフェッショナルなオフィスのシナリオにおけるモデルの要件は、単一の質問に答えることではなく、複数の資料を読み、重要な情報を把握し、専門的な判断を下し、その判断を標準化された使用可能な成果物に変換するなど、複数のことを同時に完了することです。このシナリオにおける LongCat-2.5 の改善も、この関連性を中心に展開されています。つまり、マテリアルの処理がより安定し、専門的な判断がアナリストに近くなり、レポート、プレゼンテーション、オフィス ツールをエンドツーエンドで提供できるようになり、マルチラウンド タスクの実行の信頼性が向上しました。目標は、各シナリオを個別にモデル化することではなく、メインライン モデルにプロフェッショナルなオフィス タスクをエンドツーエンドで完了できる機能を提供することです。
これらの改善をサポートするのは、調整された一連の技術設計です。複数の専門家によるオンライン教育は、ドメイン機能をメインライン モデルに統合する責任があります。まず生徒が独立して回答し、専門家が完全な語彙の KL 発散を通じて確率分布を修正します。教師の応答は、分散オフセットを制御するために固定長に分割されます。プリフィルと KV キャッシュはサンプリング中に共有されます。ツリー アテンションは、単一のフォワード パスとバック パスを通じて同じサンプル グループを処理するためにトレーニング中に使用されます。大規模なエージェント強化学習により、長期実行とツール呼び出し機能が向上し、クロスタスクおよびクロス Scaffold ハイブリッド トレーニングにより汎化が強化されます。ネイティブの視覚的理解は、PPT およびレポートでの視覚コンテンツの生成をサポートし、ロングコンテキスト ロールアウトの最適化は、長期的な強化学習の効率的な運用をサポートします。
|クリックすると、LongCat-2.5 のエンドツーエンド生成の実際のデモンストレーションが表示されます。
推論の効率が、モデルを本当に実装できるかどうかの鍵となります。 LongCat-2.5 は、W4A4 の効率的な推論スキームを使用して、エキスパートの重みとアクティベーションを同時に 4 ビットに量子化し、ネイティブ INT4 行列乗算ユニットを通じて計算を実行します。
精度の面では、FlatQuant の学習可能な等価変換に基づいて MoE 量子化精度を最適化し、評価されたダウンストリーム タスクのパフォーマンスは量子化前と同等のままでした。演算子とデータ パスに関しては、専門家が入力変換を共有し、トークンのコピーと配布の前に定量化を完了するため、専門家の通信と計算を通じて同じ INT4 表現が実行されます。変換、スケール計算、定量化、パッケージ化が専用のオペレーターに統合され、重み付けレイアウトと転置アクセスの最適化と組み合わせて、データ処理と変換のオーバーヘッドを削減します。システムレベルでは、バッチ計算を重視するPrefillとトークン単位の進行と通信を重視するDecodeの特性を考慮し、それぞれ計算と通信のパイプラインの重複を最適化し、相互の待ち時間を削減します。 W4A4 により、LongCat-2.5 はダウンストリーム タスクのパフォーマンスを維持しながら推論コストを削減でき、1 兆 6,000 億レベルの MoE モデルのオープンソース展開に使用可能な効率の基盤を提供します。
LongCat-2.5 は、トレーニング段階と教師あり微調整段階の両方で長いシーケンス トレーニングを使用します。国内のコンピューティング環境では、1 枚のカードのビデオ メモリは 80 GB 未満であり、これは長時間シーケンスのトレーニングと微調整が直面しなければならない現実的な制約です。
シャーディングを使用してメモリ負荷をスーパーノード内の複数のカードに分散し、トポロジを意識した並列戦略を使用してノード間通信のオーバーヘッドを削減し、通信と計算が可能な限り重複できるようにします。具体的には、FSDP ダブル シャーディングとフラット化バッファにより、常駐ビデオ メモリとピーク ビデオ メモリが削減されます。混合語彙の並列処理により、ビデオ メモリの使用量がさらに圧縮されます。パラメータ AllGather、エキスパート トークン AllToAll、および KV AllGather は、スーパーノード内の高帯域幅相互接続ドメインで完了します。 MoonEP 動的エキスパート レプリケーションは、利点を超える追加の通信オーバーヘッドを避けるために、負荷の不均衡がしきい値に達した場合にのみ有効になります。ゼロコピー通信、パラメータプリフェッチ、ScMoEにより、通信と計算を重複して実行できます。
このソリューションの工学的価値は、1 枚のカードに 80 GB 未満のビデオ メモリを搭載した国産 AI アクセラレータで長時間シーケンスのトレーニングと微調整が実現されるという事実にあります。マルチカード拡張が発生した場合、通信オーバーヘッドと負荷の不均衡も対応するメカニズムによってサポートされます。長期シーケンスの SFT タスクにおけるこの FSDP 構成のシングルカード スループットは、DDP ベースラインより 86% 高く、国内のコンピューティング能力で長期シーケンスのトレーニングが実現可能であるだけでなく効率的であることを示しており、コミュニティの再発と二次開発のためのリファレンス インフラストラクチャ パスを提供します。
LongCat-2.5 は MIT ライセンスの下でオープンソース化されており、追加の承認なしで商用推論の導入と二次トレーニングをサポートします。私たちがこの契約を選択したのは、モデルを自由に使用、変更、再配布できること、またコミュニティがこれに基づいて作業を続けるのに便利であることを望んでいるからです。
国内のコンピューティング能力は当社の長期的な投資方向であり、継続的なイノベーションの現場でもあります。ビデオ メモリと帯域幅の間には実際には境界が存在します。変更できるのは、アーキテクチャ、演算子、並列戦略だけです。変化は細部に現れ、進歩は現実に現れます。 1 枚のカードで 80GB 未満のビデオ メモリを使用して数兆のパラメータ MoE を実行するには、アーキテクチャ、量子化、並列処理、通信の間でトレードオフを繰り返す必要があります。これらのトレードオフは業界パートナーと協力して行われたものであり、これにより、この方向性についてより具体的な判断が可能になりました。
生態学的成熟が単一のブレークスルーによってもたらされることはほとんどありません。実際の負荷を継続的にテストする必要があり、チップ、フレームワーク、アプリケーションを同じ場所で実行する必要があり、最も困難なタスクを最初に実行する意欲のある人も必要です。私たちは今後もモデルとエンジニアリングの経験をオープンにし、同僚と協力してこの道を広げていきます。
