IT House は 10 月 25 日、Nvidia の GeForce RTX 30 シリーズ (開発コード名 Ampere) グラフィックス カードはかなり前から市場に出されており、明らかにまだ未発表のコンピューティングの可能性を多く秘めていると報じました。 GitHub ユーザーの Zagitta は、Ampere アーキテクチャのグラフィックス カードの人為的なパフォーマンス制限をいくつか解除できる GPU Unlock と呼ばれる新しいオープンソース プロジェクトを開発しました。特定の負荷の下では、tensor コアのコンピューティング スループットがほぼ 2 倍になる可能性があり、NVIDIA ドライバーを変更したり、グラフィック カードの VBIOS を永続的に更新したりする必要はありません。
IT House は、このプロジェクトが特に命令発行レート制限をターゲットにしていることに気付きました。つまり、FP32 蓄積を使用する FP16/BF16 テンソル コア操作では、コンシューマ グレードの Ampere グラフィックス カードの実行レートがプロフェッショナル カードの実行レートよりも低いということです。この制限を解除することで、ツールはグラフィックス ハードウェアに固有の追加のコンピューティング パフォーマンスを解放できるようになります。
興味深いことに、GPU Unlock は、Nvidia の CMP 暗号通貨マイニング グラフィックス カードに関する以前の研究に基づいて構築されています。これは、CMP プロジェクトのファームウェアのロック解除テクノロジーと、Nvidia グラフィックス ドライバーがロードされる前に操作を実行する Linux カーネル モジュールに依存する早期初期化スキームを組み合わせたものです。このモジュールは、対応するハードウェア速度選択レジスタを変更し、機能レベル リセット (FLR) を実行します。その後、元のドライバーはグラフィックス カードを正常に初期化できます。
これは、ユーザーがドライバーを新しいバージョンに更新するたびにドライバーにパッチを適用する必要がないことも意味します。開発者は現在、GA102、GA103、GA104、および GA106 モデルの GPU をサポートし、RTX 30 シリーズのほとんどのモデルをカバーしていると示しています。ただし、すべてのグラフィックス カードが必ずしも互換性があるわけではなく、パフォーマンスの向上が達成されるという保証はありません。
パフォーマンスが大幅に向上する可能性があります。プロジェクトの GitHub リポジトリで公開されたベンチマーク テスト データによると、消費電力上限を 450W に設定した RTX 3090 Ti の FP32 累積密行列乗算 (GEMM) テストの結果は次のとおりです。
この種の改善は RTX 3090 Ti に限ったものではありません。 RTX 3080 Ti ユーザーは、グラフィックス カードの消費電力が 315 W に制限されている条件下で、BF16 のスループットが 71.59 TFLOPS から 113.98 TFLOPS に増加し、TF32 のパフォーマンスが 35.65 TFLOPS から 65.28 TFLOPS に増加したと報告しました。 RTX 3080 10GB の互換性レポートもあり、グラフィックス カードの元の 320W 消費電力制限の下で、FP16/BF16 のパフォーマンスが約 65 TFLOPS から 110 ～ 113 TFLOPS に向上することを示しています。これらのテスト結果は、X プラットフォームでも広く議論されています。
実際のアプリケーションではどのように機能しますか?幸いなことに、コミュニティ ユーザーは実際の AI 負荷の下でこのロック解除機能のテストを開始しており、暫定的な結果は比較的楽観的です。
Reddit の RTX 3090 Ti ユーザーが ComfyUI で実行テストを行いました。 MOSS-Image SFT BF16 のスループットは 58.6% 増加し、Qwen-Image 2.1 Turbo BF16 は 57.2% 増加し、Z-Image Turbo BF16 は 56.1% 増加しました。 INT8 精度モードでの改善は非常に小さく、MOSS-Image SFT INT8 では 0.3% の改善のみです。テスターはまた、デフォルト状態で生成された画像とロック解除後に生成された画像のデコード結果はまったく同じであると述べました。
大規模言語モデル (LLM) 推論も潜在的な利点のシナリオですが、改善はワークロードの種類に大きく依存します。たとえば、RTX 3090 互換性レポートによると、vLLM のプロンプト ワード プロセッシングと推論のスループットは 33% 向上しましたが、トークンの生成速度は基本的に変化しませんでした。これもわかりやすいですね。大規模な言語モデルのデコード プロセスにおけるボトルネックは、多くの場合、Tensor コアの生のコンピューティング スループットではなく、メモリ帯域幅です。
注目に値するもう 1 つの開発は、オリジナルの Linux カーネル モジュールを使用せず、UEFI に基づいた Windows 実装の実験版です。開発者は、BF16 のコンピューティング スループットが約 82.5% 向上した RTX 3090 の成功例を記録しています。ただし、このバージョンはまだ実験段階であり、特定のハードウェアにのみ適しています。これは、一般に入手可能な Windows の正式バージョンではありません。
このソリューションにも明らかな限界があります。 GPU ロック解除は、メモリ帯域幅を増やしたり、より多くの CUDA コアのロックを解除したり、すべてのワークロードを自動的に高速化したりするものではありません。 RTX 3080 Ti 20GB に関する少なくとも 1 つのフィードバックは、ロック解除プロセスが正常に実行されたことを示していますが、BF16 のパフォーマンスは期待したほど向上せず、その効果が普遍的ではないことを示しています。
ゲームに関しては、NVIDIA の DLSS テクノロジでもテンソル コアが使用されますが、現時点では、GPU ロック解除によってゲームのフレーム レートが向上したり、DLSS の実行時間が短縮されるという信頼できる証拠はありません。タスク自体がこれらの影響を受ける命令と蓄積モードを呼び出した場合にのみ、ゲインが可能になります。したがって、これらの優れた計算スコアをゲーム フレーム レートの同時増加と同等に考えることはできません。
それでも、GPU ロック解除は、RTX 30 シリーズ グラフィックス カード ホルダー、特にローカル AI 推論、画像生成、その他の高いコンピューティング負荷シナリオにグラフィックス カードを使用するユーザーにとって、依然として魅力的な新しい取り組みです。このプロジェクトはまだ実験段階にありますが、ハードウェアを永続的に変更することなく、既存のグラフィックス カードから大幅な追加のパフォーマンスを引き出せる機能は非常に魅力的です。
