Apple-Forscher nutzen Apple-Silicon-Macs im Idle-Betrieb als virtuelle GPUs

Apple の AI 研究チームの科学者グループは、十分に活用されていない Mac やその他の Apple Silicon デバイスをクラウド内の仮想 GPU として使用することを提案しています。プレプリント サーバー arXiv の出版物によると、このプロトタイプ ソフトウェアは「ミニオン」（おそらく有名な映画に基づいた「召使い」）と呼ばれ、当初は Mac を使用し、その後はおそらく iPhone や iPad を使用して、AI データ センターを必要とせずに「大規模な機械学習推論ワークロード」を実行します。このアイデアは Apple にとってまったく新しいものではありません。Apple は以前、大規模な言語モデルが登場する前に、機械学習を多数のデバイスに分散させることを検討していました。現在、同社は、LLM ワークロードを保護された方法で分散するためのプライベート クラウド コンピューティング (PCC) などの適切な基盤も備えています。

比較的単純な解決策

ただし、ミニオンのシステムはもっと単純に動作します。この論文によると、「動的で分散された仮想 GPU クラウド」の構築は成功するはずです。これはすべて既存のハードウェアで可能であるはずです。研究者の Jianhua Li 氏、Yun Xing 氏、Girisha De Silva 氏、Ryan Flint 氏、Kai Yuan 氏、Sean Soucher 氏は、個々のマシン上のいわゆるミニオン エグゼキュータと連携する中央調整層としてサーバーを開発しました。 Ollama 推論インスタンスはこれら上で実行され、入力、モデル、結果が保存され、AWS-S3 経由で利用できるようになります。

タスクは PostgreSQL データベースを介して分散されますが、ミニオン エグゼキュータからの直接アクセスはなく、REST API を介してタスクとハートビートを取得します。 「ミニオン ウォッチドッグ」はシステムのエラーを監視します。ユーザー自身は、タスクを受け取り、プロセスを分散する「Minion Server」と対峙します。

データセンターを待つ必要はもうありません

実際のテストでは、Apple Research のチームでは大規模システムが混雑していて 10 時間以上かかることもあった GPU 推論ジョブの待ち時間が、Minions のおかげで数分に短縮されました。これは、多くの macOS マシンが低い使用率 (またはまったく使用されていない) で利用可能になったためです。スケーリングも自然に起こりました。場合によっては、特にプロジェクトに合わせて Minion Executor をマシン上で実行するかどうかについて、Slack を介して内部で合意しました。

ただし、現時点では、相互に信頼している組織内のワークロードのみが対象となります。 Apple の PCC など、プロセスを分離する技術はまだ実装されていません。ただし、論文によると、独自の PostgreSQL データベースと分離されたミニオン エグゼキュータ プールを作成して、チームまたは組織全体を分離することができます。将来的には、ミニオンを使った AI トレーニングの実行も可能になるはずです。当初、プロジェクトの現在のコードが見つかりませんでした。

(BSC)