IT Houseは10月25日、Twitterの共同創設者ジャック・ドーシー氏が所有する会社であるBlockが、ローカル操作をサポートし、笑い、間、窒息などの感情表現をシミュレートできる新しい音声モデルDessaを発表したと報じた。公式の紹介によると、Dessa は完全に人間の音声データに基づいてトレーニングされており、トレーニング プロセスでは NVIDIA GPU ラックのセットのみが使用されます。
Dessaは全二重モデルで、OpenAIが今年初めにリリースしたGPT-Liveと同様に、話しながらユーザーの声を聞くことができる。主流の音声モデルは通常、知識を取得するために大規模な言語モデルと組み合わせる必要があります。ブロック氏は、Dessa 自身の知識はトレーニングに使用された対話データから来ていると述べました。
ブロック氏は、既存の音声 AI エクスペリエンスは硬直していて一貫性がないことが多いと述べました。根本的な原因は、生成されたリンクを最初にテキストに変換する必要があり、その後そのテキストによって音声合成が行われることです。イレブンラボ v4 やフィッシュ オーディオ ドラマ 3 などの多くのモデルは、感情を制御するために音声タグに依存しています。ドーシー氏の会社は、感情表現がモデルにネイティブに組み込まれていると主張しているが、感情を制御するために依然として何らかのラベルに依存しているかどうかは不明である。
ブロック氏はブログで、「現在の音声AIインタラクションエクスペリエンスは本当にひどい。まず音声がテキストに変換され、テキストでは伝えられない大量の情報が直接失われる。世界で最も強力なAIでさえ、あなたの感情を聞くことはできない。われわれはこれは非常に不合理だと考えている。エクスペリエンスが劣悪であるだけでなく、潜在的なリスクも抱えている」と述べた。
研究チームはデッサとの複数の会話サンプルを公開した。このエージェントは、音色、話す速度、感情を切り替えることができます。たとえば、ある会話の中で、AIは仕事でとても疲れていると言い、その声も疲れているように聞こえました。
別の例では、AI は相手がどのように安心しているかを、窒息しそうなほど感情的な口調で話します。別のデモンストレーションでは、ブロックの従業員が音声アシスタントを使用してゲームをプレイする様子が示されました。
公式の指示によると、このモデルはコンシューマグレードのコンピュータでローカルに実行でき、デバイスのしきい値はM4 Maxおよびそれ以上の構成のMacBookです。しかし、デッサは現段階では裁判のために一般に公開されていない。ブロック氏は、この種の音声エージェントが人間を欺く危険なシナリオのテストに重点を置いて、セキュリティ研究者にテストの招待状を発行している。
ITハウスによると、ブロック社の主な事業は中小企業向けソリューションを提供する金融サービスで、子会社のスクエア社はすでに音声AIを活用して発注業務を行っているという。デバイス側で実行できるこの音声モデルを自社開発した後、Block は販売業者や一般ユーザー向けに、より低コストでより多くの音声製品を発売する予定です。
広告文: 記事に含まれる外部ジャンプ リンク (ハイパーリンク、QR コード、パスワードなどを含むがこれらに限定されない) は、より多くの情報を伝え、選択時間を節約するために使用されます。結果は参考用です。外部リンクを含む IT House の記事には、この声明が含まれています。
