Block 推出全双工 AI 语音模型 Dessa：真人感拉满，支持本地运行
IT Houseは10月25日、Twitterの共同創設者ジャック・ドーシー氏が所有する会社であるBlockが、ローカル操作をサポートし、笑い、間、窒息などの感情表現をシミュレートできる新しい音声モデルDessaを発表したと報じた。公式の紹介によると、Dessa は完全に人間の音声データに基づいてトレーニングされており、トレーニング プロセスでは NVIDIA GPU ラックのセットのみが使用されます。 Dessaは全二重モデルで、OpenAIが今年初めにリリースしたGPT-Liveと同様に、話しながらユーザーの声を聞くことができる。主流の音声モデルは通常、知識を取得するために大規模な言語モデルと組み合わせる必要があります。ブロック氏は、Dessa 自身の知識はトレーニングに使用された対話データから来ていると述べました。 ブロック氏は、既存の音声 AI エクスペリエンスは硬直していて一貫性がないことが多いと述べました。根本的な原因は、生成されたリンクを最初にテキストに変換する必要があり、その後そのテキストによって音声合成が行われることです。イレブンラボ v4 やフィッシュ オーディオ ドラマ 3 などの多くのモデルは、感情を制御するために音声タグに依存しています。ドーシー氏の会社は、感情表現がモデルにネイティブに組み込まれていると主張しているが、感情を制御するために依然として何らかのラベルに依存しているかどうかは不明である。 ブロック氏はブログで、「現在の音声AIインタラクションエクスペリエンスは本当にひどい。まず音声がテキストに変換され、テキストでは伝えられない大量の情報が直接失われる。世界で最も強力なAIでさえ、あなたの感情を聞くことはできない。われわれはこれは非常に不合理だと考えている。エクスペリエンスが劣悪であるだけでなく、潜在的なリスクも抱えている」と述べた。 研究チームはデッサとの複数の会話サンプルを公開した。このエージェントは、音色、話す速度、感情を切り替えることができます。たとえば、ある会話の中で、AIは仕事でとても疲れていると言い、その声も疲れているように聞こえました。…