過去 1 年間で、検索エージェントの機能が大幅に進化しました。 BrowseComp などの評価では、上位モデルの精度が当初の 30% の範囲から 90% 以上まで急速に上昇しました。ただし、ベンチマークが急速に飽和すると、モデル間を区別する能力におけるベンチマークの価値が減少します。
BrowseComp のトピックは手動で設計されており、その制限は、アノテーターが知っているエンティティと関係に基づいてのみ考えられ、グローバルな知識ネットワークの観点から判断できないことです。つまり、どの条件を取得するのが本当に難しいのか?十分に大きな候補空間を持つ制約はどれですか?この制限があるため、別の可能性について考え始めます。機械は自分で質問を考え出すことができますか?
Meituan LongCat チームが最新の論文で提案した LoHoSearch ベンチマークは、この可能性を現実のものにします。
- ナレッジグラフの自動構築。 質問は、762 万の Wikipedia エンティティをカバーするナレッジ グラフに基づいて自動的に生成され、手動の質問に代わって行われます。ベンチマークには、11 分野をカバーする手動で検証された 544 の質問が含まれています。
- 2次元の難易度コントロール。 生成中の検索スペースと構造の複雑さを体系的に制御します。既存のベンチマークよりも大幅に難しい、挑戦的な問題を作成します。
- 現行モデルの性能。 評価されたモデルのうち、GPT-5.5 の精度は 34.74% です。既存のコンテキスト管理戦略は LoHoSearch で 6.8% 向上しましたが、これは BrowseComp の 14.03% よりも低いです。
機械が質問をするための前提条件は、機械が全体的な視野を持てるようにすることです。構築プロセス全体は次の 4 つのリンクに分割できます。マッピング → 制御難易度 → 品質管理 → データ概要。以下を一つずつ展開していきます。
LoHoSearch の最初のステップは、完全な英語版 Wikipedia に基づいて大規模なナレッジ グラフを構築することです。
- 762 万のエンティティ (各 Wiki ページはエンティティ ノード)
- 2 億 6,500 万の有向エッジ (ページ本文内の他の Wiki ページへのハイパーリンク)
- 各エンティティのタイプは Wikidata P31 カテゴリから取得され、エンティティの人気度は次数によって測定されます。
このマップは、その後のグローバルな観点から「問題」を選択するための基礎を提供します。
地図を手に入れたら、次の質問は次のとおりです。どのような質問が「難しい」とみなされるのか? LoHoSearch は 2 つの次元に沿って難易度を定義します。
検索の難易度を決定する 2 つの主要な要素があり、手動で質問を設定する場合に制御するのが最も難しいのはこれらの要素です。
- サーチスペース: 条件を満たす候補エンティティの数。候補者が多ければ多いほど、除外コストは高くなります。
- 構造の複雑さ: 答えをロックするには、同時にいくつの条件を満たさなければなりません。条件が多くなり、噛み合いが厳しくなるほど、解決チェーンは長くなります。
これら 2 つの次元に対して、LoHoSearch は 2 つのサブグラフ構造を設計しました。
- ツリー構造主に「探索空間」を拡大することで難易度を生み出す。
- グラフ構造巨大な検索空間の上に、循環依存関係や相互制約を導入することで、「構造の複雑さ」がさらに重畳されます。
サブ画像のサンプリングが完了したら、可読な自然言語の質問に変換する必要があります。変換と検証のプロセス全体は、次の 3 つの層に分かれています。
- 質問の生成: サブグラフから Wiki の説明を抽出し、自然言語の質問として書き直します。
- 自動検証: 質問が部分グラフの関係を完全にカバーしているかどうかを確認し、検索エージェントは標準の回答がすべての条件を満たしていることを確認します。
- スクリーニングとレビュー：複数回答の質問や答えやすい質問を除外し、手動で確認します。
3 レベルのスクリーニング後の自動プロセスの全体的な品質パフォーマンスは次のとおりです。質問の 75.5% が手動レビューに直接合格し、22.3% がアノテーターによる微調整後に受け入れられ、重大な問題により破棄されたのは 2.2% のみでした。
LoHoSearch 最終コレクション 544チャンネル 手動で検証された質問。ツリー構造とグラフ構造を比較すると、グラフ構造のサブグラフの方が大幅に密度が高く、前者に比べてより多くのノードとほぼ 2 倍のエッジの数があり、これはより高い構造の複雑さに相当します。質問は、音楽、地理と場所、映画とテレビ、スポーツを含む 11 の主題分野をカバーしています。
最強のモデルである GPT-5.5 の精度は 34.74% に過ぎず、DeepSeek-V4-Pro、Claude-Opus-4.6、KIMI-K2.6 は 15.53% ～ 15.99% に集中しており、他のモデルはすべて 14% 未満です。これは、BrowseComp での 80% 以上のパフォーマンスとはまったく対照的です。LoHoSearch は、現在の最先端の検索エージェントにとって大きな課題となっています。
DeepSeek-V4-Flash をプローブとして使用して 2 つのベンチマークを比較します。同じモデルの精度は、BrowseComp では 58.84% ですが、LoHoSearch ではわずか 10.02% です。
LoHoSearch の質問を解くと、ツールの平均呼び出し回数は 35 回から 61 回 (+74%) に増加し、中央値は 26 回から 59 回に増加しました。グラフ構造の質問の精度はわずか 8.01% で、ツリー構造の 11.89% よりもはるかに低く、構造の複雑さが検索空間とは関係なく、さらなる困難の原因であることが証明されています。
DeepSeek-V4-Flash は 16 個の独立した応答をサンプリングし、その結果を図 5 に示します。
pass@N は、N=1 の 9.3% から N=16 の 38.3% に増加しました。サンプリングを繰り返すことのメリットは大きいですが、38.3% という数字はまだ低いです。 16 回試行しても、60% 以上の問題がまだ解決できません。 3 つの集計戦略の中で、best-of-N のパフォーマンスが最も高く (24.6%)、これは pass@16 の上限よりもはるかに低く、このモデルには応答の信頼度の調整に明らかな欠陥があることが示されています。
標準の ReAct をベースラインとして使用し、概要とすべて破棄の 2 つの戦略をテストし、検証モジュールを追加します。
最もパフォーマンスの高い組み合わせ (すべて破棄 + 検証) ではスコアが 10.02% から 16.82% に向上し、絶対的な改善はわずか 6.8 パーセント ポイントでしたが、同じ戦略では BrowseComp で 14 ポイントの向上をもたらす可能性があります。ゲインが狭くなる理由は、LoHoSearch ではより長い推論チェーンが必要であり、単純な軌跡の圧縮や再起動では長距離検索における情報損失の問題を解決できないため、これが次世代のコンテキスト管理テクノロジのより価値のある実験場となるためです。
2 つのベンチマークにおける「隠れたエンティティ」の特性を比較すると、次のことがわかります。
まず、BrowseComp における非表示エンティティの人気が大幅に高くなります。質問を手動で設定する場合、エンティティの人気を正確に制御することは難しく、エンティティの偏りが生じます。
第 2 に、たとえ人気が同じレベルで制御されたとしても、LoHoSearch のリレーショナル検索空間は依然として大幅に大きく、エンティティ推論の難易度は BrowseComp よりもはるかに高くなります。
これは、手作業による構築には体系的な限界があり、ナレッジグラフは難しい質問を体系的に構築するために不可欠な基盤であることを示しています。
LoHoSearch の価値は、次の 3 つの具体的な貢献に反映されています。
- ナレッジグラフに基づいた自動構築プロセス。 762万のエンティティをカバーするナレッジグラフに基づいて質問が自動生成され、システムが探索空間と構造の複雑さを制御し、手動で生成する質問の難易度の上限を突破します。
- より差別化された評価基準。 最強モデル GPT-5.5 の精度はわずか 34.74% に過ぎず、正しい軌道を描くために必要なツール呼び出し回数は BrowseComp の 1.7 倍です。 LoHoSearch は、検索エージェントに対して、より差別化された評価尺度を確立します。
- コンテキスト管理研究のための挑戦的なプラットフォーム。 最適戦略では 6.8% の改善しか得られず、BrowseComp での 14.03% の伸びよりもはるかに低く、LoHoSearch が次世代のコンテキスト管理テクノロジの研究を促進する理想的な実験場になり得ることを示しています。
LoHoSearch は完全にオープンソースであり、すべての主要モデルが「長距離検索」テストを受けることができます。
