コーディング エージェントを使用しているときに、エージェントがコードを変更しているときに突然権限要求が表示されるという状況に遭遇したことがあるかもしれません。あなたはそれを見て、何も問題がないと考えたので、[承認]をクリックします。しばらくすると、別のリクエストが表示されるので、再度承認します。
作業が複雑になると、この確認作業が何十回も繰り返されることになります。最初はコマンドと操作対象をよく確認します。後は、明らかな異常がない限り、「OK」をクリックします。
この「頭を使わない」確認の習慣は形成されやすいです。結局、Agent を使い始めた当初は、繰り返しの作業を減らしたいという思いがあったのですが、最初の数回のチェックでは問題が見つからなかったので、自然とその後のリクエストに対する警戒も徐々に緩んでいきました。そのため、各工程の確認・確認にかかる時間が節約され、自動化による効率が大幅に向上します。
しかし、ここで考えてみる価値のある質問があります。エージェントが独立してより多くの作業を完了できるようになったとしても、私たちはそれを効果的に監督する能力をまだ持っているでしょうか?
「AI エージェントが人間をループから追い出す」という論文の中で、Hugging Face の Margaret Mitchell 氏と Avijit Ghosh 氏、Data & Society の Samir Passi 氏も同様の懸念を提起しました。
現在のエージェントの開発では、自律性、タスクの完了率、実行効率にますます注目が集まっているが、人間がシステムを効果的に監視し続けることができるかどうかについては十分な注意が払われていないと著者は考えています。それだけでなく、AI への長期的な依存は、監督に必要な専門的なスキルや判断力を弱める可能性もあります。
なぜ監視が失敗するのか
エージェントの運用リスクを軽減するために、人間参加型は常に重要な設計アイデアです。
たとえば、コーディング エージェントでは、特定のコマンドを実行したり、機密ファイルを変更したり、外部リソースにアクセスしたりするときに、システムはユーザーに承認を求めます。重大な影響を与える可能性のある操作については、結果を確認し、関連する変更を提案したり、タスクを中止したりすることもできます。
プロセスの観点から見ると、私たちは常にエージェントの制御を保持します。しかし、監視メカニズムが機能するためには、監視の責任者がエージェントの行動を判断するのに十分な情報、時間、能力を持っていることが前提条件となります。
エージェントの能力が向上するにつれて、できることはますます増えます。それに応じて、理解しなければならない内容も徐々に増えています。最終的な結果に加えて、エージェントがどのような措置を講じたのか、計画を変更した理由、およびこれらのアクションがどのような影響を与えるのかについても考慮する必要があります。
たとえシステムが完全な実行記録を提供したとしても、人間にはそれを項目ごとに読む時間がない可能性があり、常に詳細を理解していることを保証することはさらに困難です。
同論文は、頻繁な許可要求が「承認疲労」（承認疲労）を引き起こしやすいと指摘している。ユーザーが同様のリクエストを何度も処理すると、注意力の持続時間が徐々に低下し、「無知な」承認が習慣になる可能性があります。
また、実行記録を注意深く調べても、すべての問題を発見できるわけではありません。たとえば、エージェントはコードを変更するときに間違ったツール パラメータを使用し、構成ファイルを誤って変更してしまいました。すべての実行ログを表示できますが、問題の根本原因を見つけるには、プロジェクトの構造、関連する操作のコンテキスト、およびコード変更の間の関係を理解する必要があります。
つまり、監督権限を保持することは、人々がプロセスに介入する機会を確保することしかできません。監督が効果的であるかどうかは、問題を発見し、正しい判断ができ、適時に介入できるかどうかによって証明されます。
エージェントの実行処理が複雑化すると、確認ボタンを追加したり、ログの表示を増やしたりするだけではすべての問題を解決することが困難になります。
自動化のパラドックスと機能の低下
承認疲労よりもさらに悪いのは、エージェントを長期間使用すると、人々が本来持っていた慣れ親しんだスキルの一部を徐々に失うことです。
この論文では、1983 年にはすでに提案されていた概念について言及しています。自動化のパラドックス(自動化の皮肉)。簡単に言えば、機械が引き継ぐ仕事が増えれば増えるほど、人間が自ら行う機会が減ります。時間が経つと、慣れ親しんだワークフローでも慣れなくなる可能性があります。しかし、機械に何か問題が発生すると、人間がその破片を拾わなければなりません。
コーディングを例に考えてみましょう。以前は、開発者はコードを読み、計画を設計し、ファイルを変更し、テストを自分で実行する必要がありました。これで、これらのタスクはすべてエージェントに引き渡され、最終ステップで結果を確認するだけで済みます。
確かに開発効率は向上しましたが、課題も生じています。開発者が特定のコードの実装に長期間参加していない場合、エージェントによって記述されたコードで問題が発生した場合、コード構造、呼び出し関係、そもそもエージェントがこのように記述された理由を再理解するために多くの時間を費やす必要がある可能性があります。
論文で引用されている調査では、一部の開発者が徐々に、よりトラブルのない判断方法に頼るようになることもわかりました。たとえば、エージェントの実行計画に何も問題がないことがわかった場合、実際の操作は期待どおりであると想定します。あるいは、すべてのテストに合格した場合、コードには何も問題がないはずだと考えるでしょう。ただし、計画がよく書かれているからといって、エージェントがそれを確実に実行するとは限りません。テストに合格した場合、問題が検出されなかったことを意味する可能性があります。
ここで、パニックになる必要はありません。結局のところ、自分でコードを書かなくても、エンジニアリング上の判断力を失うわけではありません。経験豊富な開発者は、アーキテクチャ レビューやテスト設計などを通じてエージェント実装プロセスの問題を見つけることができます。ただし、プロジェクトの詳細にさえ精通しておらず、通常は主にエージェントの概要とテスト結果に頼っている場合、レビューは簡単にプロセスになってしまいます。
この問題は、プログラミングを学び始めたばかりの人にとってより明らかかもしれません。以前にバグに遭遇したときは、情報を確認し、エラーレポートを読み、修正を試みる必要がありました。それを解決するには長い時間がかかりました。問題はエージェントに任せてください。数分で解決する可能性があります。タスクはより速く完了しますが、問題のトラブルシューティングによって蓄積されたはずの経験も失われる可能性があります。
この論文では、認知依存、批判的思考、スキル低下に関する研究についても言及しています。ただし、エージェントの長期使用によって人々の能力がどの程度変化するかについて、明確な答えを与える十分な証拠は現時点ではありません。
障害を監視するフィードバック ループ
この論文はまた、人間による監督の質の低下が、AI システムの評価と最適化に影響を与える可能性があるという、注目に値する問題も提起しています。
現在、AIシステムの性能を評価する際の参考指標として、タスクの完了率やユーザーの満足度、承認行動などが挙げられます。一部のトレーニングまたは最適化プロセスでは、このフィードバックはシステムを改善するために使用される場合もあります。
たとえば、2 人のユーザーがエージェントの実行計画をチェックしているとします。最初のユーザーはそれを注意深く読んだ後、計画に問題があることに気づき、計画の実施の承認を拒否し、エージェントに修正を依頼しました。 2人目のユーザーは、同様の業務を数多くこなしてきたため、企画書を見ずに「承認」をクリックし、さらには好意的な評価も付けていました。
システムが主に承認率と満足度に注目する場合、2 番目のユーザーのフィードバックが実際にエージェントに高い評価を与える可能性があります。しかし、ここに問題があります。ユーザーがソリューションを本当に承認しているのか、それとも慎重にチェックするのが面倒なのかをシステムはどうやって知るのでしょうか?
このフィードバックをエージェントの最適化に使用し続けると、問題がさらに拡大する可能性があります。システムは徐々に、簡潔かつ自信を持って説明するなど、ユーザーが確認する必要がないように感じさせる、ユーザーが受け入れやすい解決策を提供する傾向にあるかもしれません。
この論文では、このリスクを報酬システムの脆弱性に関連付けています。もともとエージェントを監督するために使用されていた人間のフィードバックは、慎重にレビューされていないため、エージェントの実際のパフォーマンスを反映していません。
もちろん、上記の問題が成立する前提は、システムがその後の最適化のためにユーザーの承認、評価、その他の動作を使用するということです。この種のフィードバック ループが発生した場合、その結果に注意を払う必要があります。人間はますますエージェントに依存し、実行プロセスについての理解がますます薄れています。しかし、システムはポジティブなフィードバックを受け取り続けるため、パフォーマンスがどんどん良くなっていると考えるかもしれません。
最終的には、エージェントのさまざまな指標は向上しているかもしれませんが、エラーを検出し、結果が信頼できるかどうかを判断する人間の能力が追いついていない可能性があります。
人間による監視の再設計
上記の問題を解決するには、手動によるレビューを追加し、より多くの確認作業を確認できるようにすることが簡単に考えられます。
しかし、これにより私たちの認知負荷が増加します。すでに承認疲れを経験している人間の場合、確認回数を増やしても実際には監督効果が向上しない可能性があります。
この論文は、エージェントの設計はより多くの人々の注意力、判断力、専門スキルを考慮し、製品設計と組織管理という 2 つの側面から始める必要があると提案しています。
たとえば、リスクが低く、明確に許可された操作の場合、エージェントは限られた範囲内で自律的に実行することができます。より大きな影響を与える決定については、ユーザーが決定を下す前に十分に判断できるように、必要な情報が提供されます。
複雑なタスクの場合、タスクの段階ごとにレビューを整理することもできるため、ユーザーは関連する操作や変更を一元的に確認できるため、分散した権限要求によって引き起こされる繰り返しの中断が軽減されます。
著者は、やや直観に反する提案もしています。重要な意思決定では、思考のつながりを意識的に保持する。
たとえば、ユーザーはエージェントの推奨事項を確認する前に、独自の判断を下すことができます。リスクの高い操作を承認する場合、ユーザーは重要な前提と証拠を確認するように指示されます。
これらの設計により、運用コストがいくらか増加する可能性がありますが、ユーザーが AI の提案を盲目的に受け入れることも減らすことができます。
組織レベルでは、定期的な独立したタスクの完了、ジョブローテーション、および専門スキルのトレーニングを通じて、従業員が実際の仕事に精通した状態を維持できるように支援することを推奨しています。監督の品質は、監査動作やエラー識別機能などの指標を通じて評価することもできます。
もちろん、これらのオプションには代償が伴います。追加の監査は効率に影響し、行動の監視にはプライバシーとガバナンスの問題も伴います。したがって、監視メカニズムはミッションのリスクと実際のシナリオに応じて調整する必要があります。
この論文は次のことを強調したいと考えています。システム開発の完了を待ってそれを補うために追加の承認リンクに依存するのではなく、エージェントの設計段階で人間の監督機能を評価する必要があります。
結論
エージェントの開発により、人間の仕事への取り組み方が変わりつつあります。
これまでは人間が自らタスクを実行し、AI がアドバイスや支援を提供していました。エージェントの自律性が高まるにつれて、より多くの作業がシステムに引き継がれ、人間は目標の設定、結果の確認、重要な決定に対する責任がより大きくなります。
この変化により、作業効率が向上するとともに、人々の監督能力に対する要求も高まりました。エージェントがより多くのタスクを独立して完了できることを願っていますが、問題が発生した場合は、誰かがエラーを見つけて原因を特定し、必要に応じて引き継ぐことができる必要があります。
これは、この論文の最も重要な質問にもつながります。私たちはタスク実行者からエージェントのスーパーバイザーに徐々に移行しますが、それに匹敵する能力はあるでしょうか?
将来エージェントを評価する際には、エージェントがどれだけのタスクを完了できるか、どれだけ効率的であるかに焦点を当てることに加えて、人間がエージェントの実行プロセスを理解して習得できるかどうかも考慮する必要があるかもしれません。
結局、エージェントの能力は常に向上しており、人間の監督能力もそれに追いつく必要があります。
