エージェントに仕事を任せる際の正直な心配は、大部分が正しく行われるかどうかではありません。問題は、うまくいかない日が来たときに何が起こるかです。信頼できるシステムとは、ミスが小さく、見える化され、設計によって修正可能であることです。
ミスは影響範囲の問題です
実際の作業を行うシステムは、人間であれエージェントであれ、時折何かを間違えます。重要なのは、それを否定することではなく、損害を制限することです。優れた設計はエラーを封じ込め、迅速に表面化し、簡単に元に戻せるようにします。それがエージェントシステムを評価する視点です。
許可は問題の発生を制限します
エージェントは、代表する人物の許可内でのみ行動します。ツールが提供されるときと実行されるときに確認されます。その人物ができないことには触れられないため、最悪のケースもあなたが既に理解している境界内に収まります。ミスはあなたが設定した範囲内に留まります。
承認が重要なものを捉えます
最も影響の大きい決定、大きな返金、契約、閾値を超える支払いは、発生する前に人にルーティングされます。エージェントが準備し、あなたが承認します。したがって、リスクの高い行動が無人で実行されることはありません。
監査証跡がそれを可逆にします
すべての行動が記録されます：エージェントが何をしたか、誰のために、いつ行ったか。何かが間違っているとき、何が起こったのかを正確に確認し、推測するのではなく、元に戻すことができます。捕捉可能で可逆的であることは、常に自信があり不透明であることに勝ります。
なぜこれが自信のある誤答に勝るのか
モデル単体では、流暢で誤った答えを痕跡なく生成することがあります。許可され監査されたシステム内で実際のツールを操作するエージェントはその逆です：その行動は制限され、記録され、確認可能です。モデルを取り巻く構造が、実際に信頼できるものに生の能力を変えるのです。
信頼とはミスの不在ではなく、それに対してシステムが何をするかです。 Soisがどのようにエージェントの行動を制限し記録するかをご覧ください、または ワークスペースを起動する 何かを委任する前に制限を設定してください。