A preocupação honesta em entregar trabalho a um agente não é se ele vai acertar na maior parte das vezes. É o que acontece no dia em que não acerta. Um sistema em que se pode confiar é aquele onde um erro é pequeno, visível e reversível, por design, não por sorte.
Os erros são uma questão de raio de impacto
Qualquer sistema que realiza trabalho real, humano ou agente, ocasionalmente cometerá um erro. O que importa não é fingir o contrário; é limitar o dano. Um bom design mantém um erro contido, torna-o visível rapidamente e facilita a reversão. Essa é a lente para avaliar qualquer sistema agente.
As permissões limitam o que pode correr mal
Um agente atua apenas dentro das permissões da pessoa que representa, verificadas quando as suas ferramentas são oferecidas e novamente quando são executadas. Ele não pode tocar no que essa pessoa não poderia, portanto, o pior cenário é limitado por uma fronteira que você já compreende. Um erro permanece dentro da faixa que você definiu.
As aprovações capturam as que têm consequências
As decisões que mais doem, um grande reembolso, um contrato, um pagamento acima de um limite, são exatamente aquelas que são encaminhadas a uma pessoa antes de acontecerem. O agente prepara-as; você aprova-as. Assim, as ações de alto risco nunca são executadas sem supervisão desde o início.
O registo de auditoria torna-o reversível
Cada ação é registada: o que o agente fez, em nome de quem, e quando. Quando algo está errado, você pode ver exatamente o que aconteceu e reverter, em vez de adivinhar. Capturável e reversível supera confiante e opaco todas as vezes.
Por que isso supera uma resposta errada confiante
Um modelo por si só pode produzir uma resposta fluente e errada sem rasto. Um agente que opera ferramentas reais dentro de um sistema com permissões e auditado é o oposto: as suas ações são limitadas, registadas e verificáveis. A estrutura em torno do modelo é o que transforma a capacidade bruta em algo em que você pode realmente confiar.
A confiança não é a ausência de erros; é o que o sistema faz em relação a eles. Veja como a Sois limita e regista as ações do agente, ou lançar um espaço de trabalho e defina os limites antes de delegar algo.