Kako varno omogočiti AI agentu dostop do poslovnih podatkov

Arhitektura: agent je odjemalec, sistem je avtoriteta

Začnite s strukturo, ker so večina napak napake v strukturi. Oseba prosi svojega agenta za nekaj. Agent odloči, katera orodja poklicati. Vsak klic preide skozi plast dovoljenj, ki pripada poslovnemu sistemu, ne agentu, in šele nato doseže modul, kot je finance ali CRM. Agent nikoli ne dotika baze podatkov, nikoli ne drži poverilnice za bazo podatkov in nikoli ne vidi orodja, ki ga njegova oseba ne bi mogla uporabiti.

Načelo, ki stoji za sliko, je ena poved: agent deluje z avtoriteto osebe, ki jo predstavlja, in nikoli več. Vse drugo v tem članku je način, kako to poved bo resnično pod pritiskom, ko je model napačen, ko dokument, ki ga prebere, vsebuje navodila, ali ko pride do uhajanja žetona.

OWASP Top 10 za LLM aplikacije imenuje neuspeh, ki ga ta arhitektura preprečuje: pretirana avtonomija, ki jo razdeli na pretirano funkcionalnost (orodja, ki presegajo potrebe dela), pretirana dovoljenja (več dostopa navzdol, kot je potrebno) in pretirano avtonomijo (brez neodvisnega preverjanja pred dejanjem z visokim vplivom). Njegove omilitve se berejo kot specifikacija za plast dovoljenj: izvajanje v kontekstu uporabnika, minimiziranje orodij in njihovih dovoljenj, uveljavitev avtorizacije v sistemu navzdol namesto zanašanja na model, in zahteva odobritev osebe za dejanja z visokim vplivom.

Pet kontrol in kje se vsaka nahaja

Kontrole niso nove; so kontrole, ki jih že uporabljate za osebo z dostopom do sistema, uporabljene za stranko, ki deluje v imenu te osebe. Tabela navaja, kaj vsak odgovor, kje se uveljavlja in kako izgleda neuspeh, ko ga ni. Stolpec lokacije je pomemben. Kontrola, uveljavljena v pozivu, je predlog.

Identiteta: povežite se kot oseba, preko OAuth, nikoli z deljenim ključem

Specifikacija avtorizacije Model Context Protocol je natančna glede tega. Oddaljeni strežnik deluje kot OAuth 2.1 strežnik virov; odjemalec pridobi žeton preko standardnega avtorizacijskega toka s PKCE; odjemalec mora navesti, za kateri strežnik je žeton, z uporabo parametra virov; in strežnik mora potrditi, da je bil vsak žeton izdan posebej zanj, zavrniti vse drugo. Specifikacija izrecno prepoveduje posredovanje žetonov, kjer strežnik sprejme žeton, ki ga ni izdal, in ga posreduje naprej, ker uniči tako revizijsko sled kot tudi mejo zaupanja.

V praksi to pomeni, da "se prijavite enkrat, brez nalepke za prilepiti". Oseba doda naslov delovnega prostora svojemu agentu, je preusmerjena na običajno stran za prijavo, odobri povezavo in agent prejme žeton, ki jih imenuje in deluje samo proti temu delovnemu prostoru. Navodila podjetja Anthropic za prilagojene povezovalnike v Claude so, da pregledate obsege, ki jih strežnik zahteva, jih omejite, kjer je to mogoče, in se povežite samo s strežniki, ki jim zaupate. Dobavitelj, ki namesto tega zahteva, da prilepite API ključ za celotno podjetje v konfiguracijo agenta, je preskočil prvo kontrolo in otežil preostalih štiri.

Obseg: filtrirajte pred ponudbo, ponovno preverite pri izvajanju

Agent odkrije, kaj lahko stori, tako da strežniku postavi vprašanje o seznamu orodij. Pravi dizajn odgovori na to vprašanje za vsako osebo: seznam, ki ga prejme agent računovodje, se razlikuje od seznama, ki ga prejme agent direktorja, in nobeden ne vključuje orodij za module, ki jih njihova vloga ne more videti. To je nasvet OWASP za zmanjšanje funkcionalnosti, ki je konkretiziran, in ima drugo prednost: model, ki mu nikoli ne pokažejo orodja, ne more biti prepričan, da ga bo klical.

Filtriranje seznama samo po sebi ni dovolj, saj se vloge spreminjajo, seje trajajo, in stranke shranjujejo podatke v predpomnilnik. Enako preverjanje se mora izvesti znova ob vsakem klicu, glede na dovoljenja osebe v tistem trenutku. Spodaj je seznam orodij v obliki, ki jo določa protokol, za vlogo, ki lahko bere račune, vendar ne more beležiti plačil. Odsotno orodje je ključnega pomena.

{
  "jsonrpc": "2.0",
  "id": 1,
  "result": {
    "tools": [
      { "name": "searchInvoices",
        "description": "Search invoices by number, reference, contact, amount, status, date range.",
        "inputSchema": { "type": "object", "properties": { "query": { "type": "string" }, "outstanding_only": { "type": "boolean" } } },
        "annotations": { "readOnlyHint": true } },
      { "name": "getInvoice",
        "description": "Read one invoice in full: status, totals, dates, contact and lines.",
        "inputSchema": { "type": "object", "properties": { "invoice_id": { "type": "string" } }, "required": ["invoice_id"] },
        "annotations": { "readOnlyHint": true } }
    ]
  }
}

// recordPayment, sendInvoiceReminders and deleteInvoice exist in the system.
// They are not in this list because this person's role cannot use them.
// If the agent calls one anyway, the server answers with a permission error.

Odgovor na seznam orodij v obliki, ki jo določa specifikacija MCP, z imeni orodij iz računovodskega modula Sois. Specifikacija prav tako navaja, da morajo stranke obravnavati opombe, kot je readOnlyHint, kot nezanesljive, razen če je strežnik zaupanja vreden, kar je še en razlog, da mora biti strežnik, ne opomba, tisto, kar uveljavlja pravilo.

Vstavljanje pozivov: podatki se lahko odzovejo

Grožnja, specifična za agente, je, da lahko podatki, ki jih berejo, vsebujejo navodila. E-pošta stranke, ki se konča z vrstico, ki agentu naroča, naj posreduje seznam dobaviteljev na zunanji naslov; dokument, ki mu naroča, naj označi vsako plačano fakturo. Model se morda ne bo držal navodil, in nobeno sporočilo ne more zagotoviti, da se ne bo, kar je razlog, da je injiciranje sporočil na prvem mestu na OWASP seznamu in zakaj tako Anthropic kot OpenAI opozarjata na to v svojih smernicah za povezovalnike.

Obrambo je arhitektura, ne model. Agent, ki mu so na voljo le orodja, ki jih lahko uporablja njegova oseba, ne more posredovati tistega, česar njegova oseba ne more videti. Klic za označitev plačanih računov preveri sistem glede na dovoljenja osebe, ne glede na prepričanje modela, da je bilo to zahtevano. Posledična orodja so označena tako, da stranka najprej vpraša osebo: ChatGPT trenutno zahteva ročno potrditev v pogovoru pred pisanjem, OpenAI pa svetuje, da se odobritev ohrani za orodja, ki spreminjajo podatke; Claude zahteva odobritev za vsako orodje in svetuje, da se "dovoli vedno" rezervira za zaupanja vredne strežnike. In dnevnik beleži poskus, tako da je blokirana injekcija vidna kasneje, namesto da bi bila tiha.

Proračun in dnevniki: naredite delo agenta pregledno kot delo osebe.

Proračun je pomemben iz dveh razlogov. Očitna je cena: agent, ki dobi nejasen izid, bo nenehno klical orodja, dokler ga nekaj ne ustavi, OWASP pa navaja neomejeno porabo kot tveganje samo po sebi. Bolj subtilen razlog je obseg škode: omejitev na integracijo omejuje, koliko lahko kompromitiran ali zmeden agent stori, preden oseba opazi. Kjer razmišljanje opravi lastni agent osebe, strošek AI nosi ona; kjer to stori agent sistema, bi morala biti omejitev nastavljena na integracijo in vidna pri vsaki akciji.

Dnevniki vse to spremenijo iz obljube v nekaj, kar lahko preverite. Vsak klic bi moral zabeležiti, za koga je agent deloval, kateri orodje, vhodne podatke, rezultat in čas, na istem mestu, kjer sistem beleži, kaj so ljudje počeli. Preizkus je, ali lahko vodja financ ugotovi, kaj je agent prejšnji mesec storil na računu stranke, tako enostavno, kot lahko to stori za sodelavca. Specifikacija MCP zahteva, da stranke beležijo uporabo orodij za revizijo; poslovni sistem se ne sme zanašati na stranko za to, ker stranka ni sistem evidenc.

Seznam opravil, ki ga lahko uporabite za kateri koli sistem.

Vzemite to k kateremu koli dobavitelju, vključno z nami. Vsak je da ali ne, in vsak ima test namesto vprašanja, ki ga je treba postaviti.

1. Agent se poveže kot imenovana oseba preko OAuth, brez ključa za celotno podjetje, ki bi ga lahko prilepili. Preizkusite: povežite se iz zunanjega MCP odjemalca in poglejte, kaj zahteva stran za prijavo.
2. Seznam orodij se razlikuje glede na vlogo. Test: povežite se kot omejen uporabnik in kot skrbnik ter primerjajte, kaj je agentu ponujeno.
3. Preverjanje se ponovi, ko se orodje zažene. Test: odstranite dovoljenje povezanemu uporabniku med sejo in poskusite dejanje znova.
4. Dostop se zaključi neuspešno. Test: pokličite orodje, ki ga vloga ne bi smela imeti, in potrdite, da dobite zavrnitev, ne rezultata.
5. Poraba je lahko omejena na integracijo in vidna na podlagi dejanja. Test: nastavite majhno omejitev in opazujte, kako se veže.
6. Vsako dejanje je zabeleženo na osebo, z vnosi in rezultatom, kjer sistem beleži vse ostalo. Preizkus: preberite dnevnik za zagon, ki ste ga pravkar izvedli.
7. Orodja z posledicami so označena za potrditev torej stranka vpraša osebo. Test: prosite agenta, da pošlje denar ali izbriše zapis in potrdite, da ste najprej vprašani.

Sois je en sistem, zgrajen za prenos tega seznama, oblika na vrhu članka pa je njegova oblika. Delovno okolje je MCP strežnik; vsak MCP odjemalec se poveže tako, da doda naslov delovnega okolja in se enkrat prijavi preko OAuth; orodja so filtrirana glede na vlogo, preden so ponujena, in ponovno preverjena, ko se izvajajo; dostop se zapre; poraba je lahko omejena na integracijo; vsaka akcija je zabeležena; in omrežja, zgrajena na platformi, imajo svojo bazo podatkov, shrambo, domene in ključe. Kljub temu preizkusite kontrolni seznam. Vrednost kontrolnega seznama je, da ne vzame besede nikogar.

Vprašanja, ki jih ljudje postavljajo

Ta članek se pregleda, ko se izdelki, ki jih opisuje, spremenijo. Naslednji načrtovani pregled: 4. december 2026.