Kuidas anda AI agendile ohutult juurdepääs ärandmetele

Arhitektuur: agent on klient, süsteem on autoriteet

Alusta kujundist, kuna enamik vigu on kujundivead. Inimene küsib oma agendilt midagi. Agent otsustab, milliseid tööriistu kasutada. Iga kõne läbib õiguste kihi, mis kuulub ettevõtte süsteemile, mitte agendile, ja alles siis jõuab see moodulisse, nagu raamatupidamine või CRM. Agent ei puutu kunagi andmebaasi, ei hoia kunagi andmebaasi mandaati ja ei näe kunagi tööriista, mida tema isik ei saaks kasutada.

Pildi all olev põhimõte on üks lause: agent tegutseb selle isiku volitustega, keda ta esindab, ja mitte rohkem. Kõik muu selles artiklis on viis, kuidas muuta see lause tõeks surve all, kui mudel on vale, kui dokument, mida ta loeb, sisaldab juhiseid või kui token lekib.

OWASP Top 10 LLM rakenduste jaoks nimetab vea, mida see arhitektuur takistab: liigne volitus, mille ta jagab liigsesse funktsionaalsusesse (tööriistad, mis ületavad töö vajadused), liigsesse õigustesse (rohkem juurdepääsu allavoolu, kui vajalik) ja liigsesse autonoomiasse (ilma sõltumatu kontrollita enne kõrge mõju tegevust). Selle leevendused loetakse nagu õiguste kihi spetsifikatsioon: teosta kasutaja kontekstis, vähenda tööriistu ja nende õigusi, jõusta autoriseerimist allavoolu süsteemis, mitte tuginedes mudelile, ja nõua isiku heakskiitu kõrge mõju tegevuste jaoks.

Viis kontrolli ja kus igaüks asub

Kontrollid ei ole uued; need on kontrollid, mida juba rakendad isikule, kellel on süsteemile juurdepääs, rakendatuna kliendile, kes tegutseb selle isiku nimel. Tabel ütleb, mida igaüks vastab, kus see on jõustatud ja milline näeb välja ebaõnnestumine, kui see puudub. Asukoha veerg on oluline. Käsus jõustatud kontroll on soovitus.

Isiku tuvastamine: ühenda inimesena, läbi OAuth, kunagi mitte jagatud võtmega

Mudeli konteksti protokolli autoriseerimise spetsifikatsioon on selle osas täpne. Kaugserver toimib OAuth 2.1 ressursiserverina; klient saab tokeni standardse autoriseerimisvoo kaudu PKCE-ga; klient peab täpsustama, millise serveri jaoks token on, kasutades ressursi parameetrit; ja server peab kinnitama, et iga token on välja antud just selle jaoks, lükates tagasi kõik muu. Spetsifikatsioon keelab selgelt tokeni edastamise, kus server aktsepteerib tokenit, mida ta ei ole välja andnud, ja edastab selle allavoolu, kuna see hävitab nii auditi jälje kui ka usalduspiiri.

Praktikas tähendab see, et "logi sisse üks kord, ei ole tokenit, mida kleepida". Isik lisab tööruumi aadressi oma agendile, suunatakse tavapärasele sisselogimislehele, kinnitab ühenduse ja agent saab tokeni, mis tuvastab nad ja töötab ainult selle tööruumi vastu. Anthropic'i juhised kohandatud ühenduste jaoks Claude'is on vaadata serveri nõutavaid ulatusi, piirata neid, kui võimalik, ja ühendada ainult usaldusväärsete serveritega. Müüja, kes palub sul kleepida ettevõtte ulatuslik API võti agendi konfiguratsiooni, on vahele jätnud esimese kontrolli ja teinud ülejäänud neli palju raskemaks.

Ulatus: filtreeri enne pakkumist, kontrolli uuesti käitamisel

Agent avastab, mida ta suudab teha, küsides serverilt oma tööriistade nimekirja. Õige disain vastab sellele küsimusele iga inimese kohta: raamatupidaja agendi saama nimekiri on erinev direktorite agendi saama nimekirjast, ning kumbki ei sisalda tööriistu moodulite jaoks, mida nende roll ei näe. See on OWASP soovitus funktsionaalsuse minimeerimiseks, mis on tehtud konkreetseks, ja sellel on teine eelis: mudelit, millele tööriista kunagi ei näidata, ei saa sundida seda nimetama.

Loendi filtreerimine ei ole iseenesest piisav, kuna rollid muutuvad, seansid püsivad ja kliendid salvestavad. Iga kord, kui kutse saabub, peab sama kontroll uuesti toimuma, lähtudes isiku õigustest antud hetkel. Allpool on tööriistade loetelu protokolli määratletud kujul, rollile, mis saab lugeda arveid, kuid ei saa makseid registreerida. Puuduv tööriist on punkt.

{
  "jsonrpc": "2.0",
  "id": 1,
  "result": {
    "tools": [
      { "name": "searchInvoices",
        "description": "Search invoices by number, reference, contact, amount, status, date range.",
        "inputSchema": { "type": "object", "properties": { "query": { "type": "string" }, "outstanding_only": { "type": "boolean" } } },
        "annotations": { "readOnlyHint": true } },
      { "name": "getInvoice",
        "description": "Read one invoice in full: status, totals, dates, contact and lines.",
        "inputSchema": { "type": "object", "properties": { "invoice_id": { "type": "string" } }, "required": ["invoice_id"] },
        "annotations": { "readOnlyHint": true } }
    ]
  }
}

// recordPayment, sendInvoiceReminders and deleteInvoice exist in the system.
// They are not in this list because this person's role cannot use them.
// If the agent calls one anyway, the server answers with a permission error.

MCP spetsifikatsioonis määratletud kujul tööriistade/nimekirja vastus, kus on tööriistade nimed Sois raamatupidamismoodulist. Spetsifikatsioon ütleb ka, et kliendid peavad käsitlema annotatsioone, nagu readOnlyHint, usaldamatutena, välja arvatud juhul, kui server on usaldusväärne, mis on veel üks põhjus, miks server, mitte annotatsioon, peab olema see, mis reeglit jõustama.

Küsimuse sisestamine: andmed võivad vastata

Agenteid spetsiifiline oht seisneb selles, et loetavates andmetes võivad olla juhised. Kliendi e-kiri, mis lõpeb lausega, mis käsib agendil edastada tarnijate nimekiri välisele aadressile; dokument, mis käsib märkida iga arve tasutuks. Mudel võib järgida või mitte järgida, ja ükski käsk ei saa garanteerida, et see ei juhtu, mistõttu on käskude süstimine OWASP-i nimekirjas esimesel kohal ja seetõttu hoiatavad nii Anthropic kui ka OpenAI selle eest oma ühenduse juhistes.

The defence is the architecture, not the model. An agent that is only offered the tools its person can use cannot forward what its person cannot see. A call to mark invoices paid is checked by the system against the person's permissions, not against the model's belief that it was asked to. Consequential tools are marked so that the client asks a person first: ChatGPT currently requires manual confirmation in a conversation before write actions, and OpenAI's guidance is to keep approval on for tools that modify data; Claude asks for approval per tool and advises reserving "allow always" for trusted servers. And the log records the attempt, so an injection that was blocked is visible afterwards rather than silent.

Eelarve ja logid: tee agendi töö sama ülevaatlikuks kui inimese oma

Eelarve on oluline kahel põhjusel. Ilmselge põhjus on kulu: agent, kellele antakse ebaselge tulemus, jätkab tööriistade kutsumist, kuni midagi seda peatab, ja OWASP loetleb piiramatu tarbimise omaette riskina. Peenem põhjus on plahvatusraadius: iga integratsiooni puhul kehtestatud piirang piirab, kui palju saab kompromiteeritud või segaduses agent teha, enne kui inimene seda märkab. Kui mõtlemise teeb inimese enda agent, jääb AI kulu tema kanda; kui süsteemi enda agent seda teeb, peaks piirang olema kehtestatud iga integratsiooni kohta ja nähtav iga toimingu puhul.

Logid muudavad kõik need lubadused auditeeritavaks. Iga kõne peaks registreerima, kelle nimel agent tegutses, millist tööriista kasutati, sisendid, tulemus ja aeg, samas kohas, kus süsteem registreerib, mida inimesed tegid. Test on selles, kas finantsjuht suudab välja selgitada, mida agent tegi kliendi kontoga eelmisel kuul sama lihtsalt nagu kolleegi puhul. MCP spetsifikatsioon nõuab klientidelt tööriistade kasutamise logimist auditi jaoks; ärisüsteem ei tohiks selleks toetuda kliendile, kuna klient ei ole registrisüsteem.

Kontrollnimekiri, mida saad kasutada igasuguste süsteemide vastu.

Võta need kaasa igale müüjale, sealhulgas meile. Igaühel on jah või ei, ja igal on test, mitte küsimus, mida esitada.

1. Agendi ühendab end nimepidi OAuth kauduilma ettevõtteülese võtmeta. Test: ühenda välisest MCP kliendist ja vaata, mida sisselogimise leht küsib.
2. Tööriistade nimekiri erineb rolli järgi. Test: ühenda piiratud kasutajana ja administraatorina ning võrrelge, mida agent pakub.
3. Kontrollimist korratakse, kui tööriist töötab. Test: eemalda ühendatud kasutajalt õigustus seansi keskel ja proovi toimingut uuesti.
4. Juurdepääs ebaõnnestub. Test: kutsu tööriista, mida rollil ei tohiks olla, ja kinnita, et saad keeldumise, mitte tulemuse.
5. Kulutusi saab piirata iga integratsiooni kaupa ja neid saab näha iga toimingu kaupa. Test: seadista väike piir ja vaata, kuidas see kehtestatakse.
6. Iga toiming logitakse isiku järgi, koos sisendite ja tulemusega, kus süsteem logib kõik muu. Test: vaata logi jooksu kohta, mille just tegid.
7. Tagajärjed tööriistad on märgitud kinnitamiseks nii et klient küsib inimeselt. Test: palu agendil saata raha või kustutada rekord ja kinnita, et sind küsitakse esmalt.

Sois on üks süsteem, mis on loodud selle nimekirja edastamiseks, ja artikli ülaosas olev kuju on selle kuju. Tööruum on MCP server; iga MCP klient ühendub, lisades tööruumi aadressi ja logides sisse üks kord OAuth kaudu; tööriistad filtreeritakse rolli järgi enne, kui need pakutakse, ja kontrollitakse uuesti, kui need töötavad; juurdepääs ebaõnnestub suletult; kulutusi saab piirata iga integratsiooni puhul; iga toiming logitakse; ja platvormil loodud võrgud omavad oma andmebaasi, salvestusruumi, domeene ja võtmeid. Käi nimekiri selle vastu läbi igal juhul. Nimekirja väärtus on see, et see ei võta kellegi sõna.

Küsimused, mida inimesed esitavad

Seda artiklit vaadatakse üle, kui kirjeldatud tooted muutuvad. Järgmine planeeritud ülevaatus: 4. detsember 2026.