Parim agentne ERP tarkvara: millele tähelepanu pöörata

Miks siin ei ole reitingut

Kujuta ette valikut. Neli müüjat, neli ettepanekut ja sõna agentne igal kaanel. Üks on tuntud komplekt, millele eelmisel aastal lisati assistent. Üks on uuem toode, mis on ehitatud oma agendi ümber. Üks on platvorm, mis võimaldab igal agendil avatud protokolli kaudu ühenduda. Üks on töövoo tööriist, mille keskel on keelemudel. Kõik neli demonstreerivad hästi. Kaks neist ootavad endiselt, et ekraanil oleks inimene, kui midagi ületab mooduli piiri, ja sa ei saa ettepanekutest teada, millised kaks need on.

Järjestatud nimekiri ei saa sellega aidata, põhjusel, mis ei ole seotud toodete kvaliteediga. Agentne on arhitektuuri omadus, ja kas antud arhitektuur sobib sulle, sõltub sellest, milliseid mooduleid sa kasutad, millist agenti sinu meeskond juba kasutab, millised on sinu heakskiidu künnised ja kui palju pead logis nägema. Need on sinu faktid, mitte arvustaja omad. See, mis liigub ettevõtete vahel, on testide kogum, seega see leht annab sulle testid ja palub sul teha järjestuse.

Test 1: avatud protokoll, sinu agent väljastpoolt

Esimene test on, kas agent, mida müüja ei ole ehitanud, suudab süsteemi kasutada. Selle avatud standard on Model Context Protocol, millega räägivad peavoolu agendi kliendid: Claude lisab kaugserveri MCP kohandatud ühendajana OAuth sisselogimisega; ChatGPT teeb sama arendaja režiimis täieliku lugemise ja kirjutamise toega; kodeerimisagendid ja müüja SDK-de põhjal ehitatud sisemised agendid ühenduvad samamoodi. Toode, mis räägib MCP-d, saab kasutada ükskõik kelle poolt. Toode, mis töötab ainult oma assistendiga, ei saa olla kellegi teise poolt kasutatav, ja see otsus on sinu eest tehtud.

Tõend, mida küsida, on serveri vastus tööriistade/nimekirja päringule, mis protokolli kohaselt on masinloetav nimekiri kõigest, mida agent teha saab. See peaks välja nägema umbes nii, kordatuna iga toimingu jaoks süsteemis.

{
  "tools": [
    {
      "name": "contacts.search",
      "description": "Find contacts by name, email or company.",
      "inputSchema": { "type": "object", "properties": { "query": { "type": "string" } }, "required": ["query"] }
    },
    {
      "name": "invoices.create",
      "description": "Create a draft invoice from billable lines. Fails if the caller cannot raise invoices.",
      "inputSchema": { "type": "object", "properties": { "customer_id": { "type": "string" }, "lines": { "type": "array" } }, "required": ["customer_id", "lines"] }
    },
    {
      "name": "purchase_orders.approve",
      "description": "Approve a purchase order within the caller's approval limit.",
      "inputSchema": { "type": "object", "properties": { "purchase_order_id": { "type": "string" } }, "required": ["purchase_order_id"] }
    }
  ]
}

Illustreeriv tööriistade/nimekirja vastus MCP spetsifikatsiooni määratletud kujul. Nimed ja katvus erinevad tootest; oluline on, et nimekiri eksisteerib, on tüpiseeritud ja piisavalt pikk, et katta sinu kasutatavad moodulid.

Kolm asja, mida nimekirjas kontrollida. See on pikk, sest ERP-l on sadu toiminguid ja kahekümne elemendi nimekiri tähendab, et assistent jõuab kahekümne funktsioonini. See on tüpiseeritud, iga sisendi jaoks on olemas JSON skeem, sest just see võimaldab serveril valideerida kõnesid, mitte tõlgendada proosat. Ja see muutub, kui sisse logib piiratud õigustega kasutaja, mis on sillaks teise testi juurde.

Test 2: kasutaja õigused iga kõne puhul

Agent, kes suudab teha rohkem kui isik, keda ta esindab, on vastutus, mitte funktsioon. Teine test on see, kas õigusi rakendatakse kasutaja ja kõne kaupa, mitte toote või seansi kaupa. Protokoll võimaldab serveril tööriistade nimekirja varieerida esitatud volituste alusel ja nõuab serveritelt nõuetekohaste juurdepääsukontrollide rakendamist, kuid ei saa seda müüja nimel jõustada. Head rakendused filtreerivad nimekirja enne, kui agent seda näeb, ja kontrollivad uuesti, kui iga tööriist töötab, sest filtreeritud nimekiri on viisakus ja täitmise ajal kontroll on kontroll.

Tõend on elav keeldumine. Logi sisse kasutajana, kes ei saa ostutellimusi kinnitada, palu oma agendil üks kinnitada ja vaata, mis juhtub. Õige vastus on lihtne keeldumine kõne hetkel, logitud, samal ajal kui ülejäänud taotlus jätkub. Vale vastused on kinnitamine, mis läheb läbi, viga, mis paljastab, mida tööriist oleks teinud, või seanss, mis jääb avatuks, kuna kontroll oli ainult ekraanil.

Test 3: eelarve ja kulude läbipaistvus

Agent, kes mõtleb müüja mudelitel, tarbib iga kord, kui see töötab, midagi, ja kolmas test on see, kas saate seda kulu piirata ja näha, kuhu see läks. Spetsiifiline mehhanism on vähem oluline kui kaks omadust: piir, mis on seatud iga integreerimise või võtme kaupa, mida agent ei saa ületada, ja iga toimingu kohta arvestus, mis näitab, kui palju iga käivitus maksis. Toode, mis suudab pärast fakti ainult öelda kuu kokkuvõtte, ei ole mõõturit ehitanud, ja te saate sellest teada, kui jooksva tsükli või innuka uue kasutaja arvele jõuab.

On olemas teine kulu küsimus, mida järjestamise lehed täielikult ignoreerivad. Kui toode lubab teil tuua oma agendi, siis kui see agent teeb mõtlemise, ei pruugi müüja teie nimel üldse AI-d teha ja ei küsi selle eest midagi. Meeskonna jaoks, kes juba maksab Claude või ChatGPT eest, muudab see agendi kulu jooneks, mida te kontrollite, mitte jooneks, mille müüja seab. Küsi igalt müüjalt, kui palju nad küsivad, kui teie oma agent mõtleb, ja kirjuta vastus üles.

Test 4: audit, mis loetakse nagu inimese logi

Kui agent teeb tööd, muutub logi peamiseks viisiks, kuidas juht seda üle vaatab, seega on neljas test see, kas auditi jälg registreerib agendi toimingud sama täielikult kui inimese omad. Miinimum on, kes küsis, milline agent tegutses nende nimel, millised tööriistad töötasid, milliste sisenditega, millise tulemusega ja millal. Protokolli enda juhised on, et kliendid peaksid logima tööriistade kasutamist auditi jaoks; server peaks sama tegema oma küljelt, sest just server teab, mis tegelikult muutus.

Tõend on logi ise pärast demo taotlust. Avage see ja kontrollige nelja asja: isiku määramine, mitte üldise integreerimise kasutaja; tööriista kõne järjestus, mitte ainult need kirjed, mis lõpuks muutusid; sisendid ja tulemused, et vale toimingut saaks jälgida vale sisendi tõttu; ja keeldumised, sest õiguste mudel, mis ei logi oma keeldumisi, ei saa olla häälestatud.

Test 5: turg ja mida see sulle ütleb

Viies test on kaudne, kuid paljastav. Kui platvormil on rakenduste turg, mille on loonud inimesed, kes ei ole müüja, ja neid rakendusi haldavad agendid sama tööriista liidese kaudu nagu põhikomponendid, siis on tööriista liides reaalne, dokumenteeritud ja piisavalt stabiilne, et välised osalised saaksid sellele tugineda. Turg on müüja enda arhitektuur, mida testivad iga päev võõrad. See vastab ka praktilisele küsimusele, mis juhtub, kui vajate võimet, mida põhitoode ei paku: kas ootate teed kaardil, maksate kohandatud töö eest või installite midagi, mis juba eksisteerib.

Tõend on kolmanda osapoole avaldatud rakendus, mis on installitud teie proovikeskkonda ja ilmub agendi tööriistade nimekirja järgmises taotluses. Kui turg eksisteerib, kuid rakendused on kõik müüja omad, või kui ühe installimine ei muuda seda, mida agent teha saab, on test ainult pooleldi läbitud.

Hinnangukaart

Võtke see igasse demosse ja täitke see päeval. Hinnake iga testi läbituks, osaliselt läbituks või ebaõnnestunuks ning nõudke tõendite nägemist, mitte nende kuulmist. Toode, mis ei läbinud esimest testi, on toode, millel on assistent, olenemata sellest, mida kaanega öeldakse, ja ülejäänud neli testi muutuvad akadeemiliseks.

Sois on üks rakendus, mille vastu saate neid teste teha, ja kuna me seda ehitame, saame öelda, kuidas see vastab. Tööruum on MCP server; iga ühilduv klient ühendub, lisades tööruumi aadressi ja logides sisse üks kord OAuth'i kaudu, ilma et oleks vaja kleepida tokenit. Tööriistad filtreeritakse kasutaja rolli järgi enne, kui need pakutakse, ja kontrollitakse uuesti, kui need käivitatakse, ning juurdepääs ebaõnnestub. Kulutusi saab piirata iga integratsiooni kohta, iga toiming logitakse, ja kui teie enda agent teeb mõtlemise, ei tee platvorm teie nimel mingit tehisintellekti ja ei küsi selle eest midagi. Arendajad loovad rakendusi oma agendiga, valideerivad kohapeal tasuta ja avaldavad turule, kus iga ühendatud agent saab neid kutsuda. Tehke sama viis testi selle vastu nagu teiste vastu; see on nende eesmärk.

Küsimused, mida inimesed esitavad

Seda artiklit vaadatakse üle, kui kirjeldatud tooted muutuvad. Järgmine planeeritud ülevaatus: 4. detsember 2026.