Geriausia agentinio ERP programinė įranga: į ką atkreipti dėmesį

Kodėl čia nėra reitingų

Įsivaizduokite trumpąjį sąrašą. Keturi tiekėjai, keturi pasiūlymai ir žodis agentinis kiekviename viršelyje. Vienas yra įsitvirtinusi programinė įranga su asistentu, pridėtu praėjusiais metais. Vienas yra naujesnis produktas, sukurtas aplink savo agentą. Vienas yra platforma, leidžianti bet kuriam agentui prisijungti per atvirą protokolą. Vienas yra darbo srauto įrankis su kalbos modeliu viduryje. Visi keturi gerai demonstruojami. Du iš jų vis dar tikisi, kad prie ekrano bus žmogus, kai kas nors peržengs modulio ribą, ir jūs nesužinosite, kurie du iš pasiūlymų.

Rūšiuotas sąrašas negali padėti, nes tai neturi nieko bendra su produktų kokybe. Agentinis yra architektūros savybė, o tai, ar tam tikra architektūra jums tinka, priklauso nuo to, kuriuos modulius naudojate, kurį agentą jūsų komanda jau naudoja, kokie yra jūsų patvirtinimo slenksčiai ir kiek norite matyti žurnale. Tai yra jūsų faktai, o ne recenzento. Tai, kas keliauja tarp verslų, yra testų rinkinys, todėl šiame puslapyje pateikiami testai ir prašoma, kad jūs juos rūšiuotumėte.

Testas 1: atviras protokolas, jūsų agentas iš išorės

Pirmasis testas yra tai, ar agentas, kurio tiekėjas nesukūrė, gali valdyti sistemą. Atviras standartas šiam tikslui yra Model Context Protocol, kurį naudoja pagrindiniai agentų klientai: Claude prideda nuotolinį MCP serverį kaip pritaikytą jungtį su OAuth prisijungimu; ChatGPT daro tą patį kūrėjų režimu su pilnu skaitymo ir rašymo palaikymu; kodavimo agentai ir vidiniai agentai, sukurti pagal tiekėjo SDK, jungiasi tokiu pačiu būdu. Produktą, kuris kalba MCP, gali valdyti bet kuris iš jų. Produktą, kuris veikia tik su savo asistentu, negali valdyti niekas kitas, ir šis sprendimas buvo priimtas už jus.

Įrodymas, kurio reikia prašyti, yra serverio atsakymas į tools/list užklausą, kuri pagal protokolą yra mašininio skaitymo sąrašas visko, ką agentas gali padaryti. Jis turėtų atrodyti maždaug taip, pakartojant kiekvienai sistemos veiklai.

{
  "tools": [
    {
      "name": "contacts.search",
      "description": "Find contacts by name, email or company.",
      "inputSchema": { "type": "object", "properties": { "query": { "type": "string" } }, "required": ["query"] }
    },
    {
      "name": "invoices.create",
      "description": "Create a draft invoice from billable lines. Fails if the caller cannot raise invoices.",
      "inputSchema": { "type": "object", "properties": { "customer_id": { "type": "string" }, "lines": { "type": "array" } }, "required": ["customer_id", "lines"] }
    },
    {
      "name": "purchase_orders.approve",
      "description": "Approve a purchase order within the caller's approval limit.",
      "inputSchema": { "type": "object", "properties": { "purchase_order_id": { "type": "string" } }, "required": ["purchase_order_id"] }
    }
  ]
}

Pavyzdinė įrankių/sąrašų atsakymas, atitinkantis MCP specifikaciją. Pavadinimai ir aprėptis skirsis priklausomai nuo produkto; svarbu, kad sąrašas egzistuotų, būtų suformuotas ir būtų pakankamai ilgas, kad apimtų naudojamus modulius.

Trys dalykai, kuriuos reikia patikrinti sąraše. Jis ilgas, nes ERP turi šimtus veiksmų, o dvidešimties elementų sąrašas reiškia, kad asistentas pasiekia dvidešimt funkcijų. Jis yra tipizuotas, su JSON schema kiekvienam įvedimui, nes tai leidžia serveriui patvirtinti užklausas, o ne interpretuoti prozą. Ir jis keičiasi, kai prisijungia labiau ribotas vartotojas, kas yra tiltas į antrąjį testą.

Testas 2: vartotojo teisės kiekvienam skambuciui

An agent that can do more than the person it represents is a liability, not a feature. The second test is whether permissions are enforced per user and per call, not per product or per session. The protocol allows a server to vary the tool list by the authorisation presented and requires servers to implement proper access controls, but it cannot enforce either on the vendor's behalf. The good implementations filter the list before the agent sees it and then check again when each tool runs, because a filtered list is a courtesy and an execution-time check is a control.

Įrodymas yra tiesioginis atsisakymas. Prisijunkite kaip vartotojas, kuris negali patvirtinti pirkimo užsakymų, paprašykite savo agento patvirtinti vieną ir stebėkite, kas nutiks. Teisingas atsakymas yra paprastas atsisakymas skambučio metu, užfiksuotas, o likusi užklausos dalis vis tiek užbaigiama. Netinkami atsakymai yra patvirtinimas, kuris praeina, klaida, kuri atskleidžia, ką įrankis būtų padaręs, arba sesija, kuri nepavyksta, nes patikra buvo tik ekrane.

Testas 3: biudžeto ir išlaidų skaidrumas

Agentas, kuris mąsto pagal tiekėjo modelius, sunaudoja kažką kiekvieną kartą, kai jis veikia, o trečiasis testas yra tai, ar galite apriboti tas išlaidas ir pamatyti, kur jos nuėjo. Konkretus mechanizmas yra mažiau svarbus nei dvi savybės: riba, nustatyta kiekvienai integracijai arba raktui, kurios agentas negali viršyti, ir kiekvieno veiksmo įrašas, kiek kiekvienas vykdymas kainavo. Produktas, kuris gali pasakyti tik mėnesinį bendrą po fakto, nesukūrė matuoklio, ir tai sužinosite, kai nevaldomas ciklas arba entuziastingas naujas vartotojas pasieks sąskaitą.

Yra antras išlaidų klausimas, kurį reitingų puslapiai visiškai praleidžia. Jei produktas leidžia jums atsinešti savo agentą, tai kai tas agentas mąsto, tiekėjas gali visai neįgyvendinti jokios dirbtinio intelekto jūsų naudai ir už tai nieko neimti. Komandai, kuri jau moka už Claude arba ChatGPT, tai paverčia agento išlaidas linija, kurią kontroliuojate, o ne linija, kurią nustato tiekėjas. Paklauskite kiekvieno tiekėjo, kiek jie ima, kai jūsų agentas mąsto, ir užsirašykite atsakymą.

Testas 4: auditas, kuris skaitomas kaip asmens žurnalas

Kai agentas atlieka darbą, žurnalas tampa pagrindiniu būdu, kaip vadovas jį peržiūri, todėl ketvirtasis testas yra tai, ar audito takas registruoja agento veiksmus taip pat išsamiai, kaip žmogaus. Minimalus reikalavimas yra, kas paklausė, kuris agentas veikė jų vardu, kurie įrankiai buvo naudojami, su kokiais įvestimis, su kokiu rezultatu ir kada. Protokolo nuoroda yra ta, kad klientai turėtų registruoti įrankių naudojimą audito tikslais; serveris turėtų daryti tą patį iš savo pusės, nes tik serveris žino, kas iš tikrųjų pasikeitė.

Įrodymas yra pats žurnalas, po demonstracijos užklausos. Atidarykite jį ir patikrinkite keturis dalykus: priskyrimą asmeniui, o ne bendram integracijos vartotojui; įrankių skambinimo seką, o ne tik įrašus, kurie pasikeitė; įvestis ir rezultatus, kad neteisingą veiksmą būtų galima atsekti iki neteisingos įvesties; ir atsisakymus, nes leidimų modelis, kuris neregistruoja savo atsisakymų, negali būti pritaikytas.

Testas 5: rinka ir ką ji jums sako

Penktasis testas yra netiesioginis, bet atskleidžiantis. Jei platforma turi programėlių rinką, sukurtą žmonių, kurie nėra tiekėjas, ir tos programėlės veikia per agentus per tą pačią įrankių sąsają kaip pagrindiniai moduliai, tai įrankių sąsaja yra reali, dokumentuota ir pakankamai stabili, kad išorės asmenys galėtų ant jos kurti. Rinka yra tiekėjo architektūra, kurią kasdien testuoja svetimi žmonės. Tai taip pat atsako į praktinį klausimą, kas nutinka, kai jums reikia funkcionalumo, kurio trūksta pagrindiniam produktui: ar laukiate kelio žemėlapio, mokate už individualų darbą, ar įdiegiate kažką, kas jau egzistuoja.

Įrodymas yra paskelbta programėlė iš trečiosios šalies, įdiegta jūsų bandomojoje darbo erdvėje, pasirodanti agento įrankių sąraše kitame užklausoje. Jei rinka egzistuoja, bet visos programėlės yra tik tiekėjo, arba jei įdiegus vieną nepasikeičia, ką agentas gali daryti, testas yra tik pusiau išlaikytas.

Įvertinimo kortelė

Pasiimkite tai į kiekvieną demonstraciją ir užpildykite tą dieną. Įvertinkite kiekvieną testą kaip išlaikytą, dalinai išlaikytą arba neišlaikytą, ir reikalaukite matyti įrodymus, o ne apie juos girdėti. Produktas, kuris neišlaiko pirmo testo, yra produktas su asistentu, nesvarbu, ką sako aprašymas, o kiti keturi testai tampa akademiniais.

Sois yra viena įgyvendinimo versija, kurią galite naudoti šiems testams, ir kadangi mes ją kuriame, galime pasakyti, kaip ji atsako. Darbo erdvė yra MCP serveris; bet kuris suderinamas klientas prisijungia pridėdamas darbo erdvės adresą ir prisijungdamas vieną kartą per OAuth, be jokio įklijuojamo ženklo. Įrankiai filtruojami pagal vartotojo vaidmenį prieš juos siūlant ir vėl tikrinami, kai jie veikia, o prieiga uždaroma. Išlaidos gali būti ribojamos pagal integraciją, kiekviena veiksmas yra registruojamas, o kai jūsų agentas atlieka mąstymą, platforma nevykdo jokios AI jūsų vardu ir už tai nieko neima. Kūrėjai kuria programas su savo agentu, vietoje patvirtina nemokamai ir skelbia rinkoje, kur kiekvienas prijungtas agentas gali jas pasiekti. Atlikite tuos pačius penkis testus, kaip ir su visais kitais; tai ir yra jų tikslas.

Klausimai, kuriuos žmonės užduoda

Šis straipsnis peržiūrimas, kai keičiasi jame aprašyti produktai. Kita suplanuota peržiūra: 2026 m. gruodžio 4 d..