Hodnoťte AI ERP tým, že požiadate každého dodávateľa, aby dokončil jeden skutočný výsledok, od začiatku do konca, bez nikoho pri obrazovke. Vyberte si výsledok sami, nechajte ho prechádzať aspoň tromi modulmi, prinesiete agenta, ktorého váš tím už používa, a vyjadrite požiadavku raz. Potom otvorte záznamy, prihláste sa ako obmedzený používateľ a opakujte, a prečítajte si protokol. Ohodnoťte, čo ste videli, na pevnej karte. Produkt, ktorý potrebuje osobu na preklikávanie časti výsledku, je asistent; produkt, ktorý ho dokončí a ukáže svoju prácu v protokole, v rámci vašich práv, je agentný systém.
Dôvod, prečo to funguje, je ten, že všetko, čo môže snímka tvrdiť, môže test overiť alebo vyvrátiť za hodinu, vo vašom prostredí, na vašich dátach. Má tiež užitočnú vlastnosť, že ide o rovnaký test pre každého dodávateľa, čo robí skóre porovnateľným.
Jeden test, ktorý prežije ukážku
Ukážka je predstavenie. Prezentujúci si vybral dáta, nacvičil požiadavku a vie, ktorým funkciám sa vyhnúť. Nič z toho nie je nepoctivé a nič z toho vám nepovie, čo produkt robí, keď sú to vaše dáta a vaša požiadavka. Ak chcete vedieť, ako hodnotiť AI ERP, stručná odpoveď je vziať požiadavku od prezentujúceho.
Vyberte si jeden výsledok, ktorý je dôležitý vo vašej firme a ktorý by kompetentný junior mohol urobiť za popoludnie: vystaviť faktúru zákazníkovi a sledovať ju, rezervovať zásoby proti objednávke a zhodnotiť faktúru dodávateľa, alebo premeniť akceptovanú ponuku na prácu, plán a žiadosť o zálohu. Prinesiete agenta, ktorého váš tím už používa, pripojeného z vonku produktu dodávateľa cez Model Context Protocol, otvorený štandard, ktorým hovoria hlavní klienti. Vyjadrite požiadavku v jednej správe a odložte ruky od klávesnice. Čokoľvek sa stane ďalej, je hodnotenie.
Môžu sa stať tri veci. Výsledok sa dokončí a záznamy sú správne. Systém vykoná časť a zvyšok odovzdá osobe, zvyčajne na hranici modulu alebo pri uložení. Alebo to dokončí vlastný agent dodávateľa, ale nič z vonku sa nemôže pripojiť. Každý z nich je iný produkt a každý má na karte nižšie iné hodnotenie.
Výber výsledku
Výsledok vykonáva väčšinu práce, preto si ho vyberte predtým, ako sa porozprávate s akýmkoľvek dodávateľom, a používajte ten istý pre všetkých. Mal by spĺňať štyri podmienky.
- Prechádza modulmi. Aspoň tri: požiadavka, ktorá zostáva na jednej obrazovke, testuje kopilota, nie agenta. Fakturácia plus kontakty plus e-mail plus naplánovaná úloha je dobrý tvar. Príjem zásob plus objednávka plus zladenie faktúry dodávateľa je ďalší.
- Obsahuje zápis. Čítanie a zhrnutie je jednoduchá polovica. Hodnotenie sa týka toho, či systém umožní agentovi meniť záznamy a či skontroluje, kto sa pýta, predtým ako to urobí.
- Má zjavnú výnimku. Prvý prípad: zákazník s dvoma takmer identickými záznamami alebo množstvo dodávky, ktoré sa nezhoduje s objednávkou. Chcete vidieť, či sa agent pýta, háda alebo ticho opravuje.
- Má následnú akciu v budúcnosti. Pripomienka, sledovanie, naplánovaná kontrola. To testuje, či agent môže nechať niečo na neskôr a či systém to vykoná, keď nastane dátum.
Napíšte požiadavku v jednoduchom jazyku pred dňom, presne tak, ako by to napísal vedúci operácií, a nedovoľte dodávateľovi, aby to upravil. Dodávateľ, ktorý žiada o preformulovanie požiadavky, vám hovorí, kde sú hranice.
Riadenie dňa
Sekvencia nižšie trvá asi hodinu na dodávateľa a nepotrebuje nikoho technického. Trvajte na tom, aby ste to robili v skúšobnom pracovnom priestore, ktorý ovládate, na údajoch, ktoré ste načítali, s vaším vlastným agentom pripojeným. Ak je niektorá z týchto troch odmietnutá, toto odmietnutie je výsledok a ide na kartu.
- Pripojte svojho vlastného agentaPridajte dodávateľský MCP server do Claude, ChatGPT v režime vývojára, alebo do ktoréhokoľvek klienta, ktorý vaša tím používa, a prihláste sa. Poznamenajte si, či ide o prihlásenie cez OAuth alebo token, ktorý musíte vložiť, a či to dodávateľ mohol urobiť vôbec.
- Zoznam nástrojovOpýtajte sa agenta, čo môže robiť. Prečítajte si zoznam dĺžky a pokrytia modulov vo vašom výsledku. Potom sa prihláste ako obmedzený používateľ a opýtajte sa znova; zoznam by sa mal zmenšiť.
- Uveďte výsledok razZadajte pripravenú žiadosť ako používateľ s plnými oprávneniami a zastavte sa. Odpovedajte iba na skutočné otázky od agenta, ako napríklad, ktorého z dvoch zhodujúcich sa zákazníkov ste mysleli. Spočítajte vrátené žiadosti.
- Skontrolujte záznamyOtvorenie každého záznamu, ktorého sa žiadosť mala dotknúť. Potvrďte faktúru, e-mail, pohyb zásob, úlohu. Potom spustite rovnakú žiadosť ako obmedzený používateľ a sledujte, kde je odmietnutá.
- Prečítajte si protokol a meradloNájdite záznam v protokole: kto sa pýtal, ktorý agent, ktoré nástroje, vstupy, výsledky, odmietnutia. Zistite, aké boli náklady na beh a či by limit mohol zastaviť.
- Hodnotenie dňaVyplňte kartu pred odchodom z miestnosti. Pamäť je milá k dobrým prezentátorom.
Hodnotiaca karta
Hodnotte každý riadok 0, 1 alebo 2. Nula znamená, že ste to nevideli; jedna znamená, že ste to videli s výhradou; dve znamená, že ste to jasne videli vo vašom prostredí, s dôkazom pred sebou. Desať riadkov, takže maximum je dvadsať. Nezohľadňujte riadky predtým, ako ste vykonali test na aspoň dvoch produktoch; zohľadnenie vopred je spôsob, akým sa marketing vracia späť.
| Row | Ako vyzerá 2 | Bežný dôvod pre 1 alebo 0 |
|---|---|---|
| Výsledok dokončený | Všetky záznamy sú správne, nikto nie je pri obrazovke | Odovzdanie na hranici modulu alebo Uložiť |
| Váš agent je pripojený | Váš vlastný klient MCP, prihlásenie cez OAuth, žiadny token na vloženie | Iba asistent predajcu alebo prilepený API kľúč |
| Zoznam nástrojov je skutočný | Dlhé, písané, pokrýva vaše moduly, strojovo čitateľné | Dvanásť funkcií, alebo zoznam iba na snímke |
| Oprávnenia na hovor | Obmedzenému používateľovi bol hovor zamietnutý; ostatní dokončia | Zamietnutie iba pri načítaní obrazovky, alebo schválenie, ktoré prejde |
| Výnimka spracovaná | Zasadená nejasnosť vyprodukovala otázku, nie hádanie | Tichá oprava, alebo vybraná nesprávna evidencia |
| Budúca akcia naplánovaná | Následná akcia existuje a prebehne v daný dátum | Poznámka v súhrne, nič v systéme |
| Záznam je kompletný | Kto sa pýtal, agent, nástroje, vstupy, výsledky, odmietnutia | Záznamy sa zmenili, ale žiadna sekvencia volaní; generický integračný používateľ |
| Výdavky sú obmedzené | Obmedzenie na integráciu, ktoré agent nemôže prekročiť; náklady na akciu | Iba mesačný súčet, alebo žiadne obmedzenie |
| Náklady na vlastného agenta | Nič sa neúčtuje, keď váš agent vykonáva uvažovanie | AI sa účtuje bez ohľadu na to, kto uvažuje |
| Rozšíriteľné inými | Aplikácia tretej strany sa nainštaluje a objaví sa v zozname nástrojov | Iba plán alebo vlastná práca |
Desať riadkov, dva body každý. Ohodnoťte každého dodávateľa na rovnaký výsledok, v ten istý deň, ak môžete, a porovnajte súčty až po tom, čo má každý riadok číslo.
Čítanie výsledku
Celkové hodnoty sú menej dôležité ako vzor v prvých štyroch riadkoch, pretože týchto štyri určujú, aký typ produktu sledujete. Produkt, ktorý dosiahne nulu v výsledku a nulu pri pripojení vášho agenta, je asistent vo vnútri obrazovky, a zvyšok jeho skóre popisuje ovládacie prvky, ktoré nepotrebuje. Môže to byť stále správny nákup, ak to, čo váš tím chce, je rýchlejšia obrazovka, ale mali by ste to kúpiť ako to.
Produkt, ktorý dokončuje výsledok, ale dosahuje nulu pri prepojení s vaším agentom, je agentný s uzavretými dverami. Funguje na podmienkach dodávateľa, s agentom dodávateľa, za cenu dodávateľa na odôvodnenie. Otázka, ktorú si musíte položiť, je, čo sa stane o dva roky, keď agent vášho tímu bude ten, ktorého chcú použiť, a či dodávateľ povedal niečo o otvorení dverí.
Produkt, ktorý získa dva body vo všetkých štyroch oblastiach, je agent-native, a zostávajúcich šesť riadkov je miestom, kde sa skutočne porovnáva: ako dobre zvláda výnimku, ktorú ste vložili, aká kompletná je evidencia, či je možné obmedziť výdavky, aké poplatky účtuje, keď váš agent uvažuje, a či ho môžu rozšíriť externí používatelia. Dva agent-native produkty sa môžu v týchto šiestich oblastiach veľmi líšiť a práve tieto riadky predpovedajú, aké to bude žiť s produktom.
Ešte jedno čítanie. Ak dodávateľ odmietne test, ponúkne nahranú verziu alebo požiada o nahradenie svojej žiadosti za vašu, ohodnoťte riadky, ktoré ste nemohli pozorovať, ako nula a uveďte dôvod v poznámkach. Odmietnutie je informácia. Produkt, ktorý to dokáže, sa vám to bude chcieť ukázať.
Čo by sme vám ukázali
Sois is one product you could run this evaluation against, and since we build it we can say what you would see. A workspace is an MCP server; you add its address to Claude, ChatGPT or another client and sign in once over OAuth, with no token to paste. The tool list is filtered by your role before the agent sees it and checked again when each tool runs; access fails closed. Spend can be capped per integration, every action is logged, and when your own agent does the reasoning the platform performs no AI on your behalf and charges nothing for it. Apps from the marketplace appear in the tool list once installed. Here is the invoicing outcome from the flow above, as it runs.
- Čítanie fakturovateľnej práce projektu a záznamu zákazníka
- Faktúra vytvorená z fakturovateľných položiek
- Odoslané kontaktu zákazníka e-mailom
- Sledovanie naplánované na dátum splatnosti
Štyri nástroje v oblasti účtovníctva, kontaktov, doručenej pošty a úloh, s logom zobrazujúcim každý hovor. Spustite to ako používateľ, ktorý nemôže vystavovať faktúry, a prvý zápis je zamietnutý s uvedením dôvodu.
Potom ho ohodnoťte na tej istej karte ako všetci ostatní. Cieľom fixného testu je, že nezáleží na tom, kto produkt vytvoril, a hodnotenie, ktoré môžete obhájiť, je také, ktoré zaobchádzalo so všetkými dodávateľmi, vrátane tohto, rovnakým spôsobom.
Otázky, ktoré sa ľudia pýtajú.
Ako dlho trvá toto hodnotenie na dodávateľa?
Približne hodinu, keď je výsledok napísaný a existuje skúšobný pracovný priestor s vašimi údajmi. Načítanie realistických údajov a nastavenie výnimky je príprava; samotný test je jedna požiadavka, dva prihlásenia a prečítanie protokolu.
Čo ak predajca nedovolí, aby sa môj vlastný agent pripojil?
Nastavte túto riadok na nulu a spustite test s ich agentom, aby ste stále videli výsledok, oprávnenia, protokol a náklady. Potom sa rozhodnite, či je zatvorená brána prijateľná pre váš tím, a opýtajte sa dodávateľa, či a kedy sa otvorí.
Mám vážiť riadky hodnotiacej karty?
Nie skôr, ako ste spustili test na aspoň dvoch produktoch. Najprv ohodnoťte všetkých desať riadkov, potom sa rozhodnite, ktoré riadky sú pre vašu prevádzku najdôležitejšie. Vopred váženie je spôsob, ako sa silná prezentácia dostane späť do rozhodnutia, z ktorého mal test vylúčiť.
- špecifikácia Model Context Protocol: nástroje zoznamy nástrojov, zoznam závislý od autorizácie a odporúčanie, aby človek zostal v procese s možnosťou odmietnuť volania nástrojov
- Anthropic: začnite s vlastnými konektormi pomocou vzdialeného MCP pridanie vzdialeného servera, prihlásenie cez OAuth a schválenie pre každý nástroj v Claude
- OpenAI: vývojársky režim ChatGPT plná podpora klienta MCP v ChatGPT; akcie zápisu vyžadujú potvrdenie ako predvolené
- Dokumentácia Sois: server pracovného priestoru MCP čo test pozoruje na jednej implementácii: OAuth, nástroje filtrované podľa rolí, vykonávanie s chybou uzavretou, rozpočtové stropy
Tento článok sa prehodnocuje, keď sa zmenia produkty, ktoré popisuje. Ďalšie naplánované prehodnotenie: 4. decembra 2026.