Ocenite AI ERP tako, da vsakemu dobavitelju naročite, naj doseže en pravi rezultat, od začetka do konca, brez nikogar pred zaslonom. Izberite rezultat sami, naj vključuje vsaj tri module, prinesite agenta, ki ga vaša ekipa že uporablja, in enkrat navedite zahtevo. Nato odprite evidence, prijavite se kot omejen uporabnik in ponovite ter preberite dnevnik. Ocenite, kar ste videli, na fiksni kartici. Izdelek, ki potrebuje osebo, da klikne skozi del rezultata, je asistent; izdelek, ki ga dokonča in pokaže svoje delo v dnevniku, v okviru vaših dovoljenj, je agentni sistem.
Razlog, da to deluje, je, da lahko vse, kar trdi diapozitiv, test v eni uri preveri ali ovrže v vašem okolju, na vaših podatkih. Ima tudi koristno lastnost, da je to isti test za vsakega dobavitelja, kar omogoča primerljivost ocen.
Eden test, ki preživi demo
Demo je predstava. Predstavitelj je izbral podatke, vadil zahtevo in ve, katerih funkcij se izogibati. Nič od tega ni nepošteno in nič od tega vam ne pove, kaj izdelek počne, ko so vaši podatki in vaša zahteva. Če želite vedeti, kako oceniti AI ERP, je kratek odgovor, da vzamete zahtevo od predstavitelja.
Izberite en rezultat, ki je pomemben za vaše podjetje in ga lahko kompetenten mlajši sodelavec opravi v popoldnevu: izstavite račun stranki in ga zasledujte, rezervirajte zalogo proti naročilu in uskladite dobaviteljev račun, ali pa sprejeto ponudbo spremenite v delo, urnik in zahtevo za polog. Prinesite agenta, ki ga vaša ekipa že uporablja, povezanega izven dobaviteljevega izdelka preko Model Context Protocol, odprtega standarda, ki ga uporabljajo glavni odjemalci. Navedite zahtevo v eni sporočilu in odstranite roke s tipkovnice. Kar se zgodi naprej, je ocena.
Tri stvari se lahko zgodijo. Izhod se zaključi in zapisi so pravilni. Sistem opravi del tega in preda preostalo osebi, običajno na meji modula ali ob shranjevanju. Ali pa ga zaključi lastni agent dobavitelja, vendar se nič od zunaj ne more povezati. Vsaka od teh je drugačen izdelek, in vsak doseže drugačne rezultate na spodnji kartici.
Izbira rezultata
Izhod opravi večino dela, zato ga izberite, preden se pogovorite z katerim koli dobaviteljem, in uporabite istega za vse. Izpolnjevati mora štiri pogoje.
- Prečka module. Vsaj tri: zahteva, ki ostane znotraj enega zaslona, preizkuša kopilota, ne agenta. Računanje plus stiki plus e-pošta plus načrtovana naloga je dobra oblika. Prejem blaga plus naročilnica plus usklajevanje dobaviteljske fakture je druga.
- Vsebuje zapis. Branje in povzemanje je enostavna polovica. Ocena se nanaša na to, ali bo sistem dovolil agentu spreminjanje zapisov in ali preveri, kdo sprašuje, preden to stori.
- Ima očitno izjemo. Prva situacija: stranka z dvema skoraj identičnima zapisoma ali količina dostave, ki ne ustreza naročilu. Želite videti, ali agent vpraša, ugiba ali tiho popravi.
- Ima nadaljevanje v prihodnosti. Opomnik, zasledovanje, načrtovana preverba. To preizkuša, ali lahko agent pusti nekaj za kasneje in ali bo sistem to izvedel, ko bo prišel datum.
Zahtevo zapišite v preprostem jeziku pred dnem, natančno tako, kot bi jo vpisal vodja operacij, in ne dovolite dobavitelju, da jo ureja. Dobavitelj, ki prosi za preformuliranje zahteve, vam pove, kje so meje.
Izvajanje dneva
Zaporedje spodaj traja približno eno uro na dobavitelja in ne potrebuje nikogar tehničnega. Zahtevajte, da to izvedete v preizkusnem delovnem prostoru, ki ga nadzorujete, na podatkih, ki ste jih naložili, s svojim lastnim agentom povezanem. Če je katera od teh treh zavrnjena, je to zavrnitev rezultat in gre na kartico.
- Povežite svojega agentaDodajte MCP strežnik dobavitelja v Claude, ChatGPT v načinu za razvijalce ali katerikoli odjemalec, ki ga uporablja vaša ekipa, in se prijavite. Upoštevajte, ali gre za prijavo prek OAuth ali za žeton, ki ga morate prilepiti, ter ali je dobavitelj to sploh lahko storil.
- Naštejte orodjaVprašajte agenta, kaj mu je dovoljeno početi. Preberite seznam glede dolžine in pokritosti modulov v vašem izidu. Nato se prijavite kot omejen uporabnik in vprašajte znova; seznam se bo moral skrajšati.
- Enkrat navedite izidVnesite pripravljeno zahtevo kot uporabnik z polnimi pravicami in prenehajte. Odgovarjajte le na resnična vprašanja agenta, kot je, katerega od dveh ujemajočih se strank ste imeli v mislih. Štejete vrnjene zahteve.
- Preverite zapiseOdprite vsak zapis, ki bi ga morala zahteva obravnavati. Potrdite račun, e-pošto, gibanje zalog, nalogo. Nato izvedite isto zahtevo kot omejen uporabnik in opazujte, kje je bila zavrnjena.
- Preberite dnevnik in merilnikPoiščite vnos v dnevniku: kdo je vprašal, kateri agent, katera orodja, vnosi, rezultati, zavrnitve. Ugotovite, kakšni so bili stroški izvajanja in ali bi omejitev lahko to preprečila.
- Ocenite danIzpolnite kartico, preden zapustite sobo. Spomin je prijazen do dobrih predstaviteljev.
Ocena
Vsako vrstico ocenite z 0, 1 ali 2. Nič pomeni, da tega niste videli; ena pomeni, da ste to videli s pomislekom; dva pomeni, da ste to jasno videli v svojem okolju, z dokazom pred seboj. Deset vrstic, torej je maksimum dvajset. Ne tehtajte vrstic, preden ne izvedete testa na vsaj dveh izdelkih; tehtanje vnaprej je način, kako se marketing vrne.
| Row | Kako izgleda 2 | Pogost razlog za 1 ali 0 |
|---|---|---|
| Izid zaključen | Vsi zapisi so pravilni, brez osebe za zaslonom | Vrnitev na meji modula ali shranjevanje |
| Vaš agent je povezan | Vaš lasten MCP odjemalec, prijava preko OAuth, brez žetona za vnos | Samo pomočnik dobavitelja ali prilepljen API ključ |
| Seznam orodij je resničen | Dolgo, vpisano, pokriva vaše module, strojno berljivo | Dvanajst funkcij ali seznam samo na diapozitivu |
| Dovoljenja na klic | Omejen uporabnik zavrnjen na klicu; ostali zaključijo | Zavrnitev le ob nalaganju zaslona ali odobritev, ki gre skozi |
| Izjema obravnavana | Zasajena nejasnost je povzročila vprašanje, ne ugibanje | Tiha korekcija ali izbrana napačna evidenca |
| Načrtovana prihodnja dejanja | Spremljanje obstaja in bo izvedeno na datum | Opomba v povzetku, nič v sistemu |
| Dnevnik je popoln | Kdo je vprašal, agent, orodja, vnosi, rezultati, zavrnitve | Zapiski so spremenjeni, vendar ni zaporedja klicev; splošni uporabnik za integracijo |
| Poraba je omejena | Omejitev na integracijo, ki je ne more preseči agent; strošek na dejanje | Samo mesečni skupni znesek ali brez omejitve |
| Strošek lastnega agenta | Ni stroškov, ko vaš agent izvaja razmišljanje | AI se zaračuna ne glede na to, kdo razmišlja |
| Razširljiv s strani drugih | Aplikacija tretje osebe se namesti in se prikaže na seznamu orodij | Samo načrt dela ali prilagojeno delo |
Deset vrstic, dve točki vsaka. Ocenite vsakega dobavitelja glede na isti izid, na isti dan, če lahko, in primerjajte skupne zneske šele po tem, ko ima vsaka vrstica številko.
Branje rezultata
Skupni zneski so manj pomembni od vzorca v prvih štirih vrsticah, saj te štiri odločajo, kakšen izdelek gledate. Izdelek, ki doseže nič na izidu in nič pri povezovanju vašega agenta, je asistent znotraj zaslona, preostali del njegove ocene pa opisuje kontrole, ki jih ne potrebuje. Morda je še vedno prava izbira, če vaša ekipa želi hitrejši zaslon, vendar ga morate kupiti kot takega.
Izdelek, ki doseže izid, vendar doseže nič pri povezovanju vašega agenta, je agentičen s zaprtimi vrati. Deluje po pogojih dobavitelja, z dobaviteljevim agentom, po dobaviteljevi ceni za razmišljanje. Vprašanje, ki si ga morate zastaviti, je, kaj se zgodi čez dve leti, ko bo agent vaše ekipe tisti, ki ga želijo uporabljati, in ali je dobavitelj povedal kaj o odpiranju vrat.
Izdelek, ki doseže dva na vseh štirih, je agent-nativen, preostalih šest vrstic pa je tisto, kjer se odvija prava primerjava: kako dobro obravnava izjemo, ki ste jo zasadili, kako popoln je dnevnik, ali se lahko stroški omejijo, koliko zaračuna, ko vaš agent razmišlja, in ali ga lahko razširijo zunanji uporabniki. Dva agent-nativna izdelka se lahko zelo razlikujeta na teh šestih, in to so vrstice, ki napovedujejo, kakšno bo življenje z izdelkom.
Še enkrat preberite. Če dobavitelj zavrne test, ponudi posneto različico ali prosi, da zamenjate njihovo zahtevo z vašo, ocenite vrstice, ki jih niste mogli opazovati, kot nič in v opombah navedite zakaj. Zavrnitev je informacija. Izdelek, ki to lahko stori, vam bo želel to pokazati.
Kar bi vam pokazali
Sois je en izdelek, proti kateremu lahko izvedete to oceno, in ker ga mi gradimo, lahko povemo, kaj bi videli. Delovno okolje je MCP strežnik; dodate njegov naslov v Claude, ChatGPT ali drugega odjemalca in se prijavite enkrat preko OAuth, brez žetona za prilepiti. Seznam orodij je filtriran glede na vašo vlogo, preden ga agent vidi, in ponovno preverjen, ko se vsako orodje zažene; dostop se zapre. Stroške je mogoče omejiti na integracijo, vsaka akcija je zabeležena, in ko vaš agent razmišlja, platforma ne izvaja nobene umetne inteligence v vašem imenu in za to ne zaračuna nič. Aplikacije iz tržnice se pojavijo na seznamu orodij, ko so nameščene. Tukaj je izid fakturiranja iz zgoraj opisanega toka, ko se izvaja.
- Branje obračunskega dela projekta in zapisa stranke.
- Račun ustvarjen iz obračunskih postavk.
- Poslano kontaktni osebi stranke po elektronski pošti.
- Zasledovanje načrtovano za datum zapadlosti
Štiri orodja v računovodstvu, stikih, prejetih sporočilih in nalogah, z dnevnikom, ki prikazuje vsak klic. Zaženite ga kot uporabnik, ki ne more izdajati faktur, in prvi zapis je zavrnjen, z razlogom.
Nato ga ocenite na isti kartici kot vsi drugi. Namen fiksnega testa je, da ga ne zanima, kdo je izdelek zgradil, in ocena, ki jo lahko zagovarjate, je tista, ki je obravnavala vsakega dobavitelja, vključno s tem, na enak način.
Vprašanja, ki jih ljudje postavljajo
Koliko časa traja ta ocena na dobavitelja?
Približno eno uro, ko je izid napisan in obstaja poskusno delovno okolje z vašimi podatki. Nalaganje realističnih podatkov in zasajevanje izjeme je priprava; sam test je ena zahteva, dva prijava in branje dnevnika.
Kaj pa, če dobavitelj ne more omogočiti povezave mojega agenta?
Dajte temu vrstici oceno nič in izvedite test z njihovim agentom, da še vedno vidite izid, dovoljenja, dnevnik in stroške. Nato se odločite, ali je zaprta vrata sprejemljiva za vašo ekipo, in vprašajte dobavitelja, ali in kdaj se odprejo.
Ali naj obtežim vrstice ocenjevanja?
Ne preden ste izvedli test na vsaj dveh izdelkih. Najprej ocenite vseh deset vrstic, nato se odločite, katere vrstice so najpomembnejše za vaše delovanje. Obtežitev vnaprej je način, kako močna predstavitev ponovno pride v odločitev, iz katere je test želel izključiti.
- specifikacija Model Context Protocol: orodja seznami orodij, seznam odvisen od avtorizacije in priporočilo, da človek ostane v zanki z možnostjo zavrnitve klicev orodij
- Anthropic: začnite z uporabo prilagojenih povezav z oddaljenim MCP dodajanje oddaljenega strežnika, prijava z OAuth in odobritev po orodju v Claude
- OpenAI: način razvijalca ChatGPT popolna podpora MCP strankam v ChatGPT; pisne akcije zahtevajo potrditev privzeto
- Dokumentacija Sois: strežnik delovnega prostora MCP kaj test opazuje pri eni implementaciji: OAuth, orodja filtrirana po vlogah, izvedba z zaprtjem ob neuspehu, proračunske omejitve
Ta članek se pregleda, ko se izdelki, ki jih opisuje, spremenijo. Naslednji načrtovani pregled: 4. december 2026.