Hinnake AI ERP-d, paludes igalt müüjalt täita üks reaalne tulemus, algusest lõpuni, ilma et keegi oleks ekraanil. Valige tulemus ise, tehke see vähemalt kolme mooduli vaheliseks, tooge agent, mida teie meeskond juba kasutab, ja esitage taotlus ühe korra. Seejärel avage registrid, logige sisse piiratud kasutajana ja korrake ning lugege logi. Hinnake, mida nägite, fikseeritud kaardil. Toode, mis vajab inimese klikkimist osa tulemuse täitmiseks, on abiline; toode, mis lõpetab selle ja näitab oma tööd logis, teie õiguste piires, on agentne süsteem.
Põhjus, miks see toimib, on see, et kõik, mida slaid väidab, saab test tunnistada või ümber lükata tunni jooksul, teie keskkonnas, teie andmetega. Sellel on ka kasulik omadus olla sama test iga müüja jaoks, mis muudab hinded võrreldavaks.
Ainus test, mis jääb ellu demost.
Demo on esitus. Esitleja valis andmed, harjutas taotlust ja teab, millest eemale hoida. Ükski neist ei ole ebaaus ja ükski ei ütle teile, mida toode teeb, kui see on teie andmed ja teie taotlus. Kui soovite teada, kuidas hinnata AI ERP-d, on lühike vastus võtta taotlus esitlejalt ära.
Valige üks tulemus, mis on teie ettevõttes oluline ja mille kompetentne noorem suudab teha pärastlõunal: arve esitada kliendile ja jälgida neid, broneerida kaupa ostutellimuse alusel ja sobitada tarnija arvega, või muuta aktsepteeritud pakkumine tööks, ajakava ja sissemakse taotlemiseks. Tooge agent, mida teie meeskond juba kasutab, ühendatuna müüja tootest väljaspool Model Context Protocoli kaudu, avatud standard, mida peavoolu kliendid räägivad. Esitage taotlus ühes sõnumis ja võtke käed klaviatuurilt ära. Kõik, mis järgneb, on hindamine.
Kolm asja võib juhtuda. Tulemus täitub ja registrid on õiged. Süsteem teeb osa sellest ja annab ülejäänu inimesele, tavaliselt mooduli piiril või salvestamisel. Või müüja enda agent täidab selle, kuid väljastpoolt ei saa midagi ühenduda. Igaühel neist on erinev toode ja igaühel on alloleval kaardil erinev hinne.
Tulemuse valimine
Tulemus teeb suurema osa tööst, seega vali see enne, kui räägid mõne müüjaga, ja kasuta sama kõigi jaoks. See peaks vastama neljale tingimusele.
- See ületab mooduleid. Vähemalt kolm: taotlus, mis jääb ühe ekraani sisse, testib kooperatiivi, mitte agenti. Arveldamine pluss kontaktid pluss e-post pluss planeeritud ülesanne on hea kuju. Laoseis pluss ostutellimus pluss tarnija arve vastavus on teine.
- Selles on kirjutamine. Lugemine ja kokkuvõtte tegemine on lihtne pool. Hinnang on seotud sellega, kas süsteem lubab agendil andmeid muuta ja kas see kontrollib, kes küsib, enne kui seda teeb.
- Sellel on ilmne erand. Taim number üks: klient, kellel on kaks peaaegu identset kirjet, või kohaletoimetamise kogus, mis ei vasta tellimusele. Soovid näha, kas agent küsib, arvab või vaikides parandab.
- Sellel on tulevikus järg. Meeldetuletus, jälitamine, planeeritud kontroll. See testib, kas agent saab midagi hiljem jätta ja kas süsteem käivitab selle, kui kuupäev saabub.
Kirjuta taotlus selges keeles enne päeva, täpselt nii, nagu operatsioonide juht seda kirjutaks, ja ära lase müüjal seda redigeerida. Müüja, kes palub taotlust ümber sõnastada, ütleb sulle, kus on piirid.
Päeva juhtimine
Alljärgnev järjestus võtab iga müüja kohta umbes tunni ja ei vaja kedagi tehnilist. Nõua, et seda teostataks katsetusruumis, mida sa kontrollid, andmetel, mille sa laadisid, koos sinu enda agendiga ühendatud. Kui mõni neist kolmest keeldutakse, on see keeldumine tulemus ja läheb kaardile.
- Ühenda oma agentLisa müüja MCP server Claude'i, ChatGPT arendaja režiimis või mis tahes kliendis, mida teie meeskond kasutab, ja logi sisse. Pane tähele, kas see on OAuth sisselogimine või token, mille pead kleepima, ja kas müüja suudab seda üldse teha.
- Loetle tööriistadKüsi agendilt, mida tal on lubatud teha. Loe loendit moodulite pikkuse ja katvuse kohta sinu tulemuses. Logi seejärel sisse piiratud kasutajana ja küsi uuesti; loend peaks vähenema.
- Töötulemus väljenda üks kordTee ettevalmistatud päring täisõigustega kasutajana ja peatu. Vasta ainult tõelistele küsimustele agendilt, näiteks, millist kahest sobivast kliendist sa silmas pidasid. Loenda tagastamised.
- Kontrolli kirjeidAva iga kirje, mida päring oleks pidanud puudutama. Kinnita arve, e-kiri, kaubaliikumine, ülesanne. Seejärel tee sama päring piiratud kasutajana ja vaata, kus see keeldub.
- Loe logi ja mõõdikutLeia logikirje: kes küsis, milline agent, millised tööriistad, sisendid, tulemused, keeldumised. Leia, mis oli jooksu hind ja kas piirang oleks saanud seda peatada.
- Hinnang päevalTäida kaart enne, kui lahkud ruumist. Mälu on heade esitlejate suhtes lahke.
Hinnangukaart
Hinda iga rida 0, 1 või 2. Null tähendab, et sa ei näinud seda; üks tähendab, et sa nägid seda teatud tingimustel; kaks tähendab, et sa nägid seda selgelt, oma keskkonnas, tõenditega sinu ees. Kümme rida, seega maksimaalne on kakskümmend. Ära kaalu ridu enne, kui oled testi teinud vähemalt kahe tootega; eelnevalt kaalumine on see, kuidas turundus tagasi tuleb.
| Rida | Kuidas näeb välja 2 | Tavaline põhjus 1 või 0 jaoks |
|---|---|---|
| Tulemus lõpetatud | Kõik andmed on õiged, ekraanil ei ole kedagi | Tagastamine mooduli piiril või Salvestamine |
| Sinu agent on ühendatud | Sinu enda MCP klient, OAuth sisselogimine, ei ole tokenit, mida kleepida | Ainult müüja assistent või kleepitud API võti |
| Tööriistade nimekiri on reaalne | Pikk, kirjutatud, katab sinu mooduleid, masinloetav | Kaks tosinat funktsiooni või ainult loetelu slaidil |
| Luba iga kõne jaoks | Piiratud kasutaja keeldus kõnes; ülejäänud lõpetavad | Keeldumine ainult ekraani laadimisel või heakskiit, mis läheb läbi |
| Erand on käsitletud | Istutatud ebamugavus tekitas küsimuse, mitte oletuse | Vaikne parandamine või vale kirje valitud |
| Tulevane tegevus on planeeritud | Järgnevat tegevust on olemas ja see toimub kuupäeval | Märkus kokkuvõttes, süsteemis pole midagi |
| Logi on täielik | Kes küsis, agent, tööriistad, sisendid, tulemused, keeldumised | Kanded on muutunud, kuid kõne järjestust ei ole; üldine integreerimise kasutaja |
| Kulutused on piiratud | Iga integreerimise jaoks on piir, mida agent ei tohi ületada; tegevuse maksumus | Ainult kuuline kogusumma või ei ole piiri |
| Oma agendi maksumus | Teie agendi mõtlemise ajal ei ole midagi tasustatud | Tehisintellekti eest tasutakse sõltumata sellest, kes mõtleb |
| Teiste poolt laiendatav | Kolmanda osapoole rakendus installitakse ja ilmub tööriistade nimekirja | Ainult teekaart või kohandatud töö |
Kümme rida, kaks punkti igaühe kohta. Hinnake iga müüjat sama tulemuse põhjal, samal päeval, kui võimalik, ja võrrelge kogusummasid alles pärast seda, kui igal real on number.
Tulemuse lugemine
Kogusummad on vähem olulised kui mustrid esimeses neljas reas, kuna need neli otsustavad, millist tüüpi toodet te vaatate. Toode, mis saab tulemuse põhjal null punkti ja null punkti teie agendi ühendamisel, on abiline ekraani sees, ja ülejäänud tema skoor kirjeldab kontrolli, mida tal ei ole vaja. See võib siiski olla õige ost, kui teie meeskond soovib kiiremat ekraani, kuid peaksite seda ostma just sellisena.
Toode, mis täidab tulemuse, kuid ei saa teie agendi ühendamise eest punkte, on agentne suletud uksega. See töötab müüja tingimustel, müüja agendiga, müüja hinnaga põhjendamiseks. Küsimus, mida endalt küsida, on see, mis juhtub kahe aasta pärast, kui teie meeskonna agent on see, keda nad soovivad kasutada, ja kas müüja on öelnud midagi ukse avamise kohta.
Toode, mis saab kõigis neljas punktis kaks punkti, on agent-native, ja ülejäänud kuus rida on need, kus toimub tõeline võrdlus: kui hästi see käsitleb teie istutatud erandi, kui täielik logi on, kas kulutusi saab piirata, mida see küsib, kui teie agent põhjendab, ja kas välised isikud saavad seda laiendada. Kaks agent-native toodet võivad nende kuue punkti osas palju erineda, ja need on read, mis ennustavad, milline elu selle tootega olema saab.
Veel üks lugemine. Kui müüja keeldub testist, pakub salvestatud versiooni või palub asendada oma taotluse teie omaga, hindake read, mida te ei saanud jälgida, nulliga ja öelge, miks märkustes. Keeldumine on teave. Toode, mis suudab seda teha, soovib teile seda näidata.
Mida me teile näitaksime
Sois on üks toode, mille vastu saate seda hindamist teha, ja kuna me seda ehitame, saame öelda, mida te näeksite. Tööruum on MCP server; lisate selle aadressi Claude'i, ChatGPT-sse või mõnda teise kliendisse ja logite sisse üks kord OAuth'i kaudu, ilma et peaksite koodi kleepima. Tööriistade nimekiri filtreeritakse teie rolli järgi enne, kui agent seda näeb, ja kontrollitakse uuesti, kui iga tööriist töötab; juurdepääs ebaõnnestub suletud. Kulutusi saab piirata iga integreerimise puhul, iga tegevus logitakse, ja kui teie oma agent põhjendab, ei tee platvorm teie nimel mingit tehisintellekti ja ei küsi selle eest midagi. Turult pärit rakendused ilmuvad tööriistade nimekirjas pärast installimist. Siin on ülaltoodud voost saadud arveldamise tulemus, kui see töötab.
- Lugedes projekti tasustatavat tööd ja kliendi andmeid
- Arve on loodud tasustatavatest ridadest
- Saadetud kliendi kontaktile e-posti teel
- Jälgimine on planeeritud tähtaegadele
Neli tööriista raamatupidamises, kontaktides, postkastis ja ülesannetes, logi näitab iga kõnet. Käivitage see kasutajana, kes ei saa arveid esitada, ja esimene kirjutamine keeldub koos põhjusega.
Hinnake seda siis samal kaardil nagu kõik teised. Fikseeritud testi mõte on see, et see ei hooli, kes toote ehitas, ja hindamine, mida saate kaitsta, on see, mis kohtles iga müüjat, sealhulgas seda, samamoodi.
Küsimused, mida inimesed esitavad
Kui kaua see hindamine iga müüja kohta aega võtab?
Umbes tund, kui tulemus on kirjutatud ja prooviruumi koos teie andmetega on olemas. Realistlike andmete laadimine ja erandi istutamine on ettevalmistus; test ise on üks taotlus, kaks sisselogimist ja logi lugemine.
Mis siis, kui müüja ei luba minu enda agendil ühenduda?
Hinnake see rida nulliga ja käivitage test nende agendiga, et näha tulemust, õigusi, logi ja kuluridu. Seejärel otsustage, kas suletud uks on teie meeskonnale vastuvõetav, ja küsige müüjalt, kas ja millal see avaneb.
Kas ma peaksin skoorikaardi ridu kaaluma?
Ainult pärast seda, kui olete testi vähemalt kahe toote peal läbi viinud. Hinnake esmalt kõik kümme rida, seejärel otsustage, millised read on teie tegevuse jaoks kõige olulisemad. Eelnevalt kaalumine on viis, kuidas tugev esitlus naaseb otsusesse, millest test pidi selle välja jätma.
- MCP spetsifikatsioon: tööriistad tööriistade loendid, autoriseerimisega seotud loetlemine ja soovitus, et inimene jääb protsessi, omades õigust tööriistakõnesid tagasi lükata
- Anthropic: kohandatud ühenduste loomine kaug-MCP-iga kaugserveri lisamine, OAuth sisselogimine ja tööriistade kaupa heakskiit Claude'is
- OpenAI: ChatGPT arendaja režiim täielik MCP kliendi tugi ChatGPT-s; kirjutamisaktiid nõuavad vaikimisi kinnitust
- Sois dokumentatsioon: tööruumi MCP server mida test ühes rakenduses jälgib: OAuth, rollide filtreeritud tööriistad, ebaõnnestumise korral suletud täitmine, eelarve piirangud
Seda artiklit vaadatakse üle, kui kirjeldatud tooted muutuvad. Järgmine planeeritud ülevaatus: 4. detsember 2026.