Novērtējiet AI ERP, lūdzot katram piegādātājam pabeigt vienu reālu rezultātu, no sākuma līdz beigām, bez neviena pie ekrāna. Izvēlieties rezultātu paši, padariet to par vismaz trim moduļiem, atnesiet aģentu, ko jūsu komanda jau izmanto, un izsakiet pieprasījumu vienu reizi. Pēc tam atveriet ierakstus, piesakieties kā ierobežots lietotājs un atkārtojiet, un izlasiet žurnālu. Novērtējiet to, ko redzējāt, uz fiksētas kartes. Produkts, kam nepieciešams cilvēks, lai noklikšķinātu uz daļas no rezultāta, ir asistents; produkts, kas to pabeidz un parāda savu darbu žurnālā, jūsu atļauju ietvaros, ir aģentisks sistēma.
Iemesls, kāpēc tas darbojas, ir tas, ka viss, ko slaids var apgalvot, tests var pārbaudīt vai apgāzt stundas laikā, jūsu vidē, uz jūsu datiem. Tam ir arī noderīga īpašība būt par to pašu testu katram piegādātājam, kas padara rezultātus salīdzināmus.
Viens tests, kas iztur demonstrāciju
Demonstrācija ir izrāde. Prezentētājs izvēlējās datus, atkārtoja pieprasījumu un zina, no kādām funkcijām izvairīties. Nekas no tā nav negodīgs, un nekas no tā nepasaka, ko produkts dara, kad tas ir jūsu dati un jūsu pieprasījums. Ja vēlaties zināt, kā novērtēt AI ERP, īsā atbilde ir ņemt pieprasījumu prom no prezentētāja.
Izvēlieties vienu rezultātu, kas ir svarīgs jūsu biznesā un ko kompetents jaunākais darbinieks varētu izdarīt pēcpusdienā: izrakstīt rēķinu klientam un sekot tam, rezervēt krājumus pret pasūtījumu un saskaņot piegādātāja rēķinu, vai pārvērst pieņemto piedāvājumu darbā, grafikā un avansa pieprasījumā. Atnesiet aģentu, ko jūsu komanda jau izmanto, savienotu no ārpuses piegādātāja produkta, izmantojot Model Context Protocol, atvērtā standarta, ko runā galvenie klienti. Izsakiet pieprasījumu vienā ziņojumā un atlaidiet rokas no tastatūras. Kas notiek tālāk, ir novērtējums.
Trīs lietas var notikt. Rezultāts tiek pabeigts un ieraksti ir pareizi. Sistēma veic daļu no tā un nodod pārējo personai, parasti moduļa robežā vai saglabāšanas brīdī. Vai arī piegādātāja aģents to pabeidz, bet nekas no ārpuses nevar savienoties. Katrs no tiem ir atšķirīgs produkts, un katrs tiek novērtēts atšķirīgi zemāk esošajā kartē.
Rezultāta izvēle
Rezultāts veic lielāko daļu darba, tāpēc izvēlieties to pirms runājat ar jebkuru piegādātāju un izmantojiet to pašu visiem. Tam jāatbilst četriem nosacījumiem.
- Tas šķērso moduļus. Vismaz trīs: pieprasījums, kas paliek vienā ekrānā, pārbauda palīgu, nevis aģentu. Rēķinu izrakstīšana plus kontakti plus e-pasts plus plānotā uzdevuma ir laba forma. Krājumu saņemšana plus pasūtījuma rīkojums plus piegādātāja rēķina saskaņošana ir vēl viena.
- Tam ir rakstīšana tajā. Lasīšana un kopsavilkuma veidošana ir vieglā puse. Novērtējums ir par to, vai sistēma ļaus aģentam mainīt ierakstus un vai tā pārbauda, kurš jautā, pirms to dara.
- Tam ir acīmredzama izņēmuma situācija. Pirmais piemērs: klients ar diviem gandrīz identiskiem ierakstiem vai piegādes daudzums, kas neatbilst pasūtījumam. Jūs vēlaties redzēt, vai aģents jautā, uzmin vai klusi labo.
- Tam ir turpinājums nākotnē. Atgādinājums, sekotājs, plānotā pārbaude. Tas pārbauda, vai aģents var atstāt kaut ko vēlāk un vai sistēma to izpildīs, kad pienāks datums.
Uzrakstiet pieprasījumu vienkāršā valodā pirms dienas, tieši tā, kā to rakstītu operāciju vadītājs, un neļaujiet piegādātājam to rediģēt. Piegādātājs, kurš lūdz pārfrāzēt pieprasījumu, jums norāda, kur ir robežas.
Dienas vadīšana
Zemāk esošā secība aizņem apmēram stundu katram piegādātājam un neprasa nevienu tehnisku speciālistu. Uzstājiet, lai to veiktu izmēģinājuma darba telpā, kuru kontrolējat, uz datiem, kurus esat ielādējis, ar savu aģentu savienotu. Ja kāds no šiem trim tiek atteikts, šis atteikums ir rezultāts un tiek iekļauts kartē.
- Pievienojiet savu aģentuPievienojiet piegādātāja MCP serveri Claude, ChatGPT izstrādātāja režīmā vai jebkurā citā klientā, ko izmanto jūsu komanda, un piesakieties. Pievērsiet uzmanību, vai tas ir OAuth pieteikšanās vai tokens, ko jums jāievada, un vai piegādātājs to vispār varēja izdarīt.
- Saraksts ar rīkiemUzdodiet aģentam, ko tam atļauts darīt. Izlasiet sarakstu par moduļu garumu un pārklājumu jūsu rezultātā. Pēc tam piesakieties kā ierobežots lietotājs un jautājiet vēlreiz; sarakstam vajadzētu samazināties.
- Norādiet rezultātu vienreizIevadiet sagatavoto pieprasījumu kā lietotājs ar pilnām atļaujām un apstājieties. Atbildiet tikai uz patiesiem jautājumiem no aģenta, piemēram, uz kuru no diviem atbilstošiem klientiem jūs domājāt. Saskaitiet atgrieztos pieprasījumus.
- Pārbaudiet ierakstusAtveriet katru ierakstu, ko pieprasījums būtu skāris. Apstipriniet rēķinu, e-pastu, krājumu kustību, uzdevumu. Pēc tam izpildiet to pašu pieprasījumu kā ierobežots lietotājs un skatieties, kur tas tiek noraidīts.
- Izlasiet žurnālu un skaitītājuAtrodiet žurnāla ierakstu: kurš jautāja, kurš aģents, kuri rīki, ievades, rezultāti, noraidījumi. Uzziniet, kāda bija izpildes cena un vai ierobežojums to varēja apturēt.
- Rezultāts dienāAizpildiet karti, pirms atstājat telpu. Atmiņa ir laipna pret labiem prezentētājiem.
Rezultātu karte
Novērtējiet katru rindu ar 0, 1 vai 2. Nulle nozīmē, ka jūs to neredzējāt; viens nozīmē, ka jūs to redzējāt ar atrunu; divi nozīmē, ka jūs to skaidri redzējāt savā vidē, ar pierādījumiem priekšā. Desmit rindas, tāpēc maksimālais skaits ir divdesmit. Neveiciet rindu svēršanu, pirms neesat veicis testu vismaz uz diviem produktiem; iepriekšēja svēršana ir veids, kā mārketings atgriežas iekšā.
| Row | Kā izskatās 2 | Biežs iemesls 1 vai 0 |
|---|---|---|
| Rezultāts pabeigts | Visi ieraksti ir pareizi, neviens cilvēks nav pie ekrāna | Atgriešana moduļa robežā vai saglabāšana |
| Jūsu aģents ir savienots | Jūsu paša MCP klients, OAuth pieteikšanās, nav jāievada tokens | Tikai piegādātāja asistents vai ielīmēta API atslēga |
| Rīku saraksts ir reāls | Garš, rakstīts, aptver jūsu moduļus, mašīnas lasāms | Desmitiem funkciju vai saraksts tikai uz slaida |
| Atļaujas katram izsaukumam | Ierobežotais lietotājs tika atteikts izsaukumā; pārējie pabeidz | Ateikums tikai ekrāna ielādēšanas laikā vai apstiprinājums, kas iziet cauri |
| Izņēmums apstrādāts | Iestādītā neskaidrība radīja jautājumu, nevis minējumu | Klusa korekcija vai izvēlēts nepareizs ieraksts |
| Nākamā darbība ieplānota | Sekojums pastāv un notiks norādītajā datumā | Piezīme kopsavilkumā, nekas sistēmā |
| Žurnāls ir pabeigts | Kas jautāja, aģents, rīki, ievadi, rezultāti, atteikumi | Reģistri mainīti, bet nav zvanu secības; vispārējs integrācijas lietotājs |
| Izdevumi ir ierobežoti | Ierobežojums uz integrāciju, ko aģents nevar pārsniegt; izmaksas par darbību | Tikai mēneša kopējais, vai nav ierobežojuma |
| Paša aģenta izmaksas | Nekas netiek iekasēts, kad jūsu aģents veic secinājumus | Mākslīgais intelekts tiek iekasēts neatkarīgi no tā, kurš veic secinājumus |
| Paplašināms citiem | Trešās puses lietotne tiek instalēta un parādās rīku sarakstā | Tikai ceļa karte vai pielāgots darbs |
Desmit rindas, divi punkti katrā. Novērtējiet katru piegādātāju par to pašu rezultātu, tajā pašā dienā, ja varat, un salīdziniet kopējos rezultātus tikai pēc tam, kad katrai rindai ir skaitlis.
Rezultāta lasīšana
Kopējie rādītāji ir mazāk svarīgi nekā pirmajās četrās rindās redzamais paraugs, jo šīs četras nosaka, kāda veida produkts jums ir priekšā. Produkts, kas iegūst nulli rezultātā un nulli jūsu aģenta savienojumā, ir asistents ekrānā, un pārējie tā rādītāji apraksta kontroles, kas tam nav nepieciešamas. Tas var būt pareizais pirkums, ja jūsu komanda vēlas ātrāku ekrānu, bet jums tas jāiegādājas tieši tā.
Produkts, kas sasniedz rezultātu, bet iegūst nulli jūsu aģenta savienojumā, ir aģentisks ar slēgtām durvīm. Tas darbojas, pamatojoties uz piegādātāja noteikumiem, ar piegādātāja aģentu, piegādātāja cenā par argumentāciju. Jautājums, ko uzdot sev, ir, kas notiks pēc diviem gadiem, kad jūsu komandas aģents būs tas, ko viņi vēlas izmantot, un vai piegādātājs ir teicis kaut ko par durvju atvēršanu.
Produkts, kas iegūst divus visās četrās rindās, ir aģentam dabisks, un atlikušās sešas rindas ir tās, kur notiek reālā salīdzināšana: cik labi tas apstrādā izņēmumu, ko jūs ievietojāt, cik pilnīgs ir žurnāls, vai izdevumus var ierobežot, cik tas maksā, kad jūsu aģents veic argumentāciju, un vai ārējie var to paplašināt. Divi aģentam dabiski produkti var ļoti atšķirties šajās sešās rindās, un tās ir rindas, kas prognozē, kāda būs dzīvošana ar produktu.
Vēl viena lasīšana. Ja piegādātājs atsakās no testa, vai piedāvā ierakstītu versiju, vai lūdz aizstāt savu pieprasījumu ar jūsu, novērtējiet rindas, kuras nevarējāt novērot, kā nulli un norādiet iemeslu piezīmēs. Atsakšanās ir informācija. Produkts, kas to var izdarīt, vēlēsies jums to parādīt.
Ko mēs jums rādītu
Sois ir viens produkts, pret kuru jūs varētu veikt šo novērtējumu, un, tā kā mēs to izstrādājam, mēs varam teikt, ko jūs redzētu. Darba vide ir MCP serveris; jūs pievienojat tā adresi Claude, ChatGPT vai citam klientam un piesakāties vienreiz, izmantojot OAuth, bez nepieciešamības ievadīt tokenu. Rīku saraksts tiek filtrēts atbilstoši jūsu lomai pirms aģents to redz, un tiek pārbaudīts vēlreiz, kad katrs rīks darbojas; piekļuve tiek atteikta. Izdevumus var ierobežot katrai integrācijai, katra darbība tiek reģistrēta, un, kad jūsu aģents veic argumentāciju, platforma neveic nekādu AI jūsu vārdā un par to neko neiekasē. Lietotnes no tirgus parādās rīku sarakstā, tiklīdz tās ir instalētas. Šeit ir rēķinu iznākums no iepriekš minētā plūsmas, kad tas darbojas.
- Lasot projekta rēķinājamo darbu un klienta ierakstu.
- Rēķins izveidots no rēķināmajām līnijām.
- Nosūtīts klienta kontaktpersonai pa e-pastu.
- Sekot plānots uz maksājuma termiņu
Četri rīki grāmatvedībā, kontaktos, iesūtnē un uzdevumos, ar žurnālu, kas parāda katru zvanu. Veiciet to kā lietotājs, kurš nevar izsniegt rēķinus, un pirmais raksts tiek atteikts, norādot iemeslu.
Pēc tam novērtējiet to tajā pašā kartē kā visi pārējie. Fiksētā testa mērķis ir tas, ka tam nav nozīmes, kurš izstrādāja produktu, un novērtējums, ko jūs varat aizstāvēt, ir tāds, kas izturas pret katru piegādātāju, tostarp šo, vienādi.
Cilvēki uzdod jautājumus
Cik ilgi šis novērtējums aizņem laiku katram piegādātājam?
Aptuveni stunda, kad rezultāts ir uzrakstīts un eksperimentālā darba vide ar jūsu datiem pastāv. Reālistisku datu ielāde un izņēmuma ievietošana ir sagatavošanās; pats tests ir viens pieprasījums, divi pieslēgumi un žurnāla izlasīšana.
Ko darīt, ja piegādātājs nevar ļaut manam aģentam savienoties?
Novērtējiet šo rindu kā nulli un veiciet testu ar viņu aģentu, lai joprojām redzētu rezultātu, atļaujas, žurnālu un izmaksu rindas. Pēc tam izlemiet, vai slēgtas durvis ir pieņemamas jūsu komandai, un jautājiet piegādātājam, vai un kad tās atveras.
Vai man vajadzētu piešķirt svaru vērtēšanas kartes rindām?
Ne pirms esat veicis testu vismaz uz diviem produktiem. Vispirms novērtējiet visas desmit rindas, pēc tam izlemiet, kuras rindas ir vissvarīgākās jūsu darbībai. Iepriekšēja svara piešķiršana ir veids, kā spēcīga prezentācija atgriežas lēmumā, no kura tests bija domāts, lai to izslēgtu.
- Model Context Protocol specifikācija: rīki rīku saraksti, atļaujām atkarīgs saraksts un ieteikums, ka cilvēkam jāpaliek procesā ar iespēju noraidīt rīku izsaukumus
- Anthropic: uzsākt darbu ar pielāgotajiem savienotājiem, izmantojot attālo MCP attālināta servera pievienošana, OAuth pieteikšanās un apstiprinājums katram rīkam Claude
- OpenAI: ChatGPT izstrādātāja režīms pilna MCP klienta atbalsts ChatGPT; rakstīšanas darbībām pēc noklusējuma nepieciešama apstiprināšana
- Sois dokumentācija: darba vietas MCP serveris ko tests novēro vienā ieviešanā: OAuth, lomu filtrēti rīki, slēgšanas izpilde, budžeta ierobežojumi
Šis raksts tiek pārskatīts, kad mainās tajā aprakstītie produkti. Nākamais plānotais pārskats: 2026. gada 4. decembris.