Když AI ve firmě odpoví špatně, často nelže v tom smyslu, že by si odpověď vymyslela. Odpovídá podle toho, co našla. A našla posunutý termín, starou adresu nebo starší ze dvou verzí téže smlouvy. Odpověď pak zní jistě, protože model nepozná, že údaj mezitím přestal platit.
Jak moc se vás to týká, závisí na třech věcech: na kolika místech máte tentýž údaj, jestli má každý údaj někoho, kdo ho po změně opraví, a z čeho všeho AI smí číst. Čím víc kopií a čím méně jasná odpovědnost, tím častěji dostanete sebejistou odpověď, která platila před měsícem.
Špatná odpověď často vychází ze starého nebo dvojího údaje, ne z výmyslu
Model umí i skutečně vymýšlet. Stává se to hlavně tehdy, když k otázce nemá žádný podklad a přesto odpoví. Ve firemním provozu je ale častá jiná situace. Podklad existuje, jen je špatný.
Typicky to vypadá takto:
- Posunutý termín. Zákazník po telefonu posunul dodání o týden. V zakázce zůstalo původní datum a AI ho ohlásí jako platné.
- Stará adresa. Odběratel se přestěhoval. Nová adresa je v e-mailu obchodníka, stará v kartě zákazníka.
- Dvojí verze. Ve sdílené složce leží návrh smlouvy i podepsaná verze. Liší se v ceně a AI sáhne po té první.
- Kopie, která žije vlastním životem. Někdo si ceník stáhl do tabulky a upravuje ho tam. Systém o změně neví.
Ve všech čtyřech případech by se stejně spletl i nový kolega. Rozdíl je v tom, že člověk se při pochybnosti zeptá. AI odpoví hned a bez zaváhání.
Není to jen dojem z jedné firmy. CDO Magazine píše o průzkumu mezi 300 respondenty. Zhruba sedm z deseti vedoucích, kteří rozhodují o AI, v něm vidí příčinu neúspěchů ve špatných datových základech. Víc než polovina uvádí hodiny týdně strávené ručním opravováním výstupů AI.
Nejdřív dohledejte, odkud AI chybnou odpověď vzala
Než začnete cokoli měnit, sbírejte týden nebo dva chybné odpovědi. Stačí jednoduchý seznam: otázka, odpověď, co bylo správně.
U každé chyby si pak položte tři otázky:
- Z jakého dokumentu nebo záznamu AI vycházela? Řada nástrojů umí zdroj ukázat. Pokud to váš nástroj neumí, je to důvod zpozornět.
- Existuje správný údaj někde jinde? Pokud ano, máte dvojí verzi.
- Věděl o změně někdo z lidí? Pokud ano a nikam ji neuvedl, chybí vám pravidlo pro aktualizaci.
Chyby se obvykle rozpadnou do tří skupin:
- AI vycházela ze starého údaje a správný nebyl nikde uvedený. Chybí povinnost změnu zaznamenat.
- AI vybrala jednu ze dvou verzí. Chybí rozhodnutí, která platí.
- AI neměla žádný podklad a přesto odpověděla. To je skutečné vymýšlení. Řeší se pokynem, aby při chybějícím podkladu řekla, že neví.
Když jsou první dvě skupiny větší než třetí, výměna modelu sama moc nezmění. Pomůže pořádek v údajích.
Určete jedno platné místo pro každý důležitý údaj
Nemusíte uklízet všechno. Začněte údaji, na které se lidé i AI ptají často a kde chyba stojí peníze nebo důvěru zákazníka. Do začátku jich stačí pět až deset.
Pro každý rozhodněte čtyři věci: kde platí, kdo ho mění, kdy ho musí změnit a co se stane s kopiemi.
| Údaj | Platné místo | Kdo ho aktualizuje | Kdy |
|---|---|---|---|
| Termín dodání zakázky | Záznam zakázky v systému | Obchodník, který zakázku vede | Hned po domluvě se zákazníkem, ještě ten den |
| Dodací a fakturační adresa | Karta zákazníka | Obchodník, který má zákazníka na starosti | Před další objednávkou |
| Platná cena | Ceník v systému | Jedna určená osoba | V den, kdy změna začne platit |
| Platná verze smlouvy | Jedna složka podepsaných dokumentů | Ten, kdo smlouvu uzavírá | Po podpisu, návrhy jdou do archivu |
| Kontaktní osoba zákazníka | Karta zákazníka | Obchodník | Při každé změně, o které se dozví |
Tabulka je příklad. Vaše platná místa mohou být jiná. Důležité je, aby u každého údaje bylo jen jedno a aby o něm všichni věděli.
Tři pravidla, která rozhodnutí udrží:
- Změna platí, až když je v platném místě. Domluva po telefonu nebo v e-mailu je jen podnět k úpravě.
- Kopie odkazují, neopakují. Když někdo potřebuje údaj jinde, vloží odkaz na platné místo, ne opsanou hodnotu.
- Za údaj odpovídá role, ne „všichni“. Když může adresu opravit kdokoli, obvykle ji neopraví nikdo.
Omezte, z čeho AI smí číst
Jedno platné místo nepomůže, když AI dál prohledává i všechno ostatní. Staré návrhy, loňské ceníky a pracovní tabulky pro ni vypadají stejně věrohodně jako aktuální záznam.
Postupujte takto:
- Staré verze přesuňte do archivu, ke kterému AI nemá přístup. Nemažte je, jen je oddělte.
- Návrhy a koncepty držte mimo složky, které AI čte. Nebo je aspoň zřetelně označte v názvu.
- U dokumentů uvádějte datum platnosti. Model s ním může pracovat, když ho má před sebou.
- E-mailovou schránku berte jako slabý zdroj. Obsahuje domluvy, které se mezitím změnily, a AI nepozná, která zpráva byla poslední slovo.
Pak upravte pokyny, které AI dostává:
- ke každé odpovědi má uvést zdroj a datum poslední změny,
- když najde dvě různé hodnoty téhož údaje, má ukázat obě a nevybírat,
- když podklad nenajde, má to říct.
Odpověď se zdrojem a datem si člověk ověří během chvilky. Odpověď bez nich musí buď přijmout, nebo celou dohledat sám.
Aktualizaci udělejte součástí práce, ne úkolem navíc
Pravidlo „změny zaznamenávejte“ samo nestačí. Lidé ho poruší ve chvíli, kdy mají hodně práce. Tedy právě tehdy, kdy se mění nejvíc věcí.
Pomáhá, když se bez úpravy údaje nedá v práci pokračovat:
- Bez platného termínu v zakázce nejde naplánovat výroba ani doprava.
- Potvrzení zákazníkovi se odesílá ze záznamu zakázky, ne ručně psaným e-mailem. Kdo chce potvrdit nový termín, musí ho nejdřív změnit v systému.
- Podepsaná smlouva se ukládá jedním krokem, který zároveň přesune návrhy do archivu.
Kde to takto zařídit nejde, pomůže krátký návyk. Po každém hovoru se zákazníkem si položte otázku: změnilo se něco, co máme někde uvedené? Pokud ano, opravte to dřív, než začnete další práci.
Počítejte s tím, že první týdny budou lidé zapomínat. Neřešte to výčitkou. Ukažte konkrétní chybnou odpověď AI a údaj, který ji způsobil. Souvislost mezi neopraveným termínem a špatnou odpovědí lidé pochopí rychleji na příkladu než z pravidla.
Hlídejte aktuálnost krátkou pravidelnou kontrolou
Pořádek v údajích bez kontroly postupně slábne. Podle průzkumu, o kterém píše CDO Magazine, kontroluje téměř devět z deseti týmů pravidelně, jestli má AI přesný a aktuální kontext. Nejde tedy o nadstandard.
V malé firmě stačí jednoduchý rytmus:
- Jednou týdně pět kontrolních otázek. Zeptejte se AI na věci, u kterých znáte správnou odpověď. Termín běžící zakázky, adresu zákazníka, který se nedávno stěhoval, aktuální cenu. Otázky obměňujte.
- Průběžně seznam chyb. Každý, kdo narazí na špatnou odpověď, ji přidá na společný seznam i se zdrojem, pokud ho zná.
- Jednou měsíčně čtvrt hodiny nad seznamem. Hledejte opakování. Tři chyby ze stejné složky znamenají, že složka má být v archivu. Tři chyby u stejného údaje znamenají, že nemá správce nebo ho správce nestíhá.
- Jednou za čtvrtletí projděte tabulku platných míst. Odešel někdo, kdo měl údaj na starosti? Přibyl nový nástroj, který si vede vlastní kopii?
Sledujte i jeden nepřímý signál. Když lidé přestanou AI věřit a všechno si ověřují ručně, platíte nástroj dvakrát. Jednou za něj a podruhé za práci, kterou měl převzít.
Důvěra se vrací pomalu a po malých krocích. Začíná u toho, že odpověď na termín zakázky je pokaždé správně.
Zdroje
Často kladené otázky
Pomůže přechod na novější nebo dražší model?
Hlavně u chyb, kdy model odpovídá bez podkladu. Když čte starý údaj, zopakuje ho novější model stejně jistě jako ten původní. Nejdřív proto zjistěte, do které skupiny vaše chyby patří.
Musíme kvůli jednomu platnému místu pořizovat nový systém?
Ne nutně. Platným místem může být i sdílená tabulka, pokud je jedna, má správce a ostatní na ni odkazují. Nový nástroj začne dávat smysl, až když tabulka přestane stačit objemu práce nebo počtu lidí, kteří do ní zasahují.
Co s údaji, které se mění několikrát denně, třeba se stavem skladu?
U nich nemá ruční aktualizace smysl. AI by měla číst přímo ze systému, který stav vede, ne z přehledu, který někdo jednou denně stáhne. Pokud to propojit nejde, ať AI u odpovědi uvádí, k jakému času údaj platí.
Smí AI vůbec číst smlouvy a údaje o zákaznících?
Závisí to na podmínkách služby, kterou používáte, a na pravidlech pro ochranu osobních a důvěrných údajů, která u vás platí. Ověřte si to u místního odborníka dřív, než AI zpřístupníte složky se smlouvami. Uspořádání údajů se vyplatí i tehdy, když nakonec část dokumentů necháte mimo její dosah.
Jak poznáme, že se situace zlepšila?
Sledujte dvě věci: kolik chyb přibývá na společném seznamu a kolik kontrolních otázek AI zodpoví správně. Když se obojí zlepšuje několik týdnů po sobě, postup funguje. Když ne, podívejte se, které údaje se v chybách opakují, a začněte u jejich správce.
