Jak ověřit, zda AI ušetří čas při třídění poptávek

U opakované úlohy rozhoduje použitelný výsledek po kontrole. Rychle vygenerovaný návrh nemusí šetřit čas, pokud ho člověk dlouho opravuje. Ověřte si přínos na malé úloze s jasnými pravidly.

Příklad: třídění poptávek pro obchod

Modelový pracovní postup: firma potřebuje oddělit nové poptávky, podporu stávajících zákazníků a nabídky spolupráce. AI připraví návrh třídění. Nic neodesílá a nemění záznamy v zákaznickém systému.

Pro první ověření použijte anonymizované zprávy bez jmen a kontaktů. Modelový vstup:

1. "Máme e-shop a potřebujeme prověřit měření nákupů v GA4. Kolik stojí kontrola?"
2. "Od včerejší úpravy se nám formulář odesílá dvakrát. Prosím opravit současné nastavení."
3. "Nabízím tvorbu textů. Posílám ukázky své práce."

Prompt musí určit, kdy rozhodne člověk

Rozděl tři zprávy do kategorií:
- nová obchodní poptávka
- podpora stávajícího zákazníka
- nabídka spolupráce
- nejasné, potřebuje člověka

Vrať číslo zprávy, kategorii a přesný úryvek, který
rozhodnutí podporuje. Ze slova oprava neodvozuj
existující zákaznický vztah. Pokud kategorii nelze
určit z textu, použij nejasné. Nevymýšlej údaje.
Nepřipravuj cenovou nabídku a nic neodesílej.

Dobrý prompt určuje nejen podobu výsledku, ale také hranici, za kterou má systém přestat odhadovat.

Očekávaný výsledek a chyba, kterou zachytit

V modelu má být 1 - nová obchodní poptávka s oporou "Kolik stojí kontrola?"; 2 - nejasné, protože nevíme, kdo nastavení spravuje ani zda pisatel už je zákazník; 3 - nabídka spolupráce s oporou "Nabízím tvorbu textů".

Modelová chyba: AI přiřadí druhou zprávu podpoře stávajícího zákazníka. Kontrolor ji vrátí mezi nejasné. Žádost o opravu sama nepotvrzuje existující smluvní vztah. Při automatickém předání by tak mohla zpráva skončit u nesprávného člověka.

Porovnejte každý řádek s původní zprávou. Žádná nesmí chybět ani se opakovat, citovaný úryvek musí být doslovný a výstup nesmí přidat kontakt nebo slib. Pravděpodobně znějící domněnka stále může být vymyšlený údaj.

Měřený test: 24 modelových poptávek

Dne 26. 10. 2026 proběhl jeden test modelu claude-fable-5-1 na 24 syntetických zprávách ve slovenštině. Zadání rozlišovalo žádost o audit, objednávku služby, zájem o práci, nabídku dodavatele a nejasný záměr. Pravidla i referenční zařazení vznikly před testem; testovaný model dostal zprávy a pravidla, nikoli referenční odpovědi.

Výsledek: 24 z 24 shod s referencí, žádné vynechané ani duplicitní ID. Od spuštění procesu po jeho dokončení uplynulo 20 sekund (08:52:38 až 08:52:58 UTC), včetně obsluhy nástroje. Tento údaj nezahrnuje přípravu sady ani následnou kontrolu a neměří čistou rychlost modelu.

Referenci připravil jiný AI agent, nikoli lidský hodnotitel. Malá umělá sada a jediný běh neprokazují spolehlivost u reálných poptávek. Ruční třídění ani čas kontroly jsme neměřili, proto z výsledku nevyvozuji úsporu lidské práce.

Podklady ke kontrole: 24 zpráv a pravidla, reference s odůvodněním, výsledky a časy a protokol testu. Následující výpočet úspory zůstává ilustračním modelem, nikoli výsledkem tohoto testu.

Jak spočítat skutečnou úsporu

Na srovnatelném vzorku změřte ruční třídění a práci s AI. U AI započítejte přípravu vstupů, práci s nástrojem, kontrolu a opravy. Jednorázovou přípravu zadání a jeho údržbu evidujte zvlášť.

Čistá úspora opakované dávky = čas ručního třídění - příprava vstupu - práce s nástrojem - kontrola a opravy. Jde o způsob výpočtu, nikoli o naměřenou úsporu. Postup bych rozšířil až tehdy, když opakovaně šetří čas a neposílá poptávky nesprávným lidem.

Nejdříve používejte výstup jako návrh. Teprve po ověření pravidel zvažujte zapojení AI agenta do dalších kroků. AI může pomoci s přípravou podkladů k jednání. Cenu, závazek a citlivou komunikaci musí rozhodnout člověk, který klienta zná.

Modelový výpočet pro dávku 20 zpráv

Pro výpočet času použijme větší modelovou dávku než tři zprávy z ukázky zadání. Předpokládejme 20 porovnatelných zpráv a stejnou požadovanou kvalitu třídění. Časy v tabulce jsou zvolené k vysvětlení výpočtu, nikoli naměřený výkon konkrétního nástroje.

Práce s AI trvá 4 + 1 + 12 + 3 = 20 minut. Čistá úspora opakované dávky je 30 - 20 = 10 minut. Pokud jednorázová příprava postupu trvala dalších 60 minut, časově se vyrovná po šesti takových dávkách: 60 / 10 = 6.

Platí to pouze při stejné úspoře a bez další údržby. Cena nástroje v časovém výpočtu není zahrnuta. Pokud kontrola zabere 22 minut místo 12, celá práce trvá 30 minut a úspora je nulová.

Kdy výsledek třídění převzít

Všech 20 zpráv musí mít ve výsledku právě jeden záznam. Nejasné případy převezme člověk a každá kategorie musí mít oporu v původní zprávě. Pokud AI domyslí zákaznický vztah nebo vynechá zprávu, započítejte opravu do času a upravte zadání. Taková malá zkouška nedokazuje obecnou spolehlivost nástroje.

Počet roztříděných zpráv porovnávejte s doručenými zprávami. Pokud řešíte rozdíl oproti konverzím formuláře, pokračujte kontrolou měření konverzí; třídění už doručených zpráv tento rozdíl nevysvětluje.

Zdroje a metodika

Ověřeno 3. 10. 2026: OpenAI: tvorba zadání pro modely. Zdroj slouží k práci se zadáním. Časy v tabulce 20 zpráv a výpočet úspory jsou modelové; dokumentace takovou úsporu neslibuje. Čas samostatného testu 24 zpráv je naměřený a doložený přiloženými podklady.

Časté otázky