Ruský AI asistent sprostě nadával zákazníkům
V Rusku nasadili hlasového asistenta s umělou inteligencí, který měl vyřizovat stížnosti na bydlení a služby. Místo zlepšení komunikace se však systém během 30 dnů naučil od obyvatel nejen strukturu, ale i barvitý tón jejich stížností. Výsledkem bylo, že AI začala klientům odpovídat sprostě a musela být stažena k přeškolení.
Systém měl původně pomoci zvládat příval stížností na rostoucí účty za energie, poruchy topení a stárnoucí infrastrukturu. Úředníci doufali, že AI chatbot na webu veřejných služeb uleví přetíženým operátorům a zefektivní komunikaci s občany.
Záměr byl rozumný, výsledek už méně.
Když se strojové učení potká s realitou
Umělá inteligence se učí z dat. V tomto případě šlo o data od majitelů bytů, kteří rozhodně nešetřili trpělivostí ani slovníkem. Po měsíci provozu začal původně zdvořilý digitální asistent opouštět naučené fráze a přebírat jazyk svých uživatelů.
Místo uklidňujících odpovědí se volající dočkali reakcí v duchu běžné ruštiny z paneláku po havárii potrubí. Bot nasál nejen obsah, ale i tón, rytmus a emoce stížností. Přestal znít jako operátor zákaznické linky a začal připomínat sousedskou hádku.
Vývojáři rychle zasáhli a systém stáhli k přeškolení. Inovace je sice fajn, ale málokdo čeká, že mu AI na žádost o instalatéra odpoví výživnou poznámkou o rodokmenu.
Selhání, nebo důkaz autentičnosti?
Oficiálně šlo o nešťastnou chybu. Neoficiálně to ale ukázalo něco zajímavějšího: systém přesně zrcadlil komunikační styl svých uživatelů.
Odborníci roky řeší, zda stroje dokážou napodobit lidské chování. Tento bot to v úzkém smyslu zvládl dokonale. Nasál atmosféru prostředí a vrátil ji zpět, bez filtru.
Michał Viktorov, prezident národní IT asociace, označil incident spíš za důkaz aktivního občanského dialogu než technologického selhání. Sprostý robot podle něj znamená angažované občany a reagující digitální infrastrukturu. Optimistický pohled, který ale asi nesdíleli volající čekající na potvrzení návštěvy opraváře.
Celá epizoda otevírá širší otázky o využití AI ve veřejných službách. Na trénovacích datech záleží. Ještě víc záleží na kontextu. Algoritmus v prostředí plném stresu a stížností nevyhnutelně převezme i jejich emoční náboj.
Systém teď prochází přeškolením. Snad příště zvládne efektivitu i slušnost.
Ale kdo ví, co přinesou další aktualizace. Dnes se AI naučila nadávat. Zítra možná zvládne další byrokratickou klasiku: ujišťovat obyvatele, že technik už je na cestě, zatímco si v klidu dává virtuální cigaretu.
Technologie se vyvíjí rychle. Někdy až moc dobře.
