AI, ze které data neodejdou
„A kam se ta data vlastně posílají?“
Touhle otázkou většina úvah o umělé inteligenci ve firmě skončí dřív, než pořádně začne. Někdo nadhodí, že by se hodilo nechat si shrnout zápisy z porad nebo předtřídit poštu — a pak všem dojde, co by to znamenalo pro dokumenty, které nemají opustit barák.
Jde to i jinak. Jazykový model — stejný druh programu, jaký pohání ChatGPT nebo Copilota — umí běžet i na vlastním počítači, bez připojení ven. Ne na každém: chce to spíš šestnáct gigabajtů paměti a pomůže samostatná grafická karta. Pořád je to ale normální pracovní notebook, ne datové centrum.
Hned k tomu ale patří věta, kterou nechci schovávat do poznámky pod čarou: takový model odpovídá hůř. Sám model se musí vejít do paměti běžného stroje, takže je mnohem menší než ty, co běží v cizích datových centrech na strojích s desítkami grafických karet. Na složitou otázku odpoví hůř a občas se splete tam, kde by velký model odpověděl správně. To se nedá obejít fintou — je to daň za to, že data nikam necestují.
Vlastní příklad, kde online nepřipadalo v úvahu
Napsal jsem si nedávno malý nástroj pro sebe. Na ranní poradě mám říct, na čem jsem dělal — a jde to mnohem líp, když to přesně vím, místo abych to lovil z paměti.
Na počítačích, které na to mají hardware (Microsoft jim říká Copilot+), umí Windows funkce jménem Recall ukládat na pozadí snímky obrazovky. Sama od sebe to nedělá — musí se zapnout a co uloží, zůstává zašifrované na disku. Já ji zapnutou mám a nechávám si z těch snímků poskládat stručný přehled.
Na těch snímcích je totiž přesně to, co nikdy nepošlu cizí službě: rozpracovaný kód, poznámky, a občas i věci, které patří klientovi a nemají důvod můj počítač opouštět. U tohohle nástroje tedy velký model venku vůbec nebyl na výběr.
Model proto běží přímo u mě, přes program jménem LM Studio. Funguje trochu jako přehrávač: model se stáhne jako soubor, LM Studio ho načte a pustí — jenom místo hudby z něj lezou odpovědi. Nástroj se zeptá, model odpoví, a celá ta konverzace nikdy neopustí můj disk. Na to, co po něm chci — udělat z hromady snímků pár vět k ranní kávě — to stačí bohatě. Nepotřebuju od něj báseň ani právní rozbor, potřebuju „tohle jsi včera dělal“.
Co z toho má zákazník
Nemusíte si vybírat mezi umělou inteligencí a klidem, že data zůstanou doma. Tam, kde je citlivost důležitější než chytrost odpovědi — shrnutí interních poznámek, první roztřídění textu — bývá model běžící u vás jediná varianta, kterou má vůbec smysl zvažovat. A tam, kde nestačí, se dá rozhodnout případ od případu, ne jednou provždy za celou firmu.