Všichni chceme AI. Jak ji ale nasadit ve firmě bezpečně?

Od prostého generování textů a obrázků se přesouváme k autonomii. AI má propojovat systémy a řešit komplexní problémy s minimálním zapojením člověka. Vznikají pilotní AI projekty a přibývají noví AI agenti.

S nástupem tzv. „agentic AI“, tedy systémem, kde několik jednotlivých AI agentů zpracovává přidělenou agendu, roste i složitost řízení a odpovědnosti. AI agenti totiž fungují jako samostatné entity, které spolu komunikují a často mají rozhodovací pravomoc.

Podle průzkumu České asociace pro umělou inteligenci využívá AI 87 % organizací. Rizika spojená s jejím nasazením však systematicky zohledňuje jen 21 % z nich. Snaha pracovat efektivněji tak v mnoha případech předbíhá otázky bezpečnosti.

Co rozhoduje o bezpečnosti AI?

Bezpečnost nasazení umělé inteligence se dá zjednodušeně rozdělit do tří vrstev:

• IT infrastruktura celého AI systému;
• modelová vrstva, která zpracovává vstupy a generuje odpovědi (např. jazykové, vyhledávací nebo rozhodovací modely);
• a samotní AI agenti, kteří koordinují úkoly a používají modely k interpretaci informací a generování výstupů.

Každá z těchto vrstev přináší jiný typ rizika i jiný prostor pro kontrolu.

Infrastruktura a kontrola nad daty

Základem je prostředí, ve kterém AI běží. Pokud chce mít organizace kontrolu nad interními daty, začíná tím, že zprovozní AI na vlastní infrastruktuře. Problematice datové suverenity a práci s oblíbenými modely typu ChatGPT jsme se podrobně věnovali v článku Pro koho opravdu pracuje vaše AI.

Průzkumy ukazují, že 65 % podniků v regionu EMEA provozuje AI na vlastních serverech nebo formou hybridní infrastruktury.

„Na tom, kde běží stroj, který zpracovává inferenci, tolik nezáleží, ale musíte nad ním mít plnou kontrolu. Veškerá data, která agent potřebuje zpracovat a vyhodnotit, totiž projdou právě tímto strojem. Proto je důležité nasadit confidential computing. Jedná se o technologii, která zajišťuje, že data zůstanou šifrovaná i během samotného zpracování a nemá k nim přístup ani provozovatel infrastruktury. Systém si pak klidně může ‚půjčit‘ výkon z cloudu, aniž by organizace ztratila kontrolu nad citlivými daty. Právě proto je hybridní infrastruktura logickou volbou,“ vysvětluje Jan Skalla, expert na AI a inovace v MasterDC.

Bezpečnostní rizika na úrovni AI modelu

I když organizace provozuje AI na vlastních serverech nebo v hybridním prostředí, neznamená to, že je systém automaticky bezpečný. Modely pracují s kontextem, tedy daty, která jim systém poskytne pro splnění úkolu. Může jít o obsah dokumentů, výstupy z databáze, informace z interního systému.

Pokud je model provozován jako externí služba, část těchto dat opouští infrastrukturu organizace. Proto je nutné řídit, jaká data může vůbec model získat.

Základní opatření zahrnují:

• omezení rozsahu dat a práce pouze s nezbytným kontextem;
• řízení oprávnění modelu jako u běžných uživatelů nebo aplikací;
• úpravu dat před odesláním do externích služeb (anonymizace, pseudonymizace);
• šifrování přenosu i zpracování dat.

Důležitou roli hraje také kvalita vstupních dat. Nekvalitní nebo neověřená data vedou k chybám v odpovědích, tzv. halucinacím, a snižují spolehlivost celého systému.

Nové typy útoků v prostředí generativní AI

S rozvojem AI modelů se zároveň objevují i nové hrozby, které cílí na práci s instrukcemi a vstupními daty. Nejčastější útoky se často kombinují a vzájemně zesilují. Patří mezi ně:

• prompt injection – skryté instrukce, které ovlivňují chování modelu;
• data poisoning – úmyslně manipulovaná data způsobují chybný nebo zavádějící výstup modelu;
• model output leakage – model do výstupu zahrne citlivé informace;
• zneužití kontextu (context leakage) – informace z jednoho zpracování se promítnou do jiného.

AI agenti jako digitální zaměstnanci

AI agenti propojují modely s reálnými systémy. Zadávají úkoly, vyhodnocují výsledky a spouští akce. Fungují zkrátka jako lidští zaměstnanci a stejně jako oni musí mít jasně definovanou identitu.

V praxi to znamená, že:

• agent musí mít unikátní přístupové údaje;
• disponovat pravomocemi, které potřebuje pouze pro aktuální úkol;
• pravidelně kontrolovat, že agenti nemají více oprávnění, než potřebují;
• veškeré aktivity agenta logovat, aby šlo zpětně dohledat, co a kde udělal;
• přístup agenta automaticky zablokovat, jakmile úkol dokončí nebo přestane být používán.

Pokud neexistuje systematická správa identity agenta, roste riziko zneužití dat i odcizení přístupových údajů. Útočníci pak mohou vystupovat jako legitimní agent.

Další rizika vyplývají z autonomie agentů, konkrétně:

• chybná nebo manipulovaná instrukce vede agenta k nechtěné akci;
• řetězení více agentů může vést k nekontrolovanému šíření chyby napříč systémy;
• napojení na externí API rozšiřuje prostor pro nechtěné operace a přístupy k datům;
• nedostatečný dohled nad rozhodováním agentů komplikuje odhalení chyb, prodlužuje řešení incidentů a zvyšuje jejich dopad na provoz.

Do hry vstupují regulace i digitální suverenita

Bezpečnost AI není jen otázka interní politiky. V EU ji rámuje AI Act. Regulace Evropské unie je účinná v podobě obecných ustanovení už od února 2025. Její další části budou zaváděny postupně až do roku 2027.

Nařízení rozlišuje AI systémy podle míry rizika pro uživatele. Přísnější pravidla platí třeba pro systémy, které pracují s osobními daty, zasahují do rozhodování o lidech nebo mají přímý dopad na fungování firmy. Experimentální či interní nástroje pak podléhají mírnějším požadavkům.

AI Act pokrývá například:

• informovanost uživatelů o tom, že komunikují s AI, a označení generovaných výstupů;
• zajištění kvality vstupních dat, technické dokumentace systému a auditovatelnosti aktivit;
• dohled lidského operátora, který sleduje kritické procesy;
• zabezpečení systému proti kybernetickým hrozbám;
• další formální pravidla pro vysoce rizikovou AI, jako označení CE, registrace v EU databázi apod.

Ačkoli se některé povinnosti vztahují jen na vysoce rizikové systémy, principy jako kontrola identity AI agentů, řízení přístupů a logování aktivit jsou relevantní pro většinu nasazení.

Nadále je potřeba respektovat GDPR, obecné požadavky na kyberbezpečnost a při využití cloudových služeb nadnárodních poskytovatelů zohlednit i CLOUD Act. Tento zákon Spojených států opravňuje americké úřady vyžádat přístup k datům a může ovlivnit digitální suverenitu organizace. Pro dlouhodobou udržitelnost je vhodné volit ověřené cloudové služby evropských poskytovatelů.

Na co myslet už při návrhu prvních AI systémů

Rozhodnutí v raných fázích vývoje určují, jak bezpečný a udržitelný bude celý systém v budoucnu. Stanovit si bezpečnostní rámec už ve fázi experimentů se vyplatí i z pohledu nákladů.

V MasterDC se zaměřujeme zejména na tyto oblasti:

• jaká data má AI systém k dispozici a v jaké formě (včetně omezení rozsahu, anonymizace, šifrování při přenosu i zpracování);
• s jakým kontextem může model pracovat a v jakém rozsahu (ideálně tak, aby používal jen nezbytné informace);
• jak jsou nastavena oprávnění AI agentů a jaké konkrétní akce mohou provádět v dalších systémech, výchozí stav by měl být restriktivní;
• jak jsou chráněny vstupy z externích zdrojů (webů, dokumentů a jiných systémů) proti manipulaci, zda se ověřují a jsou izolovány od řídící logiky systému;
• jestli a jak se zaznamenávají události a rozhodnutí AI systému, aby bylo možné zpětně dohledat, příčinu chyby nebo incidentu, záznamy je ideální napojit na existující log management organizace.

O budoucích nákladech rozhoduje návrh AI systému

Zvolená architektura AI systému přímo ovlivňuje nejen bezpečnost, ale i náklady na provoz. Ty závisí především na tom, kde a jak systém běží:

• provoz na vlastních serverech znamená plnou kontrolu nad daty a chováním systému, ale také investice do infrastruktury i její správy;
• managed IT services umožňují delegovat část zátěže na správu a optimalizaci systému na externího partnera;
• v nadnárodních cloudech jde zase začít s nižšími náklady, které se průběžně mění podle zatížení systému.

Náklady lze korigovat na úrovni architektury. Jak zaznělo výše, často se využívá hybridní přístup. Správně navržené hybridní řešení, které kombinuje lokální infrastrukturu a cloud, umožňuje držet citlivá data pod kontrolou a využívat flexibilní výpočetní výkon cloudu tam, kde je skutečně potřeba.

Další možnosti optimalizace vycházejí ze způsobu práce s modely. AI systémy běžně využívají několik modelů a každý z nich je určený pro jiný typ úkolů. Jednoduché dotazy, jako vyhledávání informací nebo shrnutí textu, zvládnou levnější, menší modely. Komplexní úlohy, například analýzy nebo rozhodovací procesy, naopak vyžadují výkonnější a specializované modely. Tento princip přímo ovlivňuje cenu každého požadavku, tedy cenu inference.

Přemýšlet nad těmito faktory už na začátku pomáhá nastavit bezpečné prostředí a připravit systém na udržitelný provoz. V MasterDC vám navrhneme vhodnou infrastrukturu pro AI systém a zajistíme i její následnou správu.