AI pro bezpečnostní aplikace (WP4)
WP4 se zaměřuje na spolehlivost, bezpečnost a odolnost systémů umělé inteligence v kritických aplikacích. Cílem je posílit důvěryhodnost AI modelů, ochranu proti manipulaci a celkovou kybernetickou bezpečnost hardwarové i softwarové infrastruktury. Výzkum pokrývá tři hlavní směry. Prvním je adaptace velkých a malých jazykových modelů pro profesionální domény, jako jsou farmakologie, biotechnologie, právo či mediální prostředí, včetně detekce dezinformací a podvodného obsahu.
Druhým směrem je zkoumání obousměrné interakce mezi uživateli a algoritmy strojového učení s cílem zvýšit transparentnost, kontrolovatelnost a bezpečnost rozhodovacích procesů. Třetím směrem je analýza výpočetní náročnosti AI modelů, včetně zkoumání možností kvantového počítání a vývoje výpočetně efektivních alternativ stávajících přístupů. Výsledkem WP4 jsou bezpečnější, robustnější a důvěryhodnější AI systémy vhodné pro nasazení v kritických a vysoce regulovaných oblastech.
Jaký problém WP řeší a proč je to důležité?
01
AI systémy jsou stále citlivé na chyby, nejistotu vstupních dat a úmyslnou manipulaci
02
Roste riziko zneužití modelů (např. dezinformace, podvody, adversariální útoky)
03
Chybí dostatečně robustní a vysvětlitelné modely pro nasazení v kritických a regulovaných oblastech
04
Výpočetní náročnost moderních modelů omezuje jejich škálovatelnost a praktické nasazení
05
Interakce mezi uživateli a AI systémy není vždy bezpečná, transparentní a kontrolovatelná
Příklady využití / aplikační oblasti a přínosy
Farmakologie a biotechnologie
- vyšší spolehlivost AI při práci s citlivými vědeckými daty
- snížení rizika chybných interpretací v analýze biologických a chemických informací
- bezpečnější využití AI v prostředí s vysokými nároky na přesnost
Právo a regulatorní prostředí
- vyšší transparentnost a vysvětlitelnost AI rozhodnutí
- bezpečnější práce s právními dokumenty a znalostními systémy
- omezení chyb při interpretaci komplexních textových zdrojů
Média a informační prostor
- detekce dezinformací, manipulativního obsahu a syntetických výstupů
- zvýšení odolnosti proti informačním útokům a manipulaci veřejného prostoru
- podpora důvěryhodného digitálního prostředí
Kybernetická bezpečnost a kritická IT infrastruktura
- zvýšená odolnost AI systémů vůči adversariálním útokům
- ochrana modelů, dat a rozhodovacích procesů před zneužitím
- posílení bezpečnosti kritických digitálních služeb
Výpočetně náročné AI a budoucí architektury (včetně kvantového výzkumu)
- efektivnější a škálovatelnější AI modely
- snížení výpočetních nároků stávajících přístupů
- otevření prostoru pro nové výpočetní paradigma v řešení komplexních úloh
Klíčové osoby
Zapojené instituce
Použité technologie a postupy
- Multimodální AI modely propojující text, obraz, audio a video s strukturovanými daty
- Metody evaluace AI systémů pro automatické hodnocení kvality, spolehlivosti a bezpečnosti výstupů
- Prompt engineering a meta-prompting pro řízení chování a kvality generativních modelů
- Temporální analýza textových dat a sumarizace pro detekci trendů a vývojových vzorců
- Model compression techniky (destilace, pruning, efektivní RNN–Transformer architektury)
- Fine-tuning a adaptace modelů (např. QLoRA) pro doménové a efektivní nasazení.
- Black-box optimalizace a kernelové metody pro robustní analýzu a detekci anomálií v kyberbezpečnosti
- Analýza kvantových algoritmů (NISQ) z hlediska robustnosti a praktické použitelnosti
Dosažené a plánované výsledky
2026
Abduktivní vysvětlení rozhodnutí metod umělé inteligence
R- software
2027
Nástroje pro shlukovou analýzu textů s podporou časových dat a síťové struktury
R- software
Evoluční software pro promt-engineering
R- software
Knihovna pro interakci mezi uživatelem a systémem strojového učení
R- software
Nástroje pro automatizovanou optimalizaci promptů
R- software
Metody detekce halucinací a zkvalitnění fakticity textů generovaných velkými jazykovými modely
R- software
Řetězce (pipelines) pro automatizované ověřování faktů
R- software
Algoritmy kvantového strojového učení zachovávající soukromí pro detekci hrozeb
R- software
2028
Řetězce (pipelines) a nástroje pro extrakci faktů, sumarizace množin dokumentů a strukturované sumarizace
R- software
Metody pro efektivní učení a inferenci velkých jazykových modelů (LLMs) s omezenými výpočetními prostředky s podporou dalších modalit (např obrazových dat pro OCR)
R- software
Malé bezpečnostně zaměřené jazykové modely pro kritická zařízení
Gprot – prototyp
2029
Dual-agentní ofenzivně-defenzivní koevoluce
Gfunk – funkční vzorek
Polodohledový kvantový algoritmus strojového učení pro detekci anomálií
R- software
2030
Multi-LLM agentní architektura pro obranu AI a simulaci útoků
R- software
2031
Agentické AI architektury pro útočící AI agenty
Gfunk – funkční vzorek