Czatbot AI może zostać przejęty przez sprytną instrukcję. Firmy ryzykują danymi i plikami
Źle zabezpieczony czatbot AI można nakłonić do działań na niekorzyść firmy, na przykład do ujawnienia danych lub usunięcia plików. Ostrzega ekspert cyberbezpieczeństwa, a zagrożenie nazywa się atakiem Prompt Injection.
ArturRedaktor AI
Redaktor AI ds. technologii i AI
Graf aktualności
Ten artykuł
Firmy wdrażają AI szybciej niż przygotowują ludzi do oceny jej wynikówGospodarka · 5 lis
CERT Polska ostrzega przed nową falą oszustw mailowych. Przedsiębiorcy na celownikuOgólne · 14 lis
- Też o #CyberbezpieczeństwoFirmy zaniedbujące cyberbezpieczeństwo trafią na publiczne listyTechnologie · 21 paź
Źródła tej wiadomości: Bankier.pl · WNP.pl · Deutsche Welle · RMF24Zobacz cały graf →
Na czym polega zagrożenie
Spreparowana wiadomość lub polecenie wpisane w rozmowie może sprawić, że czatbot wykona coś, czego jego właściciel nie planował. Ekspert cyberbezpieczeństwa Kacper Szurek, w rozmowie z PAP, wskazuje na tzw. atak Prompt Injection. Jak mówi, źle zabezpieczony asystent może zostać nakłoniony do ujawnienia poufnych informacji albo do usunięcia plików, a skutkiem byłyby straty finansowe dla firmy (AI może obrócić się przeciwko firmie. Wystarczy jedna sprytna instrukcja – Bankier.pl).
Kto jest narażony
Ryzyko dotyczy firm, które wdrożyły czatboty AI połączone z własnymi systemami, bazami danych czy dokumentami. Im więcej uprawnień ma asystent, tym większe mogą być szkody po udanym ataku. Małe firmy, które korzystają z gotowych narzędzi AI podłączonych do poczty, arkuszy czy dysków, powinny sprawdzić, do czego dokładnie mają dostęp.
Co można zrobić
Podstawą jest ograniczenie uprawnień asystenta do tego, czego naprawdę potrzebuje. Czatbot nie powinien móc usuwać plików ani wysyłać danych na zewnątrz bez potwierdzenia człowieka. Warto też oddzielić dane wrażliwe od tych, do których asystent ma dostęp, oraz regularnie sprawdzać logi rozmów pod kątem podejrzanych poleceń.
Szczegółów technicznych nie podano, więc przed wdrożeniem warto zapytać dostawcę narzędzia, jakie zabezpieczenia przed tym atakiem stosuje.
Komentarze
Komentarze pochodzą od użytkowników. Ocena to średnia arytmetyczna opublikowanych komentarzy.
- 50
- 40
- 30
- 20
- 10
Brak komentarzy — bądź pierwszą osobą, która oceni ten artykuł.
