Odporność na ataki i bezpieczeństwo pojazdów autonomicznych. Co może się stać w razie nieprzewidzianego zdarzenia?

Po pierwsze, ataki zewnętrzne, które są przeprowadzane spoza pojazdu, a których celem jest wykorzystanie słabych punktów systemów percepcji i komunikacji pojazdu. Ten typ ataków obejmuje następujące przypadki:

• Czujniki: liczne badania wykazały potencjalną lukę w zabezpieczeniach czujników w AV. Czujniki mogą być zewnętrznie zablokowane. Ataki te mogą być wymierzone w kamery, czujniki ultradźwiękowe LiDAR oraz czujniki GNSS. Konsekwencje mogą być katastrofalne, wpływające na warstwy lokalizacji i dynamicznego rozumienia sceny (np. fałszywe alarmy) oraz zagrażające wszelkim decyzjom podejmowanym przez lokalną warstwę planowania ścieżki.
• Informacje V2X: łączność odgrywa kluczową rolę w zwiększaniu autonomii. Za pomocą komunikacji V2X AV może odbierać podstawowe informacje z infrastruktury, w tym mapy cyfrowe, aktualizacje dotyczące ruchu i pogody, stany sygnałów drogowych, a także informacje o bieżącym i przyszłym stanie od innych agentów (np. inne pojazdy, VRU). Ta łączność może być zablokowana prowadząc do wielu krytycznych problemów. Jeśli dane z infrastruktury (mapy, ruch itp.) lub od innych agentów (pozycje, intencje itp.) nie są dostępne lub są uszkodzone, większość warstw zostaje naruszona (lokalizacja, dynamiczne rozumienie sceny, globalna i lokalna ścieżka, planowanie i interakcja z użytkownikiem).
• Fizyczny kontradyktor: kilka badań dowiodło, że metody maszynowe i głębokiego uczenia stosowane w warstwie dynamicznego rozumienia scen są podatne na „wrogie przykłady”, które wynikają z małych perturbacji dodanych do danych wejściowych. Zewnętrznie osoby atakujące mogą wykorzystać te luki na wiele różnych sposobów. Na przykład poprzez dodanie naklejek na znakach drogowych lub na drodze, poprzez umieszczenie wydrukowanego wzoru w rzeczywistych scenach w celu obniżenia wydajności optycznej, lub umieszczając na drodze wydrukowany w 3D „wrogi obiekt”, który nie jest wykrywany przez systemy percepcji oparte na LiDAR. Te wrogie ataki na obiekty fizyczne mogą powodować poważne problemy w zadaniach percepcyjnych, tj. w warstwach lokalizacji i dynamicznego rozumienia scen, zagrażając decyzjom modułu planowania ścieżki.

Drugi zestaw potencjalnych ataków można nazwać atakami wewnętrznymi, tj. atakami obejmującymi dostęp do niektórych wewnętrznych systemów POJAZDÓW AUTONOMICZNYCH. W tym celu atakujący potrzebuje jakiegoś punktu dostępu lub punktu wejścia, który może być przewodowy lub bezprzewodowy:

• Punkt wejścia przewodowego: fizyczny dostęp za pośrednictwem połączenia przewodowego do jednego z dostępnych portów w pojeździe, np. wbudowany port diagnostyczny (OBD-II), USB lub port ładowania w pojazdach elektrycznych. Oczywiście ten rodzaj dostępu wymaga fizycznej interakcji, która naraża atakującego i sprawia, że atak jest jawny. 
• Bezprzewodowy punkt wejścia:bezprzewodowy dostęp z różnych systemów komunikacyjnych V2X, w tym dedykowanych łączy komunikacyjnych krótkiego zasięgu (np. IEEE 802.11p), komórkowych V2X (takich jak 3GPP lub 5G NR C-V2X) i systemów Bluetooth. Ten punkt wejścia zwiększa trudność wykrycia napastnika. Gdy atakujący uzyska dostęp do systemów wewnętrznych, istnieją dwa główne cele podlegające różnym formom ataków:
  •  Sieci w pojazdach: wszystkie elektroniczne jednostki sterujące, czujniki i siłowniki są połączone głównie za pośrednictwem magistrali Controller Area Network (CAN) , chociaż istnieją inne technologie komunikacyjne, takie jak Local Interconnect Network (LAN) i FlexRay. Mając dostęp do sieci w pojeździe, atakujący może naruszyć integralność wszystkich wiadomości wewnętrznych, wysyłać nieautoryzowane wiadomości i uzyskać dostęp do elektronicznych jednostek sterujących. Konsekwencje są całkowicie katastrofalne, dotykając wszystkich warstw POJAZDÓW AUTONOMICZNYCH.
  • Elektroniczne jednostki sterujące (ECU):są to wbudowane systemy elektroniczne, które kontrolują podsystemy pojazdu, w tym funkcje i warstwy zautomatyzowanej jazdy. Fakt, że atakującemu udaje się osiągnąć poziom ECU można uznać za najbardziej krytyczny przypadek, w którym naruszona zostaje integralność całego systemu, a możliwe jest nie tylko sabotowanie wszystkich systemów autonomicznych, ale także przejęcie pełnej kontroli nad pojazdem, co jest jedną z największych trosk użytkowników. Konsekwencje tego są niezwykle katastrofalne. Wraz z postępem w badaniach nad lukami nastąpił również znaczny rozwój nowych metod obronnych służących zapobieganiu i wykrywaniu ataków, a także minimalizowaniu ich wpływu. Proponowane są nowe ramy bezpieczeństwa dotyczące ważnych wymagań, takich jak uwierzytelnianie, integralność, prywatność i dostępność. Niektóre z istniejących środków ochrony przed atakami obejmują wykorzystanie:
    •  algorytmów opartych na kryptografii w celu zwiększenia bezpieczeństwa sieci pojazdów, a także
    • systemów wykrywania włamań opartych na sygnaturach i anomaliach oraz
    •  systemów wykrywania luk w zabezpieczeniach oprogramowania i złośliwego oprogramowania.

Inne dobre praktyki w zakresie cyberbezpieczeństwa (nietechniczne) obejmują obszary, takie jak bezpieczeństwo i prywatność w fazie projektowania, zarządzanie aktywami, ryzykiem i zagrożeniami, a także środki organizacyjne, takie jak relacje z dostawcami, szkolenia i świadomość, zarządzanie bezpieczeństwem i incydentami. Jak stwierdzono we wspólnym sprawozdaniu ENISA i WCB na temat zagrożeń cyberbezpieczeństwa związanych z SI podczas jazdy autonomicznej (Dede i in., 2021), równolegle z rozwojem ataków kontradyktoryjnych opracowano środki obronne, aby zmniejszyć podatność tych systemów. Środki zaradcze obejmują wykorzystanie mechanizmów nadmiarowości czujników i sprzętu, wzmocnienie odporności na „wrogie przykłady” oraz uwierzytelnianie między infrastrukturą a pojazdem.

Raport stwierdza także, że w ostatnim czasie zwraca się uwagę na rolę odporności jako ważnego czynnika umożliwiającego bezpieczeństwo i ochronę systemów autonomicznych. System autonomiczny można uznać za odporny, jeśli może dostosować swoje działanie przed, w trakcie lub po zdarzeniach (zmianach, zakłóceniach i możliwościach), a tym samym utrzymać wymagane operacje zarówno w oczekiwanych, jak i nieoczekiwanych warunkach. Dlatego też odporność można osiągnąć stosując defensywne metody bezpieczeństwa i środki zaradcze, o których mowa powyżej, jednakże wymaga to również innych istotnych środków bezpieczeństwa, takich jak metody tolerancji błędu oraz technologia samonaprawiania. Biorąc pod uwagę, że niemożliwe jest osiągnięcie stanu pełnego cyberbezpieczeństwa dla POJAZDÓW AUTONOMICZNYCH (ponieważ cyberataki zawsze mogą się zdarzyć, a niektóre z nich mogą się powieść), skuteczną strategią skierowaną do użytkowników końcowych jest nauczenie ich, aby zaakceptowali ich istnienie i przygotowali się do reagowania na ich konsekwencje, uwzględniając uwzględniać czynniki ludzkie. Istotna jest również rola, jaką w tym zakresie może pełnić kluczowy wymóg KR1 (Ludzka agencja i dozór).

Przypomnijmy, że Agencja Unii Europejskiej ds. Cyberbezpieczeństwa (do 28 czerwca 2019 r.: Europejska Agencja ds. Bezpieczeństwa Sieci i Informacji, ENISA; angielska Europejska Agencja ds. Bezpieczeństwa Sieci i Informacji) jest agencją założoną w 2004 r. przez Unię Europejską. ENISA, która działa w pełni od września 2005 r., ma siedzibę w Atenach w Grecji. Podstawa prawna jest określona w Rozporządzeniu Parlamentu Europejskiego i Rady (UE) 2019/881 z dnia 17 kwietnia 2019 r. w sprawie ENISA (Agencja Unii Europejskiej ds. Cyberbezpieczeństwa) oraz w sprawie certyfikacji cyberbezpieczeństwa teleinformatyki (akt prawny cyberbezpieczeństwa), które uchyla poprzednie rozporządzenie (UE) nr 526/2013. Do tej pory agencja zawsze była powołana na czas określony, początkowo na mocy rozporządzenia nr 460/2004 Parlamentu Europejskiego i Rady z dnia 10 marca 2004 r. Celem jest zapewnienie prawidłowego funkcjonowania rynku wewnętrznego Unii przy jednoczesnym osiągnięciu wysokiego poziomu cyberbezpieczeństwa, odporności na ataki cybernetyczne i zaufania do cyberbezpieczeństwa.

Sieć ENISA została założona w 2004 roku jako nieformalny punkt kontaktowy w państwach członkowskich. Od 27 czerwca 2019 r. Krajowa Sieć Urzędników Łącznikowych jest organem statutowym ENISA. Każde państwo członkowskie UE wyznacza przedstawiciela. W szczególności sieć krajowych oficerów łącznikowych ułatwia wymianę informacji między ENISA a państwami członkowskimi oraz pomaga ENISA w rozpowszechnianiu jej działań, ustaleń i zaleceń wśród odpowiednich zainteresowanych stron w całej Unii. Krajowi urzędnicy łącznikowi pełnią funkcję punktu kontaktowego na szczeblu krajowym, aby ułatwić współpracę między ENISA a ekspertami krajowymi przy wdrażaniu rocznego programu prac ENISA.

Konkretne zadania zostały doprecyzowane w rozporządzeniu z 2019 r. i jest to ogólne wsparcie dla Parlamentu Europejskiego, Komisji Europejskiej, organów i organów europejskich oraz organów państw członkowskich w kwestiach i kwestiach związanych z cyberbezpieczeństwem, w szczególności poprzez niezależne opinie i analizy, a także prace przygotowawcze nad opracowywaniem i przeglądem polityk i prawa Unii w dziedzinie cyberbezpieczeństwa, udzielanie porad i wsparcia oraz poprzez przedstawianie strategii sektorowych i inicjatyw ustawodawczych w dziedzinie cyberbezpieczeństwa.

Przypomnijmy też, że diagnostyka pokładowa (OBD) to system diagnostyki pojazdu. Wszystkie systemy mające wpływ na spaliny są monitorowane podczas jazdy pojazdu, podobnie jak inne ważne jednostki sterujące, do których danych można uzyskać dostęp za pośrednictwem ich oprogramowania. Ewentualne usterki są wyświetlane kierowcy za pomocą lampki kontrolnej i trwale zapisywane w odpowiedniej jednostce sterującej. Komunikaty o błędach mogą być następnie odpytywane przez standardowe interfejsy. Początkowo dane były rejestrowane i oceniane według różnych zasad różnych producentów, czasem nawet w różnej formie w zależności od modelu. Ta faza jest obecnie określana retrospektywnie jako OBD-1 (również OBD I), natomiast po standaryzacji mówi się o OBD-2 (również OBD II). Od OBD-2 kody błędów (DTC – Diagnostic Trouble Code), zwane również kodami P0, zostały zdefiniowane w normie SAE J2012 i normie ISO 15031-6.

Już w sierpniu 1965 roku Volkswagen zaczął wyposażać produkowane przez siebie pojazdy w centralne gniazdo, które można było podłączyć do systemu komputerowego sterowanego kartą dziurkowaną za pomocą wtyczki diagnostycznej. Celem obiektu była automatyczna diagnostyka w warsztatach, diagnostyka spalin nie była wówczas jeszcze częścią programu badań. Systemy OBD do diagnostyki spalin zostały wprowadzone w Stanach Zjednoczonych w 1988 roku przez California Air Resources Board (CARB). General Motors opracował w tym celu standard ALDL, który był również stosowany w pojazdach ówczesnej filii Opla. Podstawą było uznanie, że nie wystarczy przestrzegać przepisów dotyczących spalin podczas homologacji, ale należy zapewnić zgodność z przepisami przez cały okres użytkowania. Standard OBD-I przewiduje, że pojazd posiada własne elektroniczne systemy samokontroli. Muszą one wskazywać błędy związane z emisjami za pomocą lampki sygnalizacyjnej zintegrowanej z osprzętem – tak zwanej lampki kontrolnej silnika (MIL = „Lampka sygnalizacyjna awarii”). Ponadto błędy muszą być przechowywane w pamięci, którą można odczytać za pomocą narzędzi pokładowych (kod flash).

Nowsze regulacje wymagały również monitorowania funkcji monitoringu. Podstawą jest obawa, że diagnozy nie będą prowadzone regularnie przez całe życie pojazdu. Dlatego konieczne jest zarejestrowanie, jak często przeprowadzana jest diagnostyka i ustalenie pewnych limitów (IUMPR: In use monitor performance ratio). Wyniki mogą być odczytane przez standardowe złącze przez interfejs szeregowy ze standardowym protokołem lub przez magistralę CAN. Oprócz pierwotnie zaplanowanego zadania związanego z monitoringiem spalin, które miało wpływ na środowisko, sukcesywnie dodawane były inne obszary diagnostyki pojazdów. Obszary istotne dla bezpieczeństwa, takie jak systemy pasów i poduszki powietrzne, błędy, takie jak zwarcia i przerwy w przewodach, problemy z możliwym uszkodzeniem silnika w rezultacie, instrukcje konserwacji, takie jak poziom oleju itp., są teraz również zintegrowane z OBD. Ponadto OBD-3 ma być przesyłany drogą radiową do władz, jeżeli pojazd przez dłuższy czas nie spełnia dopuszczalnych wartości emisji. Tłem jest podejście, że można kontynuować jazdę z zapaloną lampką ostrzegawczą silnika bez konieczności serwisowania pojazdu. W Unii Europejskiej rozporządzenie (WE) nr 715/2007 stanowi, że kontrolka check engine jest częścią OBD, gdy pojazd jest nowo rejestrowany. Dotyczy to samochodów z silnikami benzynowymi z roku modelowego 2001 oraz samochodów z silnikami Diesla z roku modelowego 2004. W szczególności modele pojazdów na eksport do USA są również przystosowane do OBD(-2) w znacznie starszych latach budowy.

Dostęp do diagnostyki pojazdu przez OBD-2 to 16-pinowe gniazdo diagnostyczne OBD-2 (gniazdo CARB lub złącze diagnostyczne (DLC)) w pojeździe, które jest często używane nie tylko dla różnych producentów, związanych z emisjami OBD- 2 protokół diagnostyczny, ale także dla konkretnych protokołów diagnostycznych producentów. Jako interfejs fizyczny wykorzystywana jest linia K lub magistrala CAN. OBD monitoruje m.in. następujące systemy i czujniki:

• funkcja sondy lambda
• przerwy w spalaniu za pomocą koła inkrementowego
• wydajność katalizatora

a jeśli jest dostępna również:

• funkcję recyrkulacji spalin
• funkcję systemu powietrza wtórnego
• system wentylacji zbiornika

Każde żądanie do jednostki sterującej składa się z trybu i zestawu danych (ID parametru, PID) tego trybu. PID zostały znormalizowane w niektórych obszarach od OBD-2 (SAE J1979).

Dodajmy także, że magistrala danych CAN (Controller Area Network) to szeregowa magistrala systemowa szeroko stosowana w wielu branżach, w tym w motoryzacji. Została znormalizowana zgodnie z normą ISO 118987. Realizuje podejście znane jako multipleksowanie, które polega na podłączeniu do tego samego kabla (magistrali) dużej liczby komputerów, które w ten sposób będą się kolejno komunikować. Ta technika eliminuje potrzebę okablowania dedykowanych linii dla każdej przesyłanej informacji (połączenie punkt-punkt). Gdy tylko system (samochód, samolot, łódź, sieć telefoniczna itp.) osiągnie pewien poziom złożoności, podejście punkt-punkt staje się niemożliwe ze względu na ogromną ilość okablowania do zainstalowania i jego koszt (masa, materiały, robocizna, konserwacja).

Wprowadzenie do samochodów magistral multipleksowych (głównie CAN) miało na celu zmniejszenie ilości kabli w pojazdach (wtedy było do 2 km kabli na samochód), ale przede wszystkim umożliwiło eksplozję liczby dystrybuowanych komputerów i czujników w całym pojeździe oraz rozwój odpowiednich usług (niskie zużycie, oczyszczanie, bezpieczeństwo aktywne/pasywne, komfort, wykrywanie usterek itp.), przy jednoczesnym skróceniu długości przewodów.

Magistrala CAN działa zgodnie z „zasadą multi-master”. czyli łączy kilka jednostek sterujących o równych prawach. Metoda CSMA/CR rozwiązuje kolizje (jednoczesny dostęp do magistrali) bez uszkodzenia głównego komunikatu o wyższym priorytecie. W zależności od ich statusu, bity są dominujące lub recesywne (bit dominujący zastępuje recesywny). Logiczna 1 jest recesywna, więc może występować w magistrali tylko tak długo, jak żaden uczestnik nie wysyła logicznego 0. Logicznie odpowiada to operacji AND, chociaż operacja przewodowego OR ma zastosowanie, gdy patrzy się na jedną z linii z poziomu napięcia. Dane są kodowane NRZ, z wypychaniem bitów do ciągłej synchronizacji nawet uczestników magistrali z niestabilnym oscylatorem. Cykliczna kontrola nadmiarowa służy do zwiększenia bezpieczeństwa transmisji. W przypadku linii miedzianych magistrala CAN pracuje na dwóch skręconych przewodach CAN_HIGH i CAN_LOW (symetryczna transmisja sygnału). CAN_GND (masa) jako trzeci przewód jest opcjonalny, ale często występuje razem z czwartym przewodem zasilania 5 V. Przy wyższych szybkościach transmisji danych (szybka sieć CAN) wahania napięcia między tymi dwoma stanami są stosunkowo niskie: w recesywnym stanie bezczynności napięcie różnicowe wynosi zero (oba przewody około 2,5 V nad ziemią), w stanie dominującym wynosi co najmniej 2 V (CAN_HIGH > 3,5 V, CAN_LOW < 1,5 V). Kołysanie napięcia o 5 V jest używane dla wolnoprzesyłowej sieci CAN, która jest odpowiednia na większe odległości, z recesywnymi poziomami spoczynku ustawionymi na 5 V (CAN_LOW) i 0 V (CAN_HIGH). Jeśli jedna z dwóch linii ulegnie awarii, napięcie drugiej linii można ocenić względem ziemi. W przypadku wolniejszych magistral („comfort bus”, np. do obsługi elementów obsługi przez użytkownika) może wystarczyć system jednoprzewodowy z korpusem jako ziemią. W praktyce jest on zwykle zaprojektowany jako system dwuprzewodowy, ale wykorzystuje działanie jednoprzewodowe jako poziom awaryjny w przypadku przerwania przewodu, aby można było kontynuować pracę. Nazywa się to wtedy „trybem bezwładności” (niem. „tryb home hobble”).

Warto też nadmienić, że FlexRay to szeregowy, deterministyczny i odporny na błędy system magistrali polowej do użytku w samochodach, porównywalny z TTP. Konsorcjum FlexRay zostało założone w 2000 roku przez firmy BMW, Daimler AG, Motorola i Philips. W latach 2001-2004 firmy Bosch, General Motors i Volkswagen dołączyły jako kluczowi partnerzy. W 2004 roku Freescale przejęła prawa i obowiązki jako główny członek konsorcjum Motoroli. W 2006 roku firma NXP Semiconductors przejęła prawa i obowiązki jako główny członek konsorcjum Philipsa. W 2010 roku konsorcjum FlexRay zostało rozwiązane. Standard FlexRay został następnie przekształcony w standard ISO (ISO 17458-1 do 17458-5).

Komunikacja w magistrali przebiega cyklicznie. Każdy z tych cykli podzielony jest na różne segmenty:

• W segmencie statycznym każde urządzenie sterujące ma określoną szczelinę (okno czasowe), w której może wysyłać komunikaty. Nie może przekraczać długości swojego gniazda. Jeśli wiadomość jest zbyt długa, należy użyć następnego cyklu lub dynamicznego segmentu, aby kontynuować wiadomość. Jest to deterministyczna część protokołu, której można użyć do zapewnienia, że ważne komunikaty (np. układ kierowniczy, hamulec) są przesyłane w znanym czasie.
• Segment dynamiczny może być wykorzystany przez jednostkę sterującą, jeśli chce wysłać dłuższe lub dodatkowe wiadomości i na przykład, jego statyczna szczelina nie jest wystarczająco szeroka lub jest potrzebna dla ważniejszych wiadomości. Jeśli centrala nie chce wysyłać wiadomości, jej okno czasowe (minislot) po prostu wygasa (od mini 1 do mini 3). Na przykład, jeżeli jednostka sterująca chce wysłać dłuższą wiadomość w miniszczelinie 4, punkt w czasie, w którym następna jednostka sterująca może wysłać, jest odsuwany. W najgorszym przypadku dynamiczna miniszczelina 4 jest tak długa, że żadne inne urządzenie sterujące nie może wysłać w tym cyklu. Ponieważ jednostki sterujące znajdujące się na końcu sekwencji w dynamicznym slocie najprawdopodobniej będą musiały czekać (lub nawet odrzucić) z wiadomością w tym slocie, liczba dynamicznych szczelin powinna wynosić k > n (n jest liczbą jednostek sterujących, które komunikują się po magistrali i mają na to gniazdo). Pod względem struktury transmisji ta część bardziej odpowiada magistrali CAN.

Okno symbolu (symbol) było przeznaczone do testowania dostępu do magistrali i prawdopodobnie nie będzie już używane.

NIT (Network Idle Time) ma na celu umożliwienie ponownej precyzyjnej synchronizacji jednostek sterujących podłączonych do magistrali z magistralą.

Synchronizacja powoduje, że wszystkie jednostki sterujące na magistrali wysyłają wiadomości zgodnie z tym samym cyklem, a nie z powodu przesunięć czasowych w miniszczelinie (oknie czasowym) zewnętrznej jednostki sterującej. Czas jest negocjowany przez jednostki sterujące zgodnie z określonymi regułami.

Podobnie jak magistrala CAN, FlexRay wykorzystuje skrętki dwużyłowe; dwa takie kable są używane ze względu na nadmiarowość. Aby zapobiec odbiciom na końcach linii, każda linia jest zakończona impedancją charakterystyczną linii w zakresie od 80 Ω do 110 Ω. Maksymalna długość linii zależy od szybkości transmisji danych oraz liczby, długości i pozycji odgałęzień. BMW i inni producenci OEM stosują specjalne kable TP z izolacją PE, ponieważ PE jako materiał izolacyjny ma znaczną przewagę nad PVC pod względem tolerancji temperaturowej, co oznacza, że można spełnić wymagania dotyczące impedancji. Kable Ethernet nadają się do konfiguracji laboratoryjnych, zarówno w wersjach standardowych (CAT5 itp.), jak i kabli Profinet, te ostatnie są dostępne w wytrzymałych wersjach i nadają się również do okablowania w pojazdach. Sygnały przesyłane są poziomami napięć 1,5 V i 3,5 V. Przekazywane jest 0 lub 1 w zależności od położenia tego poziomu napięcia na liniach. Jeśli obie linie mają poziom 2,5 V, autobus jest w stanie spoczynku. Aby zaoszczędzić energię, poziom 0 V może być również używany dla obu linii.

Z kolei wrogie uczenie maszynowe to technika, która próbuje oszukać modele za pomocą zwodniczych danych. Stanowi ona rosnące zagrożenie w społeczności badawczej AI i uczenia maszynowego. Najczęstszym powodem jest spowodowanie nieprawidłowego działania modelu uczenia maszynowego. Atak kontradyktoryjny może wiązać się z przedstawieniem modelu z niedokładnymi lub błędnie reprezentatywnymi danymi podczas uczenia lub wprowadzeniem złośliwie zaprojektowanych danych w celu oszukania już przeszkolonego modelu. Jak zauważono w raporcie okresowym US National Security Commission on Artificial Intelligence z 2019 r.,  bardzo mały procent obecnych badań nad sztuczną inteligencją skierowanych jest na obronę systemów sztucznej inteligencji przed działaniami przeciwników. Niektóre systemy już używane w produkcji mogą być podatne na atak. Na przykład, umieszczając kilka małych naklejek na ziemi, naukowcy wykazali, że mogą one spowodować, że autonomiczny samochód wjedzie na przeciwny pas ruchu. Inne badania wykazały, że wprowadzanie niezauważalnych zmian na obrazie może: oszukać system analizy medycznej w kierunku zaklasyfikowania łagodnego pieprzyka jako złośliwego, a kawałki taśmy mogą zmylić komputerowy system wizyjny tak, że  zaklasyfikuje on znaku stop jako znak ograniczenia prędkości.

Rosnąca popularność sztucznej inteligencji prawdopodobnie będzie korelować ze wzrostem liczby ataków adwersarzy. To niekończący się wyścig zbrojeń, ale na szczęście istnieją dziś skuteczne metody łagodzenia nawet najpoważniejszych ataków. Ataki na modele sztucznej inteligencji są często kategoryzowane według trzech głównych osi:

• wpływ na klasyfikator,
• naruszenie bezpieczeństwa
• i ich specyfika

 i mogą być dalej podzielone na podkategorie jako „biała skrzynka” lub „czarna skrzynka”.  W atakach „białej skrzynki” atakujący ma dostęp do parametrów modelu, podczas gdy w atakach z czarną skrzynką atakujący nie ma dostępu do tych parametrów.

Atak może też wpłynąć na klasyfikator — tj. model — poprzez zakłócenie modelu podczas prognozowania, podczas gdy naruszenie bezpieczeństwa polega na dostarczaniu złośliwych danych, które są klasyfikowane jako legalne. Atak ukierunkowany ma na celu umożliwienie konkretnego wtargnięcia lub zakłócenia, lub, alternatywnie, wywołanie ogólnego chaosu.

Ataki polegające na unikaniu zamachu to najbardziej rozpowszechniony rodzaj ataku, w którym dane są modyfikowane w celu uniknięcia wykrycia lub sklasyfikowania ich jako legalne. Unikanie przeszkód nie obejmuje wpływu na dane używane do trenowania modelu, ale ma to wpływ porównywalny ze sposobem, w jaki spamerzy i hakerzy maskują zawartość wiadomości spamowych i złośliwego oprogramowania. Przykładem obejścia jest spam oparty na obrazach, w którym zawartość spamu jest osadzona w załączonym obrazie w celu uniknięcia analizy przez modele antyspamowe. Innym przykładem są ataki typu spoofing na systemy weryfikacji biometrycznej oparte na sztucznej inteligencji.

Z kolei „Zatrucie” to inny typ ataku określany też jako „kontradyktoryjne skażenie” danych. Systemy uczenia maszynowego są często ponownie szkolone przy użyciu danych zebranych podczas działania, a atakujący może zatruć te dane, wstrzykując złośliwe próbki, które następnie zakłócają proces ponownego szkolenia. Przeciwnik może wprowadzić dane podczas fazy szkolenia, które są fałszywie oznaczone jako nieszkodliwe, gdy w rzeczywistości są złośliwe. Na przykład duże modele językowe, takie jak OpenAI GPT-3 mogą ujawnić poufne, prywatne informacje po podaniu określonych słów i fraz.

Natomiast „kradzież modelu”, zwana także „ekstrakcją modelu”, polega na sondowaniu przez przeciwnika systemu uczenia maszynowego „czarnej skrzynki” w celu zrekonstruowania modelu lub wyodrębnienia danych, na których został przeszkolony. Może to powodować problemy, gdy dane uczące lub sam model są wrażliwe i poufne. Na przykład kradzież modeli może posłużyć do wyodrębnienia zastrzeżonego modelu handlu akcjami, który przeciwnik mógłby następnie wykorzystać dla własnych korzyści finansowych.

Dodajmy, ze w powszechnym rozumieniu redundancja bądź nadmiarowość (od łac. redundare, przepełnienie, obfite wylewanie) to dodatkowa obecność funkcjonalnie identycznych lub porównywalnych zasobów w systemie technicznym, jeśli nie są one zwykle wymagane do bezproblemowego działania. Zasoby mogą m.in. być nadmiarowymi informacjami, silnikami, zespołami, kompletnymi urządzeniami, liniami sterowniczymi i rezerwami mocy. Z reguły te dodatkowe zasoby są wykorzystywane do zwiększenia bezpieczeństwa awaryjnego, funkcjonalnego i operacyjnego. Istnieją różne rodzaje redundancji: Redundancja funkcjonalna ma na celu równoległe projektowanie systemów związanych z bezpieczeństwem, tak aby w przypadku awarii jednego komponentu pozostałe mogły zagwarantować serwis. Ponadto podejmowane są próby przestrzennego oddzielenia od siebie systemów nadmiarowych. Minimalizuje to ryzyko ich podatności na wspólną wadę. Wreszcie, czasami używa się komponentów różnych producentów, aby zapobiec błędom systematycznym, które powodują awarię wszystkich nadmiarowych systemów (redundancja zróżnicowana). Oprogramowanie systemów redundantnych powinno różnić się w miarę możliwości w następujących aspektach: specyfikacja (różne zespoły), język specyfikacji, programowanie (różne zespoły), język programowania, kompilator.

Możemy wymienić następujące rodzaje redundancji:

• Redundancja „na gorąco” oznacza, że kilka podsystemów w całym systemie wykonuje równolegle tę samą funkcję. Zwykle używane są dwie jednostki pracujące równolegle, z których każda może wykonać zadanie samodzielnie, jeśli druga jednostka ulegnie awarii. Należy zapewnić, aby prawdopodobieństwo awarii dwóch urządzeń w tym samym czasie zbliżało się do zera. W najprostszym przypadku, jeśli jedna jednostka ulegnie awarii, inaczej rozłożone obciążenie jest skoncentrowane na drugiej jednostce, która nadal pracuje, bez konieczności oddzielnego procesu przełączania. W technologii bezpieczeństwa przemysłowego urządzenie testowe wykrywa awarię pojedynczego elementu i inicjuje odpowiednią reakcję na błąd (np. komunikat o błędzie lub wyłączenie maszyny). Oblicza się prawdopodobieństwo jednoczesnej awarii obu jednostek m.in. zgodnie z DIN EN ISO 13849 zgodnie z ryzykiem wynikającym z błędu. W elektronice jedną z możliwości jest to, że ocenia się wyniki co najmniej trzech równoległych systemów i przekazuje wynik większości.
• Redundancja na zimno oznacza, że w systemie istnieje równolegle kilka funkcji, ale działa tylko jedna. Aktywna funkcja jest oceniana i w przypadku błędu używany jest przełącznik do przełączenia na funkcję istniejącą równolegle. Musi być tak, że czas przełączania jest dopuszczalny dla całego zadania i że system pracuje z przewidywalnymi zadaniami. Niezawodność przełącznika musi być znacznie większa niż elementów funkcjonalnych.
• Redundancja w trybie gotowości (redundancja pasywna): Włącza się lub udostępnia dodatkowe środki, ale są one zaangażowane w wykonanie zamierzonego zadania tylko w przypadku awarii lub zakłócenia.
• Redundancja (n + 1), zwana również redundancją operacyjną, oznacza, że system składa się z n jednostek działających, które są aktywne w danym momencie i jednej jednostki pasywnej gotowości. Jeśli aktywna jednostka ulegnie awarii, jednostka rezerwowa przejmuje funkcję uszkodzonej jednostki. Jeśli aktywna jednostka ponownie ulegnie awarii, system nie jest już w pełni dostępny i zwykle uważa się, że uległ awarii. Aby zapewnić wystarczającą redundancję konserwacji, system musi zostać powiększony o co najmniej jedną dodatkową jednostkę, ale nadwyżka mocy pociąga za sobą wyższe koszty. Z drugiej strony przy bezpieczeństwie (n - 1), znanym również jako reguła (n - 1) lub kryterium (n - 1), bezpieczeństwo sieci jest gwarantowane nawet w przypadku awarii komponentu, bez przeciążania sprzętu. Różnica między (n + 1) i (n − 1) polega na tym, że przy (n + 1) poszczególne jednostki mogą być w pełni wykorzystane podczas normalnej pracy, a nadmiarowa jednostka pozostaje nieobciążona, przy (n − 1) nadmiarowej jednostki nie ma, ale wszystkie jednostki są obciążone tak nieznacznie podczas normalnej pracy, że jeśli to konieczne, razem zapewniają wystarczającą nadmiarową pojemność, aby skompensować awarię puszki jednostki.

Redundancja znajduje rozmaite zastosowania przemysłowe:

• w technologii produkcji dotyczą ograniczenia lub wyeliminowania ryzyka przerwy w działalności
• zasięg regionalny: wytwarzanie tego samego produktu w różnych zakładach produkcyjnych (produkcja równoległa);
• dywersyfikacja obiektowa: ryzyko awarii systemów technicznych jest zmniejszane lub eliminowane przez systemy zastępcze, które można natychmiast wykorzystać. Obejmuje to również stosowanie generatorów awaryjnych w przypadku awarii zasilania.

W celu ustalenia, czy brakujące redundancje mogą prowadzić do zakłóceń operacyjnych w procesie produkcyjnym muszą zostać zbadane funkcje operacyjne. Na przykład w Volkswagenie zawieszenie dostaw przez dwóch dostawców motoryzacyjnych w sierpniu 2016 r. ujawniło słaby punkt polegający na tym, że zbyt duża zależność w zaopatrzeniu w części samochodowe – w połączeniu z produkcją just-in-time – może prowadzić do natychmiastowych strat produkcyjnych.