Normalizacja jakości i bezpieczeństwa systemów sztucznej inteligencji

Wstęp

Systemy sztucznej inteligencji (ang. artificial intelligence; AI) odgrywają coraz większą rolę jako część systemów decyzyjnych i kontrolnych w różnych zastosowaniach, m.in. w aplikacjach krytycznych dla bezpieczeństwa i ochrony, w takich obszarach jak pojazdy autonomiczne, energetyka, biometria czy medycyna. Wykorzystanie zaawansowanych technologii AI, np. głębokich sieci neuronowych (DNN), stwarza nowe możliwości, takie jak większa wydajność i dokładność w porównaniu z tradycyjnymi technologiami informatycznymi. Jednocześnie systemy sztucznej inteligencji stawiają nowe wyzwania w odniesieniu do takich aspektów jak etyka stosowanych rozwiązań, w szczególności dotyczących ochrony zdrowia i życia, a także bezpieczeństwo stosowanych rozwiązań algorytmicznych, niezawodność działania, pewność, solidność i wiarygodność.

O ile w obszarze wymagań etycznych zostały sformułowane pewne kryteria rozwoju i budowy takich systemów[1], o tyle brak jest ogólnie uzgodnionych ram w zakresie audytu systemów AI, w szczególności tych obejmujących koneksjonistyczne systemy AI[2], tj. systemy, które muszą być trenowane z wykorzystaniem uczenia maszynowego i danych. Przedmiotowe ramy audytu systemów AI powinny obejmować nie tylko strategie oceny, lecz także narzędzia i standardy. Obecnie takie narzędzia albo są dopiero w trakcie opracowywania[3], albo nie są jeszcze gotowe do praktycznego zastosowania. Tematyką audytowalności systemów AI zainteresował się również Federalny Urząd Bezpieczeństwa Teleinformatycznego (BSI) w Niemczech. Na bazie materiałów i dyskusji podczas warsztatów „Auditing AI-Systems. From Basics to Applications”, które odbyły się 6 października 2020 r. w Berlinie, wspólnie z innymi ośrodkami z Niemiec, Austrii, Wielkiej Brytanii i Szwajcarii opublikował dokument (whitepaper) zatytułowany „Towards Auditable AI Systems. Current status and future directions”[4].

Dokument ten podsumowuje możliwości i wyzwania związane z systemami AI, a następnie przedstawia stan wiedzy na temat ich audytowalności, ze szczególnym uwzględnieniem aspektów cyklu życia AI, uczenia online i utrzymania modelu w zmieniających się warunkach użytkowania (dryfu), ataków adwersarzy i ataków typu backdoor poisoning oraz obrony przed tymi atakami. W dokumencie podkreśla się, że pomimo znacznego postępu we wszystkich tych aspektach nadrzędnym otwartym zagadnieniem jest (często wieloaspektowy) kompromis pomiędzy pożądanymi cechami systemu AI, np. odpornością, bezpieczeństwem i możliwością kontroli, a cechami modelu SI, algorytmu ML, danych i dalszych warunków brzegowych. Kompromisy te ograniczają skalowalność i zdolność do uogólnień obecnych systemów AI.

W dokumencie tym podkreślono, że aby umożliwić rozwój i wykorzystanie technologii AI w bezpieczny, pewny, solidny i godny zaufania sposób, należy rozwijać dostępne technologie AI poprzez znaczące inwestycje w badania i rozwój. Wskazano, że niezbędnym dla rozwoju i wzrostu zaufania do tych technologii jest rzetelna i bardzo rygorystyczna weryfikacja wdrażanych do stosowania rozwiązań. Podkreślono, że aby to osiągnąć należy wypracować kryteria i standardy, które pozwolą ocenić zarówno jakość algorytmów w zakresie skuteczność uczenia się systemu, jak również jakość danych, które w procesie tym są wykorzystywane. Niezbędne jest ponadto zidentyfikowanie podatności systemów AI na różnorodne ataki oraz wypracowanie skutecznych sposobów ochrony przed nimi.

• Zasady etyczne dotyczące rozwoju i stosowania systemów AI

Jak już wspomniano, wytyczne w zakresie tworzenia godnych zaufania systemów AI przedstawiono w „Wytycznych w zakresie etyki dotyczących godnej zaufania sztucznej inteligencji”[5]. Wytyczne te podzielono na trzy grupy – od najbardziej abstrakcyjnych i ogólnych (grupa I) do bardzo konkretnych (grupa III).

I. Kluczowe wytyczne z grupy I obejmują zasady etyczne oraz powiązane z nimi wartości wynikające z praw podstawowych. Wytyczne te stanowią, że:

• Systemy AI należy opracowywać, wdrażać i wykorzystywać w sposób zgodny z następującymi zasadami etycznymi: poszanowanie autonomii człowieka, zapobieganie szkodom, sprawiedliwość i możliwość wyjaśnienia. Należy przy tym zdawać sobie sprawę z możliwości wystąpienia konfliktów między tymi zasadami i podejmować stosowne działania w tym zakresie.
• Należy zwracać szczególną uwagę na sytuacje wywierające wpływ na grupy wyjątkowo wrażliwe, takie jak dzieci, osoby z niepełnosprawnością i inne osoby, które z racji uwarunkowań historycznych znajdują się w mniej korzystnym położeniu lub które są narażone na ryzyko wykluczenia, a także na sytuacje, w których można zaobserwować występowanie zjawiska asymetrii władzy lub dostępu do informacji, np. w relacji między pracodawcami a pracownikami lub między przedsiębiorstwami a konsumentami[6].
• Należy uświadomić sobie i mieć na uwadze, że pomimo iż systemy AI przynoszą poszczególnym osobom i społeczeństwu znaczne korzyści, korzystanie z tych systemów może również wiązać się z określonym ryzykiem i wywoływać negatywne skutki, w tym takie, które mogą okazać się trudne do przewidzenia, zidentyfikowania lub zmierzenia (np. wpływ na demokrację, praworządność i sprawiedliwość dystrybutywną lub wpływ na sam umysł ludzki). Dlatego też w stosownych przypadkach należy przyjąć odpowiednie środki ograniczające to ryzyko – takie, które będą proporcjonalne do jego skali.

II. Zalecenia dotyczące sposobu, w jaki należy dążyć do osiągnięcia godnej zaufania sztucznej inteligencji. Zawierają one siedem wymogów, które powinny być spełnione przez systemy AI. Przy ich wdrażaniu można korzystać z metod zarówno technicznych, jak i pozatechnicznych. Zalecenia te są następujące:

• Należy zapewnić opracowywanie, wdrażanie i wykorzystywanie systemów AI zgodnie z wymogami dotyczącymi godnej zaufania sztucznej inteligencji: (a) przewodnia i nadzorcza rola człowieka, (b) solidność techniczna i bezpieczeństwo, (c) ochrona prywatności i zarządzanie danymi, (d) przejrzystość, (e) różnorodność, niedyskryminacja i sprawiedliwość, (f) dobrostan społeczny i środowiskowy oraz (g) odpowiedzialność.
• Należy rozważyć możliwość zastosowania odpowiednich metod technicznych i pozatechnicznych, aby zapewnić właściwe wdrożenie tych wymogów.
• Należy wspierać badania naukowe i innowacje, aby ułatwić ocenianie systemów AI oraz przyczynić się do zapewnienia zgodności z wymogami; w tym celu należy rozpowszechniać wyniki badań i zwracać się z pytaniami otwartymi do ogółu społeczeństwa, a także systematycznie szkolić nowe pokolenie ekspertów w dziedzinie etyki w zakresie budowy systemów AI.
• Należy w sposób przejrzysty i proaktywny przekazywać zainteresowanym stronom informacje na temat możliwości i ograniczeń systemu AI, umożliwiając ustanowienie realistycznego poziomu oczekiwań, a także informacje o sposobie zapewniania zgodności z ustanowionymi wymogami. Należy zapewnić przejrzystość w kwestii informowania zaangażowanych podmiotów o tym, że mają styczność z systemem AI.
• Należy dążyć do poprawy identyfikowalności i możliwości kontrolowania systemów AI, zwłaszcza w kontekstach lub sytuacjach o szczególnym znaczeniu.
• Należy zapewnić udział zainteresowanych stron przez cały cykl życia systemu AI. W tym celu należy wspierać organizowanie szkoleń i prowadzenie działalności edukacyjnej, aby zagwarantować, że wszystkie zainteresowane strony dysponują odpowiednią wiedzą na temat godnej zaufania sztucznej inteligencji i są odpowiednio przeszkolone w tym zakresie.
• Należy pamiętać o tym, że między poszczególnymi zasadami i wymogami może dochodzić do poważnych konfliktów. Dlatego też należy stale identyfikować, oceniać i dokumentować kompromisy wypracowane w tym zakresie oraz sposoby rozwiązywania wspomnianych rozbieżności i przekazywać stosowne informacje na ten temat.

III. W rozdziale III przedstawiono konkretną i niewyczerpującą listę kontrolną oceny godnej zaufania sztucznej inteligencji. Lista ta ma na celu zapewnienie odpowiedniego stosowania w praktyce wymogów ustanowionych w rozdziale II. Powinna ona spełniać następujące warunki:

• Systemy AI – możliwości i wyzwania

Technologia sztucznej inteligencji, rozpowszechniona już w wielu zastosowaniach, staje się coraz bardziej integralną częścią naszego świata i stanowi podstawę niezliczonych aplikacji wykorzystujących systemy decyzyjne lub sterujące. Systemy AI mogą składać się z wielu podsystemów, a każdy z nich może wykorzystywać różne technologie, które można podzielić na: klasyczną informatykę (cIT), symboliczną AI (sAI) opartą na bazach wiedzy w postaci drzew decyzyjnych oraz koneksjonistyczną AI (cAI) bazującą na sieciach neuronowych i uczeniu maszynowym. W niniejszym opracowaniu przedmiotem zainteresowania są głównie systemy cAI w postaci (głębokich) sieci neuronowych (DNN) i uczenia maszynowego (ML), ponieważ systemy cAI wykazują jakościowo nowe podatności na ataki i jak dotąd nie mogą być w wystarczającym stopniu kontrolowane za pomocą dostępnych narzędzi klasycznych technologii informatycznych (cIT). W wielu zastosowaniach obecne systemy sztucznej inteligencji znacznie przewyższają technologię cIT pod względem wydajności, doświadczenia użytkownika i kosztów. Pomimo tych i innych wspaniałych możliwości oferowanych przez technologię AI jej zastosowanie wiąże się z kilkoma wyzwaniami, do których należą: (a) wewnętrzne działanie sieci neuronowych (NN) – jest bardzo trudne do zinterpretowania przez człowieka z powodu ich wysoce połączonych nieliniowych elementów przetwarzających oraz (b) ogromne przestrzenie danych wejściowych i stanów. Ponadto wydajność NN jest w dużym stopniu zależna od ilości i jakości danych, ponieważ ich parametry muszą być trenowane przez algorytmy ML. Szkolenie NN nie przebiega zgodnie z dobrze zdefiniowanymi procesami projektowymi, NN wykazują jakościowo nowe podatności, często brak jest zaufania ze strony użytkowników. Mogą też być wykorzystywane jako potężne narzędzia przez atakujących.

W celu rozwiązania tych wyzwań bezpieczeństwa i ochrony AI obowiązkowe jest zatem uzyskanie głębszego wglądu w sposób funkcjonowania systemów AI i ustalenie, dlaczego w niektórych przypadkach działają one dobrze, ale w innych zawodzą oraz w jaki sposób mogą być atakowane i chronione przed atakami. Aby zdobyć zaufanie użytkowników, należy zagwarantować poprawne działanie systemu AI w realistycznie zdefiniowanych warunkach brzegowych. W przypadku „klasycznych” technologii takie gwarancje są wymagane prawnie w kilku dziedzinach, takich jak oprogramowanie sterujące samolotami, i muszą być regularnie kontrolowane. Naturalnym pytaniem jest, jak przenieść koncepcje i metody z klasycznej dziedziny IT do dziedziny AI, a w przypadku, gdy to nie wystarczy – jak uzupełnić je o nowe koncepcje i metody specyficzne dla AI. Jeżeli nie można zagwarantować prawidłowego działania w 100% przypadków, należy przedyskutować, czy dopuszczalne jest, aby systemy AI działały przynajmniej lepiej niż najnowocześniejsze systemy bez AI lub ludzie. W związku z tym należy przyjąć podejście oparte na ryzyku, określając ilościowo ryzyko awarii systemu, tj. koszt awarii pomnożony przez prawdopodobieństwo jej wystąpienia. Jeśli systemy AI zawodzą, przyczyny ich niepowodzeń muszą być wytłumaczalne. Ponieważ nie istnieją obecnie żadne ogólnie przyjęte standardy, kryteria oceny, metody i narzędzia do audytu systemów AI, pojawiają się następujące pytania: Jak audytować systemy AI? Które warunki brzegowe są optymalne, a które akceptowalne? Jakie metody, narzędzia i inne zasoby są potrzebne oprócz klasycznych audytów systemów IT lub ocen bezpieczeństwa? Jakie są ograniczenia audytu systemów AI? Jaki jest kompromis pomiędzy nakładem pracy a jakością audytu? W jaki sposób najlepiej wykorzystać dostępne zasoby w badaniach i rozwoju, aby uzyskać wyniki audytu systemów AI, które pozostaną ważne w szerokim zakresie warunków?

• Audytowalność systemu AI – dotychczasowe doświadczenia

Do najważniejszych elementów systemów AI, na które należy zwrócić uwagę podczas ich tworzenia i audytu, autorzy dokumentu „Towards Auditable AI Systems. Current status and future directions” zaliczyli ich szkolenie za pomocą algorytmów ML i danych, odporność na ataki, mechanizmy obrony, weryfikację, walidację, a także interpretowalność i standaryzację. Ponadto zwrócono uwagę, że na bezpieczeństwo systemów AI i ich ochronę może mieć wpływ:

• Jakość i ilość danych treningowych i testowych, gdyż wpływają one na wydajność i odporność systemu AI, a zatem również na bezpieczeństwo i ochronę.
• Wstępne przetwarzanie danych (lub selekcja cech). Działanie takie może być z jednej strony postrzegane jako krok w kierunku modularyzacji systemu AI, co może prowadzić do lepszej interpretowalności ze względu na zmniejszoną funkcjonalność każdego modułu AI. Z drugiej jednak strony może to być uważane za otwarcie nowego celu ataku, co w zależności od kontekstu może być korzystne lub nie dla zwiększenia bezpieczeństwa i ochrony.
• Regularyzacja, w tym penalizacja dużych wag poprzez funkcję błędu, może służyć do zapobiegania nadmiernemu dopasowaniu i może, w pewnych warunkach brzegowych, prowadzić bezpośrednio do większej odporności i pośrednio do zwiększenia bezpieczeństwa i ochrony systemu AI.

Dużym wyzwaniem dla zapewnienia bezpieczeństwa i ochrony, szczególnie w odniesieniu do systemów AI, jest również złożony cykl życia systemów cAI. Cykl ten podzielono na pięć faz (rys. 1): planowanie, dane, szkolenie, ocena i działanie. W praktyce fazy te nie są uporządkowane sekwencyjnie, ale deweloper wykorzystuje je w sposób iteracyjny i zwinny, np. ewaluacja jest często stosowana w trakcie rozwoju. Ponadto faza operacyjna obejmuje wyzwanie utrzymania modelu, w tym konieczność dostosowania modelu w przypadku pojawienia się nowych danych lub wymagań dla już używanego systemu cAI. Podobnie jak biologiczne sieci neuronowe, systemy cAI składają się zazwyczaj z dużej liczby prostych, ale silnie powiązanych ze sobą elementów przetwarzających (neuronów), które są zorganizowane w warstwy. Najnowocześniejsze systemy cAI, takie jak głębokie sieci neuronowe (DNNs, deep = wiele warstw), składają się z milionów elementów przetwarzających i synaps (połączeń) między nimi. Zakładając stałą architekturę neuronów, oznacza to, że systemy cAI mają często ponad 100 milionów parametrów, tj. wag synaptycznych i wartości biasów jednostek, które muszą być odpowiednio dostrojone. Ręczne ustawienie tych parametrów jest więc w prawie wszystkich przypadkach niemożliwe. Zamiast tego stosuje się techniki uczenia maszynowego, które automatycznie dostosowują parametry systemu na podstawie danych treningowych, funkcji błędu i reguł uczenia.

• Ataki i obrona

Sztuczna inteligencja nie jest bezpieczna z założenia, a w ostatnich latach udokumentowano szereg przykładów oszukiwania systemów AI[7]. Najważniejszymi podatnościami systemów AI w odniesieniu do celu, jakim jest bezpieczeństwo informacji, integralność celu i dążenie do utrzymania wiarygodnych i spójnych danych w całym cyklu życia systemu, są tzw. ataki adwersarskie lub unikowe występujące w fazie operacyjnej oraz ataki typu backdoor poisoning występujące w fazie treningowej. Te pierwsze polegają na zmianie decyzji systemu AI w fazie wnioskowania (lub działania) poprzez subtelne modyfikacje danych wejściowych modelu. Modyfikacje te są często niezauważalne dla ludzkiego oka i nazywane są również przykładami adwersarza. Podatność systemów cAI na ataki adwersarza wynika z tego, iż są one zbudowane na podstawie założenia, że dane treningowe są reprezentatywne dla przyszłych danych, czyli że dane wejściowe są rozłożone w sposób niezależny i identyczny. Jeżeli przestrzeń zadań nie jest bardzo ograniczona, założenie to prędzej czy później zostanie naruszone, co oznacza, że model wykazuje brak odporności. W ostatnim czasie zaproponowano wiele metod mających na celu ochronę głębokich sieci neuronowych przed atakami[8] lub wykrywanie takich ataków. Okazało się jednak, że wykrycie ataków adwersarza i niezawodna obrona przed nimi to bardzo trudne zadanie. Niemniej jednak środki obronne mogą zwiększyć wysiłek, jaki musi włożyć atakujący, aby przeprowadzić udany atak. Ponadto ostatnie prace nad wykrywaniem ataków adwersarzy są obiecujące, ponieważ gwarantują odporność na pewne ataki adaptacyjne. Te drugie natomiast (ataki backdoor poisoning) polegają na uszkodzeniu części danych treningowych w ukierunkowany sposób i zakłócenie zdolności modeli do generalizacji poprzez wstawianie niewłaściwych punktów danych w celu przesunięcia ich granicy decyzyjnej. Ataki te są trudne do wykrycia, a obrona przed nimi sprowadza się głównie do ochrony integralności modeli w całym cyklu życia systemu oraz zastosowania środków technicznych i organizacyjnych mających na celu ochronę otoczenia w fazie szkolenia, takich jak sprawdzanie programistów pod kątem bezpieczeństwa oraz ograniczony dostęp do magazynów danych i maszyn środowiska programistycznego i produkcyjnego, co utrudnia atakującym osiągnięcie sukcesu.

• Audyt bezpieczeństwa krytycznych systemów AI – obecne możliwości i narzędzia

Autorzy omawianego dokumentu stwierdzają, że w przypadku systemów AI, których awaria lub nieprawidłowe działanie może spowodować śmierć, utratę zdrowia lub inne poważne szkody dla ochrony mienia lub środowiska, konieczne jest wykazanie, że spełniają one określone wymagania. Najważniejsze z nich to pewna i przewidywalna odporność i niezawodność, których spełnienie uzasadnione powinno być zgodnością z odpowiednimi normami. Niestety w przypadku systemów cAI opartych na maszynowym uczeniu jest to poważny problem, gdyż brakuje sprawdzonych standardów, polityk i wytycznych dla takich nowych technologii. Nie da się natomiast w pełni do nich zastosować takich normatywnych standardów, jak IEC 61508-1:2010: Functional safety of electrical/electronic/programmable electronic safety-related systems. Part 1: General requirements (2010) czy ISO/TC 22/SC 32: ISO 26262-1:2018 Road vehicles – Functional safety (2018), które odnoszą się do rozwiązań tradycyjnych. Autorzy proponują w tym celu zastosowanie określonych rozwiązań, które nie są jednak kompletne i nie w każdym przypadku mogą być zastosowane. W konsekwencji stwierdzają oni, że obecnie nie jest możliwe przeprowadzenie pełnej kontroli systemów AI na poziomie weryfikacji formalnej. Narzędzia analizy statycznej mogą jednak być wykorzystane do zapobiegania propagacji błędów z kodu treningowego do algorytmu ML i pomóc w zapewnieniu podstawowego poziomu bezpieczeństwa systemu.

Pierwsze standardy, które obecnie pojawiają się w dziedzinie dotyczącej systemów AI, autorzy opracowania zebrali w tabeli 1:

• Priorytety w zakresie dalszych prac normalizacyjnych – podsumowanie

W podsumowaniu autorzy opracowania stwierdzają, że obecnie nie istnieje żaden powszechnie stosowany zestaw kryteriów i narzędzi pozwalających na zabezpieczenie systemów AI w taki sposób, aby za pomocą rygorystycznych środków można było wykazać wystarczająco niskie prawdopodobieństwo wystąpienia błędów. Zaznaczają, że istnieją dwie ogólne strategie pozwalające uzyskać możliwe do skontrolowania, bezpieczne i pewne systemy AI (por. rys. 2):

Strategie proponowane przez autorów w powyższym zakresie są następujące:

1. Stworzenie korzystnych warunków brzegowych dla danego zadania – odpowiednia edukacja programistów i użytkowników, jak również wystarczająca wymiana informacji pomiędzy obiema stronami pozwalają na jasne zdefiniowanie zadania i akceptowalnych warunków brzegowych. W połączeniu z późniejszą analizą ryzyka, która uwzględnia osadzenie systemu AI w większym systemie informatycznym i/lub robotycznym, będzie to stanowić podstawę do podejmowania świadomych wyborów w trakcie procesu rozwoju oraz wdrażania i eksploatacji systemu AI. W skrajnym przypadku twórca lub użytkownik może dojść do wniosku, że w danym przypadku użycia należy całkowicie zabronić stosowania technologii AI, np. ze względu na kwestie bezpieczeństwa. W przeciwnym razie, w zależności od przypadku użycia, ograniczenie przestrzeni zadań i złożoności modelu AI może pozwolić na lepszą możliwość kontroli oraz bardziej bezpieczny i pewny system AI.
2. Inwestowanie w badania i rozwój w celu rozwijania dostępnych technologii, aby ostatecznie umożliwić stworzenie bezpiecznych systemów AI pomimo złożonych warunków brzegowych, a tym samym poprawić skalowalność i zdolność do generalizacji. Badania te powinny obejmować: (a) opracowanie odpowiednich mierników we wszystkich aspektach systemów AI związanych z bezpieczeństwem i ochroną, (b) połączenie solidnych modeli i algorytmów wykrywania w celu odrzucenia potencjalnie złośliwych danych wejściowych przy jednoczesnym utrzymaniu wysokiego poziomu bezpieczeństwa, (c) włączenie ludzkich priorytetów poprzez np. modele hybrydowe w celu poprawy interpretowalności, (d) wydajne generowanie dużej liczby wysokiej jakości ataków jako podstawa do rozwoju skutecznych metod obrony, takich jak szkolenie adwersarzy, (e) generowanie dużej ilości wysokiej jakości realistycznych danych syntetycznych w celu utworzenia zbioru danych niezbędnych do szkolenia solidnych systemów AI, (f) połączenie realistycznych symulacji z ocenami w świecie rzeczywistym.

Obie ww. strategie w opinii autorów powinny być traktowane priorytetowo, przy czym w pierwszym etapie należy skupić się na wybranych przypadkach zastosowania, kluczowych dla bezpieczeństwa i ochrony. Należy wykorzystać dostępne standardy, wytyczne i narzędzia oraz promować interdyscyplinarną wymianę pomiędzy naukowcami i przemysłem w celu znalezienia najlepszych kombinacji dostępnych kryteriów i narzędzi dla osiągnięcia audytowalnych, bezpiecznych, pewnych i solidnych systemów AI dla konkretnego przypadku użycia. Te kryteria i narzędzia powinny być oceniane pod kątem ich praktycznych korzyści i wykonalności w odpowiednich przypadkach użycia. Wgląd w te przypadki użycia powinien zostać wykorzystany w drugim etapie do uogólnienia wyników i stworzenia modułowego zestawu narzędzi, który można następnie zastosować w innych przypadkach użycia. Na tej podstawie należy opracować najpierw wytyczne techniczne, a następnie normy. W idealnej sytuacji wynikiem będzie powszechnie stosowany zestaw kryteriów i narzędzi, który pozwoli na uczynienie systemów AI wystarczająco kontrolowanymi, bezpiecznymi i pewnymi.

[1] Ethics guidelines for trustworthy AI, raport grupy ekspertów wysokiego szczebla ds. sztucznej inteligencji, [online] https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai (dostęp: 28.05.2021).

[2] W. Duch, Architektury kognitywne, czyli jak zbudować sztuczny umysł, Katedra Informatyki Stosowanej, UMK, Toruń, [online] https://fizyka.umk.pl/publications/kmk/08-Architektury-kognitywne.pdf (dostęp: 28.05.2021).

[3] Auditing machine learning algorithms. A white paper for public auditors, Office of the Auditor General of Norway—together with data science colleagues from the SAIs of Finland, Germany, the Netherlands and the United Kingdom, [online] www.auditingalgorithms.net (dostęp: 28.05.2021).

[4] Towards Auditable AI Systems. Current status and future directions, BSI, [online] https://www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/KI/Towards_Auditable_AI_Systems.pdf?__blob=publicationFile&v=4 (dostęp: 28.05.2021).

[5] Ethics guidelines for trustworthy AI, raport grupy ekspertów wysokiego szczebla ds. sztucznej inteligencji, [online]: https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai (dostęp: 28.05.2021).

[6] Zob. art. 24–27 Karty praw podstawowych Unii Europejskiej (dalej: „Karta UE”) dotyczące praw dziecka i praw osób w podeszłym wieku, integracji osób niepełnosprawnych oraz praw pracowników. Zob. również art. 38 dotyczący ochrony konsumentów.

[7] B. Biggio, F. Roli, Wild patterns. Ten years after the rise of adversarial machine learning, arXiv cs.CV 1712.03141, 2017.

[8] A. Madry, A. Makelov, L. Schmidt, D. Tsipras, A. Vladu, Towards deep learning models resistant to adversarial attacks, ICLR 2017, 2017.