Pod koniec 2023 roku organy Unii Europejskiej zakończyły trójstronne negocjacje (tzw. trilogi) w sprawie projektu Aktu w sprawie sztucznej inteligencji (AI Act)[1]. Przedstawicielom Komisji, Parlamentu Europejskiego oraz Rady udało się dojść do porozumienia w sprawie AI Act, którego celem jest zapewnienie ochrony praw podstawowych, demokracji i praworządności w odniesieniu do wykorzystania rozwiązań sztucznej inteligencji na terytorium Unii Europejskiej, przy jednoczesnym pobudzaniu innowacyjności i uczynieniu Europy liderem w obszarze AI.

Stan prac nad AI Act

Informacja o zakończonych trilogach spotkała się z pozytywnym odbiorem. Zainteresowanie AI Act okazało się tak duże, że w poniedziałek 22 stycznia do Internetu „wyciekły” dwie nieoficjalne wersje jednolite rozporządzenia. Jedną z osób, które zdecydowały się na udostępnienie jednolitego tekstu AI Act, jest Luca Bertuzzi, redaktor ds. technologii Euractiv, który poinformował, że „biorąc pod uwagę ogromną uwagę opinii publicznej ws. AI Act podjąłem dość bezprecedensową decyzję o opublikowaniu ostatecznej wersji tekstu”[2]. Chwilę później skonsolidowaną wersję rozporządzenia opublikowała Laura Caroli, Starszy Doradca UE[3]. Następnie oficjalny tekst AI Act został jednogłośnie przyjęty na posiedzeniu ambasadorów w ramach Komisji Stałych Przedstawicieli Państw Członkowskich (COREPER) w dniu 2 lutego[4]. Głosowanie nad proponowanym tekstem AI Act w Komisjach Parlamentu Europejskiego (IMCO, LIBE) miało miejsce 13 lutego, a miesiąc później (na posiedzeniu plenarnym w dniu 13 marca) nad rozporządzeniem odbyło się głosowanie w Parlamencie Europejskim. Warto zatem wspomnieć o najnowszych ustaleniach dotyczących treści o AI z perspektywy sektora finansowego.

Zakazane systemy sztucznej inteligencji

Z uwagi na potencjalne zagrożenia dla praw obywateli, którzy korzystają z rozwiązań sztucznej inteligencji, unijni prawodawcy zdecydowali się na zamieszczenie w katalogu zakazanych systemów AI m.in.:

  • systemów kategoryzacji biometrycznej, wykorzystujących cechy wrażliwe;
  • systemów manipulujących ludzkim zachowaniem i wykorzystujących ludzkie słabości (z uwagi na wiek, niepełnosprawność czy sytuację społeczno-ekonomiczną);
  • systemów tzw. „social scoringu”, opartych o zachowania społeczne lub cechy osobiste;
  • systemów rozpoznających emocje w miejscu pracy i instytucjach edukacyjnych;
  • systemów dokonywania oceny ryzyka dot. osób fizycznych w celu ustalenia prawdopodobieństwa popełnienia przestępstwa (opartych wyłącznie na profilowaniu lub ocenie cech osoby fizycznej);
  • systemów AI pobierających w nieukierunkowany sposób (bez wskazywania celu takiego działania) obrazy twarzy z Internetu lub kamer CCTV w celu tworzenia baz danych służących rozpoznawaniu twarzy.

Dla wąskiego katalogu przypadków dotyczących egzekwowania prawa został przewidziany pewien wyjątek w odniesieniu do (zasadniczo zakazanych) systemów służących do zdalnej identyfikacji biometrycznej w przestrzeni publicznej. Możliwość stosowania takich systemów zostanie ograniczona do przypadków: poszukiwania ofiar niektórych przestępstw, zapobiegania zagrożeniom terrorystycznym, a także do celów zlokalizowania i identyfikacji osób podejrzanych o popełnienie przestępstw wskazanych w rozporządzeniu.

W kontekście instytucji finansowych można wskazać na dwa obszary, w których zakaz wykorzystywania ww. systemów będzie najbardziej zauważalny. Pierwszym z obszarów jest onboarding i kontakt z klientami, gdzie systemy sztucznej inteligencji mogłyby odciążyć personel, a co więcej wyeliminować ryzyko wystąpienia błędu ludzkiego. Podmioty finansowe będą musiały jednak wziąć pod uwagę, że w ramach procesu weryfikacji klienta nie będą mogły korzystać m.in. z systemów AI dokonujących kategoryzacji biometrycznej w oparciu o wrażliwe cechy klienta np. jego rasę lub płeć. W kontaktach z klientami za niedopuszczalne będzie także uznane korzystanie z systemów manipulujących ludzkim zachowaniem i wykorzystujących ludzkie cechy takie jak wiek czy niepełnosprawność. W związku z tym instytucje finansowe będą musiały ostrożnie dobierać systemy sztucznej inteligencji wykorzystywane w relacjach z klientami, tak aby nie naruszały one ich praw podstawowych i nie wpisywały się w powyższy katalog zakazanych praktyk.

Drugim obszarem, o którym warto wspomnieć, jest monitorowanie zachowań pracowników. W prawie krajowym kwestia ta została uregulowana chociażby w art. 222 Kodeksu pracy. Przepis ten wskazuje sytuacje, w których dopuszczalne jest stosowanie monitoringu pracowniczego. Stosowanie takiego rozwiązania mogłoby prowadzić do dyskryminacji pracowników, którzy z różnych przyczyn okazywaliby w pracy negatywne emocje, a w konsekwencji wpływać na perspektywy ich awansu lub wyniki oceny okresowej. Słuszny wydaje się zatem kierunek projektowanych przez ustawodawcę unijnego przepisów, zakazujących co do zasady stosowania systemów AI rozpoznających ludzkie emocje w miejscu pracy. Warto nadmienić, że wykorzystanie systemów rozpoznawania emocji w miejscu pracy ma być dopuszczalne w drodze wyjątku, tj. wyłącznie w celu zapewnienia bezpieczeństwa i ochrony zdrowia personelu.

Systemy sztucznej inteligencji wysokiego ryzyka

W zakresie systemów AI wysokiego ryzyka (tj. systemów mogących mieć znaczną szkodliwość dla zdrowia, bezpieczeństwa, praw podstawowych, środowiska, demokracji lub praworządności). Należy podkreślić, że wymóg przeprowadzenia obowiązkowej oceny wpływu systemów AI wysokiego ryzyka na prawa podstawowe obywateli UE będzie spoczywał m.in. na podmiotach sektora bankowego i ubezpieczeniowego. Do grona systemów AI wysokiego ryzyka, które mogą być wykorzystywane przez podmioty rynku finansowego, zostały zakwalifikowane m.in. systemy sztucznej inteligencji wykorzystywane do oceny zdolności kredytowej klientów. Jak wskazano w motywie 37 preambuły do AI Act: „w szczególności systemy sztucznej inteligencji wykorzystywane do przeprowadzania punktowej oceny kredytowej lub oceny zdolności kredytowej osób fizycznych należy klasyfikować jako systemy wysokiego ryzyka, ponieważ decydują one o dostępie tych osób do zasobów finansowych lub podstawowych usług, takich jak mieszkalnictwo, energia elektryczna i usługi telekomunikacyjne”. Oznacza to, że banki przed skorzystaniem z systemów AI służących do oceny zdolności kredytowej, będą musiały przeprowadzić ocenę tych systemów pod kątem ich wpływu na prawa podstawowe obywateli. W tym kontekście należy również pamiętać, że obywatelom UE zostanie zagwarantowane prawo do składania skarg na działanie systemów AI do właściwych organów nadzoru oraz do otrzymywania wyjaśnień dotyczących decyzji opartych na systemach sztucznej inteligencji wysokiego ryzyka. W związku z tym banki oraz zakłady ubezpieczeń, korzystające z ww. systemów, będą musiały wziąć pod uwagę ryzyko ewentualnych skarg oraz realizować obowiązek przedstawiania wyjaśnień w zakresie decyzji podjętych wobec swoich klientów w oparciu o systemy AI wysokiego ryzyka.

Warto również wspomnieć, że AI Act nakłada na użytkowników systemów sztucznej inteligencji wysokiego ryzyka szereg obowiązków związanych z ich użytkowaniem. Instytucje finansowe, które zdecydują się korzystanie z takich systemów, będą m.in. musiały:

  • użytkować systemy AI wysokiego ryzyka zgodnie z dołączoną do nich instrukcją obsługi;
  • monitorować działanie systemów AI wysokiego ryzyka oraz informować ich dostawcę lub dystrybutora o wszystkich zidentyfikowanych ryzykach i incydentach;
  • przechowywać rejestry zdarzeń wygenerowane automatycznie przez system sztucznej inteligencji w zakresie, w jakim te rejestry znajdują się pod ich kontrolą.
  • zapewnić, aby osoby fizyczne wyznaczone przez instytucję finansową do nadzorowania systemów sztucznej inteligencji wysokiego ryzyka posiadały niezbędne kompetencje, przeszkolenie i uprawnienia, a także niezbędne wsparcie;
  • prowadzić dzienniki logów generowanych automatycznie przez system sztucznej inteligencji wysokiego ryzyka w ramach dokumentacji prowadzonej zgodnie z odpowiednimi przepisami dotyczącymi usług finansowych.

Modele podstawowe

Z kolei w przypadku modeli podstawowych (foundation models), czyli obszernych systemów AI mogących wykonywać szeroki wachlarz zdań (tworzenie video, generowanie kodu komputerowego, tworzenie tekstu), konieczne będzie spełnienie wymogu transparentności. Będzie się on wiązał się z obowiązkiem sporządzania odpowiedniej dokumentacji technicznej, przestrzegania unijnego prawa autorskiego oraz udostępniania podsumowania treści wykorzystywanych przy szkoleniu takiego systemu. Zdecydowano się również na wprowadzenie nowego pojęcia – modeli podstawowych o wysokim wpływie (high impact foundation models), do których zalicza się modele podstawowe „trenowane” przy użyciu dużej ilości danych i które cechują się dużą wydajnością.

Wsparcie dla MŚP a rozwój FinTech

W AI Act podkreśla się także konieczność zapewnienia warunków do tworzenia systemów AI bez nadmiernej presji ze strony gigantów branżowych. W tym zakresie pożądane stanie się wykorzystywanie tzw. piaskownicy regulacyjnej (przykładowo regulatory sandbox udostępnionej przez UKNF) oraz przeprowadzanie testów w świecie rzeczywistym. Rozwiązanie to należy uznać za korzystne zarówno dla lokalnych (europejskich oraz krajowych) dostawców technologii, w tym dostawców świadczących usługi na rzecz sektora FinTech, jak również dla samych podmiotów nadzorowanych. Z jednej strony dostawcy systemów AI będą mogli w bezpiecznym środowisku przetestować projektowane przez siebie rozwiązania, a pomyślne wyniki testów przeprowadzanych w piaskownicy regulacyjnej pomogą zwiększyć atrakcyjność rynkową oferowanych przez nich usług. Z drugiej strony podmioty sektora finansowego będą mogły korzystać z usług sprawdzonych dostawców systemów AI, co może się przyczynić do poprawy poziomu bezpieczeństwa wykorzystywanych rozwiązań technologicznych.

Projektowane sankcje

Należy również pamiętać o tym, że nieprzestrzeganie wymogów AI Act może wiązać się z dotkliwymi sankcjami finansowymi, których wysokość może sięgać nawet do 35 mln EURO lub 7% całkowitego rocznego światowego obrotu (w przypadku naruszenia przepisów dot. zakazanych systemów AI). Kary finansowe nie będą nakładane jedynie na dostawców systemów AI, lecz również na użytkowników tych systemów, którzy będą korzystać z nich w sposób niezgody z przepisami. W związku z tym instytucje finansowe powinny uważnie dobierać stosowane przez siebie systemy AI oraz korzystać z nich w sposób zgodny z przepisami rozporządzenia.

Wejście AI Act w życie

Przed podmiotami rynku finansowego, które zamierzają wykorzystywać rozwiązania sztucznej inteligencji, stoi szereg wyzwań regulacyjnych do spełnienia. Co do zasady AI Act ma być stosowany po upływie 2 lat od jego wejścia w życie, przy czym przepisy dotyczące zakazanych systemów AI zaczną być stosowane już po upływie 6 miesięcy, a regulacje w zakresie modeli podstawowych po upływie 12 miesięcy od wejścia rozporządzenia w życie. Instytucje finansowe nie powinny zwlekać z rozpoczęciem prac ukierunkowanych na spełnienie nowych wymogów prawnych.

[1] Projekt rozporządzenia Parlamentu Europejskiego i Rady UE ustanawiający zharmonizowane przepisy dotyczące sztucznej inteligencji (Akt w sprawie sztucznej inteligencji) i zmieniające niektóre akty ustawodawcze Unii.

[2] https://www.linkedin.com/feed/update/urn:li:activity:7155091883872964608/.

[3] https://www.linkedin.com/posts/dr-laura-caroli-0a96a8a_ai-act-consolidated-version-activity-7155181240751374336-B3Ym/.

[4] https://www.linkedin.com/posts/luca-bertuzzi-186729130_ai-activity-7150519559496548354-YwTO/.