Wstęp

21 kwietnia 2021 r. Komisja Europejska opublikowała projekt unijnego rozporządzenia w sprawie sztucznej inteligencji (Artificial Intelligence Act, dalej: „AIA”)[1], o którym wspomniano w czerwcowym wydaniu newslettera. Głównym celem rozporządzenia jest ustanowienie przepisów, które spowodują, że wprowadzane w UE systemy sztucznej inteligencji będą bezpieczne, przejrzyste, etyczne, bezstronne i w całym cyklu ich tworzenia i stosowania kontrolowane przez człowieka. W związku z tym w przeglądzie skoordynowanego planu w zakresie SI z 2021 r.[2] postanowiono, że Komisja i państwa członkowskie będą kontynuować współpracę z europejskimi organizacjami normalizacyjnymi (ESO), międzynarodowymi organizacjami rozwoju norm (SDO) i wszystkimi zainteresowanymi stronami, aby zapewnić terminowe przyjęcie norm zharmonizowanych, niezbędnych do operacjonalizacji wymogów i obowiązków przewidzianych w ramach prawnych dotyczących w szczególności systemów SI z grupy wysokiego ryzyka dla bezpieczeństwa ludzi lub ich praw podstawowych. Tematem niniejszego artykułu jest prezentacja norm europejskich i międzynarodowych w kontekście ich wykorzystania do oceny wymagań nałożonych przez projekt rozporządzenia AIA dla systemów sztucznej inteligencji z grupy wysokiego ryzyka, przedstawiona w raporcie Wspólnego Centrum Badawczego (JRC)[3] Komisji Europejskiej z 14 lipca 2021 r. zatytułowanym „Krajobraz normalizacji systemów SI. Stan obecny i powiązanie z propozycją KE dotyczącą ram regulacyjnych SI”[4]. W raporcie tym dokonano przeglądu działalności normalizacyjnej w zakresie systemów SI prowadzonej przez europejskie organizacje normalizacyjne (ESO) i międzynarodowe organizacje rozwoju norm (SDO) w celu identyfikacji możliwych luk i niedostatecznie rozwiniętych obszarów, a tym samym wniesienia wkładu do europejskiej mapy drogowej normalizacji w celu wdrożenia przedstawionego projektu rozporządzenia AIA.

1. Rola i rodzaje norm

Według Komisji Europejskiej norma jest definiowana jako „specyfikacja techniczna zatwierdzona przez uznaną instytucję normalizacyjną do wielokrotnego lub ciągłego stosowania, z którą zgodność nie jest obowiązkowa i która jest jedną z poniższych” (Komisja Europejska, 1998):

  • norma międzynarodowa: norma przyjęta przez międzynarodową organizację normalizacyjną i udostępniona publicznie;
  • norma europejska: norma przyjęta przez europejską organizację normalizacyjną i dostępna publicznie;
  • norma krajowa: norma przyjęta przez krajowy organ normalizacyjny i dostępna publicznie.

Zgodnie z rozporządzeniem nr 1025/2012 w sprawie normalizacji podstawowym celem norm jest określenie dobrowolnych specyfikacji technicznych lub jakościowych, z którymi mogą być zgodne obecne lub przyszłe produkty, procesy produkcyjne lub usługi. Normalizacja może obejmować różne kwestie, takie jak normalizacja różnych gatunków lub rozmiarów danego produktu czy specyfikacje techniczne na rynkach produktów lub usług, na których kompatybilność i interoperacyjność z innymi produktami lub systemami ma zasadnicze znaczenie. Normy dotyczące zrównoważonego rozwoju i bezpieczeństwa pomagają chronić ludzi i środowisko. W Europie normy pełnią szczególną funkcję: pomagają urzeczywistnić jednolity rynek, umożliwiają transformację cyfrową, zwiększają międzynarodową konkurencyjność i wspierają regulacje. W Unii Europejskiej tylko normy opracowane przez CEN, CENELEC i ETSI są uznawane za „normy europejskie” (rozporządzenie nr 1025/2012). Te europejskie organizacje normalizacyjne (ESO) pracują w interesie harmonizacji europejskiej, tworząc zarówno normy wymagane przez rynek, jak i normy zharmonizowane, wspierające prawodawstwo europejskie.

1.1. Normy de facto a normy de iure

Norma de facto to norma, która została powszechnie zaakceptowana (np. przez klientów/użytkowników lub przez rynek) i stała się dobrze ocenianą (lub popularną) normą dla swojego celu – nawet jeśli nie ma oficjalnego statusu. Akceptacja jest często oparta na udowodnionej skuteczności i niezawodności. Standardy de facto, które są akceptowane przez daną branżę, są również znane jako standardy branżowe lub zawodowe.

Normy de iure opisują praktykę, która jest formalnie uznana, niezależnie od tego, czy istnieje ona w rzeczywistości. Dlatego normy de iure (lub normy zgodne z prawem) to te, które zostały zatwierdzone przez oficjalne organizacje, takie jak ISO i IEEE. Normy te są krytycznie oceniane przed ich zatwierdzeniem. Przykładami norm sprzętowych de iure są USB, FireWire i HDMI.

Normy de facto mogą z czasem stać się normami de iure (tj. poprzez otrzymanie oficjalnego statusu od międzynarodowych organizacji rozwoju norm) – np. formaty HTML i PDF. HTML po raz pierwszy stał się normą de iure w 1995 r. dzięki wysiłkom normalizacyjnym prowadzonym przez Internet Engineering Task Force (IETF), a PDF stał się w 2008 r. normą ISO (ISO 32000-1).

1.2. Normy założycielskie a normy wdrożeniowe

Normy założycielskie lub podstawowe są zwykle bazą serii specyfikacji standardowych zdefiniowanych przez SDO. Prace te koncentrują się na tych aspektach, które wymagają wspólnego słownictwa, jak również uzgodnionych taksonomii i definicji. Ostatecznie normy te będą oznaczać, że praktyk może mówić tym samym językiem co regulator, a obaj mogą mówić tym samym językiem co ekspert techniczny. Na przykład prace ISO/IEC nad systemami SI obejmują szereg kluczowych obszarów obejmujących kwestie technologiczne, społeczne i etyczne. Ponieważ dotyczy to wielu różnych interesariuszy, istnieje potrzeba określenia punktu wyjścia poprzez wprowadzenie zestawu podstawowych norm.

Przykład: ISO/IEC DIS 22989 – Information technology – Artificial intelligence – Artificial intelligence concepts and terminology.

Dokument ustanawia terminologię dla sztucznej inteligencji (SI) i opisuje koncepcje w dziedzinie SI. Dokument może być wykorzystywany przy opracowywaniu innych norm oraz do wspierania komunikacji pomiędzy różnymi zainteresowanymi stronami/interesariuszami.

Normy wdrożeniowe różnią się od abstrakcyjnej specyfikacji norm założycielskich, ponieważ są one napisane dla bardziej technicznych odbiorców i szczegółowo opisują aspekty techniczne, takie jak struktura interfejsu pomiędzy komponentami oprogramowania.

Przykład: IEEE 802.3-2018 – IEEE Standard for Ethernet – Ethernet local area network operation is specified for selected speeds of operation from 1 Mb/s to 400 Gb/s using a common media access control (MAC) specification and management information base (MIB).

1.3. Specyfikacje horyzontalne i wertykalne

Podobnie jak w wielu innych dziedzinach normalizacji, mogą istnieć dwa poziomy działań normalizacyjnych: jeden zajmujący się ogólnymi kwestiami, które mają zastosowanie w sposób przekrojowy do kilku obszarów (poziomy), i drugi zajmujący się bardziej szczegółowymi kwestiami, istotnymi dla danego sektora działalności lub obszaru zastosowania (pionowy).

Specyfikacja horyzontalna zawiera podstawowe zasady, pojęcia, definicje i podobne informacje ogólne, które mają zastosowanie w wielu dziedzinach tematycznych.

Przykład: ISO/IEC AWI TR 24372 – Information technology – Artificial intelligence (AI) – Overview of computational approaches for AI systems.

Specyfikacja ma na celu przedstawienie przeglądu stanu wiedzy na temat podejść obliczeniowych dla systemów AI poprzez opisanie: a) głównych cech obliczeniowych systemów AI, b) głównych algorytmów i podejść stosowanych w systemach AI w odniesieniu do przypadków użycia zawartych w ISO/IEC TR 24030.

Specyfikacje pionowe natomiast mają na celu uwzględnienie obszarów specyficznych dla danego zastosowania lub sektora, a zatem koncentrują się jedynie na niezbędnych informacjach specyficznych dla danego zastosowania lub sektora. Specyfikacje takie mogą być jednak ponownie wykorzystane w innych sektorach, z ewentualną potrzebą adaptacji.

Przykład: ETSI DES/eHEALTH-008 – eHEALTH – Wymagania dotyczące rejestracji danych dla e-Zdrowia.

Celem pracy jest identyfikacja wymagań dotyczących rejestracji zdarzeń e-Zdrowia, tj. pochodzących z urządzeń e-Zdrowia opartych na ICT oraz od praktyków zdrowia. Przy założeniu, jak pokazano w dokumencie dotyczącym przypadków użycia i białej księdze, że dokumentacja zdrowotna podlega ograniczeniom w zakresie bezpieczeństwa i prywatności, ale jednocześnie musi być dostępna dla wielu różnych zainteresowanych stron w czasie i przestrzeni bez wcześniejszego rozpoznania, kim są te zainteresowane strony.

1.4. Zależności od norm

Specyfikacje norm zazwyczaj opierają się na innych już istniejących normach, aby zachować spójność, uniknąć konfliktów i powielania pracy. Implementacja standardu zwykle wymaga więc implementacji innych, bazowych standardów; te ostatnie, zwane standardami drugiego poziomu, mogą być z kolei powiązane z innymi, bazowymi itd. W związku z tym wyróżnia się:

  • normy pierwszego poziomu: normy, o których wdrożenie organizacja jest proszona i które powszechnie opierają się na innych istniejących (drugiego poziomu) normach (specyfikacjach);
  • normy drugiego poziomu: normy, o których wdrożenie organizacja może być poproszona, ponieważ są one podstawą do wdrożenia innej normy – np. normy pierwszego poziomu.

2. Metodologia badań przyjęta przez autorów raportu

Mając na uwadze, że dziedzina technologii informacyjnych (ICT) i zarządzania jakością związana z procesami sztucznej inteligencji jest dość rozległa, a tym samym dziedzina normalizacji systemów SI jest obszerna, autorzy badania przyjęli następującą metodologię:

Krok 1. Gromadzenie norm dotyczących systemów SI. Zebranie istniejących badań ankietowych związanych z normalizacją SI poprzez bezpośredni dostęp do portali i dokumentów ESO i międzynarodowych SDO oraz zebranie informacji od ekspertów ds. normalizacji.

Krok 2. Analiza wysokiego poziomu i mapowanie do wymagań AIA (dopracowanie populacji norm). Analiza zebranego zbioru norm dotyczących SI i kategoryzacja różnych typów norm na de iure i de facto, fundamentalne i wdrożeniowe oraz specyfikacje horyzontalne i wertykalne.

Dalsze dopracowanie listy zebranych norm według trzech kryteriów:

  • uwzględnienie norm dotyczących zagrożeń związanych ze sztuczną inteligencją;
  • uprzywilejowanie horyzontalnych norm wdrożeniowych pochodzących od międzynarodowych SDO w stosunku do norm założycielskich i wertykalnych;
  • uwzględnienie norm pierwszego poziomu.

Krok 3. Dogłębna analiza i mapowanie do wymagań AIA (oszacowanie wskaźników operacjonalizacji i przydatności mniejszej grupy norm). Systematyczna analiza pełnego tekstu mniejszej grupy odpowiednich norm (tj. tych, które zostały rozpoznane w wyniku wysokopoziomowego mapowania) i oszacowanie, na ile są one odpowiednie (obecnie) do operacjonalizacji celów technologicznych leżących u podstaw wymagań zawartych w AIA.

Krok 4. Analiza wyników przydatności i operacjonalizacji (rozpoznanie luk). Na podstawie poziomu operacyjności i przydatności oszacowanego wcześniej dla każdej dogłębnie przeanalizowanej normy rozpoznaje się ewentualne luki (i niedostatecznie reprezentowane wymagania AIA). W ten sposób sformułowane zostaną wstępne zalecenia.

Schematycznie zastosowana metodologia przedstawiona została na rys. 1.

Rys. 1. Ogólna metodologia przyjęta w celu zidentyfikowania najistotniejszych norm, rozpoznania luk i przedstawienia zaleceń.

3. Wymagania rozporządzenia AIA i obowiązujące normy

Zebrane w pierwszym kroku badań normy dotyczące systemów SI zostały poddane analizie i zmapowane do wymagań systemów SI wysokiego ryzyka określonych w rozporządzeniu AIA. Główne wymagania, według których dokonano mapowania zebranego zestawu norm, znajdują się poniżej w tabeli 1.

Temat wymagania Opis wykonawczy
Dane i zarządzanie danymi Systemy SI wysokiego ryzyka, które wykorzystują techniki obejmujące szkolenie modeli przy użyciu danych, są opracowywane na podstawie zbiorów danych szkoleniowych, walidacji i testowania zbiorów danych, które spełniają wymagany zestaw kryteriów jakości.
Dokumentacja techniczna Dokumentacja techniczna systemu SI jest sporządzana przed wprowadzeniem tego systemu na rynek lub do użytku i jest aktualizowana. Dokumentację techniczną sporządza się w taki sposób, aby wykazać, że system SI wysokiego ryzyka jest zgodny z wymaganiami AIA.
Prowadzenie rejestru zdarzeń Systemy SI wysokiego ryzyka projektuje się i opracowuje w taki sposób, aby zawierały funkcję umożliwiającą automatyczne rejestrowanie zdarzeń („rejestry zdarzeń”) podczas działania tych systemów. Funkcja rejestracji zdarzeń musi być zgodna z uznanymi normami lub wspólnymi specyfikacjami.
Przejrzystość i udostępnianie informacji użytkownikom Systemy SI wysokiego ryzyka projektuje się i opracowuje w sposób zapewniający wystarczającą przejrzystość ich działania, umożliwiającą użytkownikom interpretację wyników działania systemu i ich właściwe wykorzystanie. Zapewnia się odpowiedni rodzaj i stopień przejrzystości w celu osiągnięcia zgodności z odpowiednimi obowiązkami użytkownika i dostawcy określonymi w rozdziale 3 AIA.
Nadzór ze strony człowieka Systemy SI wysokiego ryzyka projektuje się i opracowuje w sposób zapewniający odpowiedni interfejs człowiek–maszyna, aby w okresie jego wykorzystywania mógł on być skutecznie nadzorowany przez człowieka.
Dokładność, solidność i cyberbezpieczeństwo Systemy SI wysokiego ryzyka projektuje się i opracowuje w taki sposób, aby osiągały, z uwagi na ich przeznaczenie, odpowiedni poziom dokładności, solidności i cyberbezpieczeństwa oraz działały konsekwentnie pod tymi względami w całym cyklu życia.
Zarządzanie ryzykiem System SI wysokiego ryzyka w ramach kontroli wewnętrznej wymaga pełnej, skutecznej i odpowiednio udokumentowanej ex ante oceny zgodności z wszystkimi wymogami rozporządzenia AIA oraz z solidnymi systemami zarządzania jakością i ryzykiem, a także monitorowania po wprowadzeniu do obrotu. System zarządzania ryzykiem dla tych systemów powinien być ustanowiony, wdrożony, udokumentowany i utrzymywany w całym cyklu użytkowania.
System zarządzania jakością Dostawcy systemów SI wysokiego ryzyka wprowadzają system zarządzania jakością, który zapewnia zgodność z AIA. Dostawca powinien ustanowić skuteczny system zarządzania jakością, zapewnić przeprowadzenie wymaganej procedury oceny zgodności, sporządzić odpowiednią dokumentację i ustanowić solidny system monitorowania po wprowadzeniu do obrotu.
Tabela 1. Główne wymagania dla systemów SI wysokiego ryzyka określone w projekcie rozporządzenia AIA. Źródło: S. Nativi, S. De Nigris S., AI standardisation landscape state of play and link to the EC proposal for an AI regulatory framework, JRC Ispra, Italy 2021.

Wyniki przeprowadzonego mapowania w podziale na rodzaje norm (ISO oraz ISO/IEC JTC 1, IEEE, ETSI oraz ITU-T) przedstawiono poniżej w tabeli 2.

Wymaganie AIA Dane i zarządzanie danymi System zarządzania ryzykiem Dane tech. i rejestr zdarzeń Przejrzystość i dostęp do informacji Nadzór ze strony człowieka Dokładność, solidność i cyberbezpieczeństwo System zarządzania jakością
ISO oraz ISO/IEC JTC 1 ISO/IEC 25024; ISO/IEC 5259; ISO/IEC 24668 ISO/IEC 4213; ISO/IEC 25059; ISO/IEC 24029-2 ISO/IEC 5338; ISO/IEC 5469; ISO/IEC 24368; ISO/IEC 24372; ISO/IEC 24668 ISO/IEC 24027; ISO/IEC 24028; ISO/IEC 5338; ISO/IEC 24368; ISO/IEC 24372; ISO/IEC 24668; ISO/IEC 4213   ISO/IEC 24027; ISO/IEC 24028; ISO/IEC 24029; ISO/IEC 5469 ISO/IEC 23894; ISO/IEC 38507; ISO/IEC 42001; ISO/IEC 25059
IEEE   ECPAIS Bias; IEEE P7002; IEEE P7003; IEEE P7004; IEEE P7005; IEEE P7006; IEEE P7009; IEEE P2801; IEEE P2807; IEEE P2863 IEEE P7009; IEEE P2807; IEEE P2846 ECPAIS Transparency; IEEE P7000; IEEE P7001; IEEE P7006; IEEE P2801; IEEE P2802; IEEE P2807; IEEE P2863; IEEE P3333.1.3 ECPAIS Bias; ECPAIS Transparency; ECPAIS Accountability; IEEE P7000; IEEE P7001; IEEE P7003; IEEE P7004; IEEE P7005; IEEE P7007; IEEE P7008; IEEE P7009; IEEE P7011; IEEE P7012; IEEE P7014; IEEE P2863; IEEE P3652.1 ECPAIS Accountability; ECPAIS Transparency; IEEE P7000; IEEE P7006; IEEE 7010; IEEE P7014; IEEE P2863 ECPAIS Transparency; IEEE P7007; IEEE P7009; IEEE P7011; IEEE P7012; IEEE P2802; IEEE P2807; IEEE P2846; IEEE P2863; IEEE P3333.1.3 IEEE 2801; IEEE P2863; IEEE P7000
ETSI   DES/eHEALTH-008; GR CIM 007; GS CIM 009; ENI GS 001; GR NFV-IFA 041; DGR SAI 002; TR 103 674; TR 103 675; TS 103 327; TS 103 194; TS 103 195.2; SAREF Ontologies GS ARF 003; GR CIM 007; ENI GS 005; GR NFV-IFA 041; DGS SAI 003; EG 203 341; TS 103 194; TS 103 195.2; TR 103 821 DES/eHEALTH-008; ENI GS 005; DGR SAI 002, SAREF Ontologies; GR CIM 007; GS CIM 009 DES/eHEALTH-008; GS CIM 009; DGR SAI 002; SAREF Ontologies DES/eHEALTH-008; DGR SAI 005 GS ARF 003; GR CIM 007; ENI GS 001; ENI GR 007; DGR SAI 001; DGR SAI 002; DGS SAI 003; GR SAI 004; GS ZSM 002; TR 103 674; TR 103 675; TS 103 327; GS 102 181; GS 102 182  
ITU-T ITU-T Y.3170; ITU-T Y.MecTA-ML; ITU-T Y.3531; ITU-T Y.3172; ITU-T H.CUAV-AIF; ITU-T F.VS-AIMC; ITU-T Y.4470; Y.Supp.63 to ITU-T Y.4000 series ITU-T Y.qos-ml-arc; ITU-T Y.3172; ITU-T H.CUAV-AIF; ITU-T F.VS-AIMC; ITU-T Y.4470   ITU-T Y.4470   ITU-T Y.3170; ITU-T Y.qos-ml-arc; ITU-T Y.MecTA-ML; ITU-T Y.3531; ITU-T Y.3172; ITU-T H.CUAV-AIF; ITU-T F.VS-AIMC; ITU-T Y.4470  
Tabela 2. Wykaz norm dotyczących wymagań określonych w AIA dla systemów SI wysokiego ryzyka (normy już opublikowane są pogrubione). Źródło: S. Nativi, S. De Nigris S., AI standardisation landscape state of play and link to the EC proposal for an AI regulatory framework, JRC Ispra, Italy 2021

Jak wynika z przedstawionego wyżej wykazu, większość powołanych norm jest w trakcie opracowywania – zakończenie prac przewiduje się na lata 2021–2023. Przyporządkowanie poszczególnych norm do wymagań określonych w AIA, przedstawione w tabeli 2, dokonane zostało na podstawie streszczeń tych norm i ogólnego opisu wymagań. Jest to zatem odwzorowanie bardzo uogólnione, które nie uwzględnia pewnych szczegółów, w tym struktury i opisu prawnego poszczególnych wymogów AIA.

4. Dogłębna analiza norm i ocena ich przydatności

W kolejnej części raportu autorzy przedstawili wyniki systematycznej analizy poszczególnych norm w celu oszacowania, na ile są one odpowiednie i przydatne do określenia stopnia spełnienia wymagań AIA. To odwzorowanie, nazywane operacjonalizacją, polegało na przyporządkowaniu pewnych wskaźników dopasowania określonych norm do oceny zgodności systemu SI z wymaganiami AIA według schematu przedstawionego na rys. 2.

Rys. 2. Działania związane z szacowaniem operacjonalizacji, norm w zakresie ich przydatności do oceny zgodności systemów SI z wymaganiami AIA. Źródło: S. Nativi, S. De Nigris, AI standardisation landscape state of play and link to the EC proposal for an AI regulatory framework, JRC Ispra, Italy 2021.

Badania przeprowadzono, przekształciwszy zbiór wymagań określonych w projekcie rozporządzenia AIA w formie nieustrukturyzowanego tekstu do postaci wykonawczej składającej się z zestawu hierarchicznie uporządkowanych wymagań cząstkowych (ang. subrequirements) oznaczonych skrótami SR.#.# (np. SR.1 lub SR.1.1). Ostatecznie wyróżniono 24 takie podwymagania, do których wygenerowano reprezentatywne słowa kluczowe służące do eksploracji danych i wydobycia istotnych treści z analizowanych norm. Dogłębna analiza skoncentrowana została głównie na normach ISO/IEC zarządzanych przez JRC1/SC42 (sztuczna inteligencja). Podkomitet ten opracował specjalną normę (w fazie zapytania) dotyczącą „Koncepcji i terminologii sztucznej inteligencji” (tj. ISO/IEC DIS 22989). Norma ta definiuje SI zarówno z inżynierskiego, jak i dziedzinowego (tematycznego) punktu widzenia. Jest to norma fundamentalna, do której odnoszą się inne normy ISO dotyczące SI. Zgodnie z obecnym projektem ISO/IEC DIS 22989 SI to „zestaw metod lub zautomatyzowanych jednostek, które wspólnie budują, optymalizują i stosują model tak, aby system mógł, dla danego zestawu predefiniowanych zadań, obliczyć przewidywania, zalecenia lub decyzje. Systemy SI są zaprojektowane do działania z różnymi poziomami automatyzacji”.

W wyniku przeprowadzonych badań dla każdej analizowanej normy wygenerowano kartę przedstawiającą odpowiednie wartości operacjonalizacji i przydatności do oceny zgodności systemu SI z wymaganiami określonymi w AIA. W dalszej części dla każdego z tych wymagań przedstawiono graficznie na wykresach radarowych cztery grupy norm charakteryzujących się zakresami odległości od celu, jakimi są te wymagania. Dla poszczególnych grup przyjęto następujące zakresy poziomu operacjonalizacji (p.o.):

  • G1– bardzo wysoki poziom operacjonalizacji danego wymagania (p.o. ≥ 0,7);
  • G2 – wysoki poziom operacjonalizacji danego wymagania (0,5 ≤ p.o. <0,7);
  • G3 – średni poziom operacjonalizacji danego wymagania (0,25 ≤ p.o. < 0,5);
  • G4 – niski poziom operacjonalizacji danego wymagania (0,125 ≤ p.o. < 0,25).

Przykładowy diagram radarowy poziomów operacjonalizacji charakteryzujących analizowane normy w celu wsparcia wymagania AIA, jakim jest przejrzystość i udostępnianie informacji użytkownikom, przedstawiono na rys. 3.

Rys. 3. Diagram radarowy poziomów operacjonalizacji charakteryzujących analizowane normy w celu wsparcia wymagania AIA „Przejrzystość i informacja dla użytkowników”.

5. Ogólne ustalenia

W trakcie badań szczegółowej analizie poddano 22 normy zarządzane przez ISO/IEC i ETSI. Tylko trzy z nich zostały ocenione jako nieistotne dla operacjonalizacji (jednego lub więcej) wymagań AIA. Czternaście norm spisało się dobrze, osiągnąwszy wysoki lub bardzo wysoki poziom operacjonalizacji przynajmniej dla jednego wymagania AIA. W przypadku pięciu z ośmiu wymagań AIA diagramy radarowe wykrywają standardy o bardzo wysokim poziomie operacjonalizacji (większym lub równym 0,7). Te wymagania to: „Przejrzystość i informacje dla użytkowników”, „Nadzór ludzki”, „Dokładność, solidność i bezpieczeństwo cybernetyczne”, „System zarządzania ryzykiem” oraz „System zarządzania jakością”.

W przypadku pozostałych trzech wymagań (tj. „Dane i zarządzanie danymi”, „Dokumentacja techniczna” oraz „Prowadzenie dokumentacji”) na diagramach wykryto standardy o wysokim poziomie operacjonalizacji (od 0,5 do 0,7).

Wszystkie normy o bardzo wysokim wskaźniku operacjonalizacji to specyfikacje ISO/IEC. Standardy ETSI, charakteryzujące się dobrą wartością operacjonalizacji, interesuje przede wszystkim kilka wymagań: „Dane i zarządzanie danymi” oraz „Dokładność, solidność i bezpieczeństwo cybernetyczne”. Jest to zgodne z trzema kluczowymi obszarami, na których skupia się ETSI SAI (Securing Artificial Intelligence): wykorzystanie AI do zwiększenia bezpieczeństwa, łagodzenie ataków wykorzystujących AI oraz zabezpieczenie samej AI przed atakami.

Na uwagę zasługuje to, że chociaż w przypadku normy ISO/IEC 24372 rozpoznano wiele istotnych punktów, ich treść nie została uznana za efektywną dla operacjonalizacji wymagań AIA. Jest to zgodne z typologią i dojrzałością dokumentu, który jest projektem raportu technicznego.

Cztery normy charakteryzują się bardzo wysokim poziomem operacjonalizacji (ISO/IEC 5338; ISO/IEC 5469; ISO/IEC 4213; ISO/IEC 24029-1). W szczególności ISO/IEC 5469 daje wyniki wyjątkowo bliskie celom dwóch wymagań: „Dokładność, solidność i cyberbezpieczeństwo” oraz „System zarządzania ryzykiem”. Na podstawie badań ustalono, że norma ISO/IEC 24029-1 ma bardzo wysoką wartość operacjonalizacji dla wymagania „Dokładność, solidność i cyberbezpieczeństwo”, ale całkowita wartość wskaźnika operacjonalizacji jest niska z powodu jego bardzo małego wpływu na wszystkie inne wymagania.

Autorzy badania nie oczekiwali, że znajdą normę, która obejmuje wszystkie wymagania. Dlatego standardy o wysokiej operacjonalizacji dla jednego wymagania są niezwykle istotne dla regulacji AIA. Rozważania te doprowadziły do zdefiniowania grupy określonej jako „Normy istotne z punktu widzenia operacjonalizacji”.

6. Wnioski i zalecenia

Przeprowadzona przez autorów raportu analiza wykazała, że istnieje wiele odpowiednich norm (już opublikowanych lub będących w przygotowaniu). Dlatego też operacjonalizacja wymagań AIA może opierać się na istniejących już opracowaniach. W tabeli przedstawiono zestawienie odpowiednich norm dla kluczowych wymagań AIA (pogrubioną czcionką zaznaczono normy już opublikowane lub w ostatecznej wersji projektu).

Wymaganie Bardzo wysoki / wysoki poziom operacjonalizacji
Dane i zarządzanie danymi ISO/IEC TS 4213, ISO/IEC 5259-2, ISO/IEC 5259-3, ISO/IEC 5259-4, ISO/IEC 5338, ISO/IEC 5469, ISO/IEC 23894.2, ISO/IEC 24027, ISO/IEC 24029-1, ISO/IEC 24668, ISO/IEC 38507, ISO/IEC 42001, ETSI SAI 002, ETSI SAI 005
Dokumentacja techniczna ISO/IEC 23894.2, ISO/IEC 24027, ISO/IEC 42001
Prowadzenie rejestru zdarzeń ISO/IEC 23894.2
Przejrzystość i informowanie użytkowników ISO/IEC 23894.2, ISO/IEC 24027, ISO/IEC 24028, ISO/IEC 38507, ISO/IEC 42001
Nadzór ze strony człowieka ISO/IEC 23894.2, ISO/IEC 38507, ISO/IEC 42001
Dokładność, solidność i cyberbezpieczeństwo ISO/IEC TS 4213, ISO/IEC 5338, ISO/IEC 5469, ISO/IEC 23894.2, ISO/IEC 24029-1, ISO/IEC 24668, ISO/IEC 42001, ETSI SAI 002, ETSI SAI 003, ETSI SAI 005, ETSI SAI 006
Zarządzanie ryzykiem ISO/IEC 5338, ISO/IEC 5469, ISO/IEC 23894.2, ISO/IEC 38507, ISO/IEC 42001
System zarządzania jakością ISO/IEC 5259-3, ISO/IEC 5259-4, ISO/IEC 5338, ISO/IEC 23894.2, ISO/IEC 24029-1, ISO/IEC 38507, ISO/IEC 42001

Obliczenie wskaźników operacjonalizacji pozwoliło na rozpoznanie znaczących luk na poziomie niektórych podwymagań AIA, w szczególności w przypadku następujących wymagań: „Dane i zarządzanie danymi”, „Dokumentacja techniczna” oraz „Zarządzanie systemem ryzyka”. Stwierdzono trzy luki w wymaganiach cząstkowych:

  • wymaganie 1: „Dane i zarządzanie danymi” → SR.2: Systemy AI wysokiego ryzyka niewykorzystujące technik obejmujących szkolenie modeli (tj. praktyki zarządzania i praktyki zarządzania danymi);
    • wymaganie 2: „Dokumentacja techniczna” → SR.2: System AI wysokiego ryzyka (tj. istnienie tylko jednego pliku dokumentacji technicznej);
    • wymaganie 7: „System zarządzania ryzykiem” → S.4: Wiek użytkownika (tj. dostępność dla dzieci).

W wyniku analizy zidentyfikowano ponadto grupę 12 zasadniczych norm (rys. 4) w zakresie operacyjności/dostosowania, istotnych z punktu widzenia 8 wymogów zawartych w AIA.

Rys.4. Zależność między grupami norm istotnych z punktu widzenia operacjonalizacji i dostosowania.

Przyjęto, że do obecnych celów zasadniczą normę można zdefiniować jako normę, która w znaczący sposób przyczynia się do wdrożenia jednego lub więcej wymogów AIA. Ponadto określono podstawową grupę norm, która obejmuje sześć norm ISO/IEC. Odpowiada ona przecięciu zbiorów tworzących grupy przydatności i operacjonalizacji podstawowych norm. Obecnie normy te okazały się najistotniejszymi elementami roboczymi, na których należy się skupić w celu wdrożenia aktu AIA i uwzględnienia obaw różnych zainteresowanych stron.

Należy zauważyć, że w przypadku konkretnych wymagań lub podwymagań normy (inne niż zasadnicze) mogą mieć również wysoki/dobry wynik operacjonalizacji; te ostatnie normy pozostają w nietrywialnej relacji z zestawem uznanych norm zasadniczych, ponieważ różne specyfikacje są zazwyczaj opracowywane niezależnie. W związku z tym, jako że nie są one zaprojektowane w sposób spójny, normy istotne mogą lokalnie pokrywać się z mniej istotnymi, a także przedstawiać różne oblicza tej samej koncepcji – mogą być do pewnego stopnia komplementarne.

Autorzy przeprowadzonych badań zapowiedzieli, że w kolejnych iteracjach sprawozdania grupa zasadniczych norm zostanie prawdopodobnie uzupełniona o inne (do końca 2023 r. ma zostać opublikowanych ok. 50 norm dotyczących SI), które mogą przyczynić się do wypełnienia niektórych istniejących luk. Podobnie jak w przypadku analizy i mapowania wysokiego poziomu, w najbliższej przyszłości szczegółowej ocenie zostaną poddane normy IEEE i ITU-T.

Ostatecznie na podstawie przeprowadzonej analizy sformułowano następujące zalecenia dla Komisji w celu wspierania pracy nad normami użytecznymi dla wdrażania systemów SI:

  • Stałe monitorowanie rozwoju odpowiednich prac roboczych związanych z normalizacją, w tym określonych w analizowanym raporcie.
  • Zaangażowanie się i współpraca z odpowiednimi organizacjami normalizacyjnymi (zwłaszcza EON) i komitetami normalizacyjnymi wskazanymi w niniejszym badaniu, zwłaszcza w celu poprawy adekwatności norm i pracy nad zidentyfikowanymi lukami na podstawie metodologii i wniosków przedstawionych w raporcie.
  • Regularne aktualizowanie przedstawionego raportu w celu odzwierciedlenia bieżącego rozwoju normalizacji SI oraz ewolucji europejskich ram regulacyjnych w zakresie wdrażania systemów SI (AIA). Zaleca się zastosowanie wprowadzonej dogłębnej metodologii (w szczególności opracowanej nadzorowanej procedury analitycznej) do analizy przyszłego rozwoju uznanych norm – i oceny oczekiwanej poprawy w zakresie operacjonalizacji projektu rozporządzenia AIA.

[1] Proposal for a regulation of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act) and amending certain union legislative acts; https://eur-lex.europa.eu/legal-content/EN/TXT/?qid=1623335154975&uri=CELEX%3A52021PC0206 (dostęp: 26.10.2021).

[2] Coordinated Plan on Artificial Intelligence 2021 Review; https://digital-strategy.ec.europa.eu/en/library/coordinated-plan-artificial-intelligence-2021-review (dostęp: 26.10.2021).

[3] JRC (Joint Research Centre) – jedna z Dyrekcji Generalnych Komisji Europejskiej, której celem jest zapewnienie, zgodnie z potrzebami klientów, wsparcia naukowego i technicznego dla koncepcji, rozwoju, wdrażania i monitorowania polityki Unii Europejskiej.

[4] S. Nativi, S. De Nigris, AI Watch, AI standardisation landscape state of play and link to the EC proposal for an AI regulatory framework, JRC Ispra, Italy 2021.