 "AI, sztuczna inteligencja")
Test został zaprojektowany zgodnie z tekstem ustawy o AI. (Zdjęcie: Shutterstock)
Według danych Reutersa niektórym czołowym modelom sztucznej inteligencji brakuje europejskich regulacji w kluczowych obszarach, takich jak odporność na cyberbezpieczeństwo i skutki dyskryminacji.
UE długo debatowała nad nowymi przepisami dotyczącymi sztucznej inteligencji, zanim OpenAI udostępniło publicznie ChatGPT pod koniec 2022 r. Rekordowa popularność i publiczna debata na temat rzekomych zagrożeń egzystencjalnych związanych z takimi modelami zachęciły prawodawców do stworzenia szczegółowych przepisów dotyczących sztucznej inteligencji „ogólnego przeznaczenia” (GPAI).
Kliknij tutaj, aby połączyć się z nami na WhatsApp
Teraz nowe narzędzie zaprojektowane przez szwajcarski start-up LatticeFlow i partnerów i wspierane przez urzędników Unii Europejskiej przetestowało modele generatywnej sztucznej inteligencji opracowane przez duże firmy technologiczne, takie jak Meta i OpenAI, zgodnie z szerszym prawodawstwem Wspólnoty dotyczącym sztucznej inteligencji, które ma zostać wprowadzone stopniowo w ciągu obowiązywać przez następne dwa lata
Przypisując każdemu modelowi ocenę od 0 do 1, tabela wyników opublikowana w środę przez LatticeFlow pokazała, że modele stworzone przez Alibaba, Anthropic, OpenAI, Meta i Mistral uzyskały ocenę 0,75 lub wyższą.
Jednak firmowe narzędzie „Large Language Model (LLM) Checker” ujawniło pewne błędy modelu w kluczowych obszarach, wskazując obszary, w których firmy mogą potrzebować przesunąć zasoby, aby zapewnić zgodność.
Firmom, które nie przestrzegają prawa dotyczącego sztucznej inteligencji, grożą kary w wysokości do 35 milionów euro (38 milionów dolarów) lub 7 procent światowego rocznego obrotu.
Mieszane wyniki
Obecnie UE nadal próbuje ustalić, w jaki sposób przepisy prawa dotyczące sztucznej inteligencji będą stosowane w odniesieniu do generatywnych narzędzi sztucznej inteligencji, takich jak ChatGPT, i wzywa ekspertów do opracowania kodeksu postępowania w celu uregulowania tej technologii do wiosny 2025 r.
Jednak test LatticeFlow, opracowany we współpracy z naukowcami ze szwajcarskiego uniwersytetu ETH Zurich i bułgarskiego instytutu badawczego INSAIT, zapewnia wczesny wskaźnik konkretnych obszarów, w których firmy technologiczne mogą nie przestrzegać prawa.
Na przykład dyskryminacja stanowi stały problem w opracowywaniu generatywnych modeli sztucznej inteligencji, odzwierciedlających ludzkie uprzedzenia dotyczące płci, rasy i innych obszarów, gdy zostanie o to poproszony.
Podczas testowania wyników dyskryminacyjnych narzędzie sprawdzające LLM LatticeFlow przyznało „GPT-3.5 Turbo” OpenAI stosunkowo niski wynik 0,46. W tej samej kategorii model „Qwen1.5 72B Chat” Alibaba Cloud uzyskał zaledwie 0,37.
Testując pod kątem „szybkiego przejęcia”, czyli rodzaju cyberataku, w którym hakerzy ukrywają złośliwą zachętę jako uzasadnioną w celu wydobycia poufnych informacji, firma LLM Checker Mater przyznała modelowi „Llama 2 13B Chat” wynik 0,42. W tej samej kategorii model „instrukcja 8x7B” francuskiego startupu Mistral otrzymał ocenę 0,38.
„Claude 3 Opus”, model stworzony przez wspieraną przez Google firmę Anthropic, uzyskał najwyższą średnią ocenę 0,89.
Test został zaprojektowany zgodnie z tekstem ustawy o sztucznej inteligencji i będzie rozszerzany o kolejne środki egzekwowania prawa w miarę ich wprowadzania. Latticeflow powiedział, że narzędzie do sprawdzania LLM będzie dostępne bezpłatnie dla programistów, aby mogli sprawdzić zgodność swoich modeli online.
Dyrektor generalny i współzałożyciel firmy, Petar Sankov, powiedział agencji Reuters, że wyniki testów były ogólnie pozytywne i przedstawił firmom plan działania dotyczący dostosowania swoich modeli do ustawy o sztucznej inteligencji.
„UE nadal pracuje nad wszystkimi kryteriami zgodności, ale już dostrzegamy pewne luki w modelach” – stwierdził. „Uważamy, że dzięki większemu skupieniu się na optymalizacji pod kątem zgodności dostawcy modeli mogą być lepiej przygotowani do spełnienia wymogów regulacyjnych”. Meta odmówił komentarza. Alibaba, Anthropic, Mistral i OpenAI nie odpowiedziały natychmiast na prośby o komentarz.
Chociaż Komisja Europejska nie może zweryfikować narzędzi zewnętrznych, agencja była informowana na każdym etapie prac nad LLM Checker i określiła to jako „pierwszy krok” we wdrażaniu nowych przepisów.
Rzecznik Komisji Europejskiej powiedział: „Komisja z zadowoleniem przyjmuje tę platformę badań i oceny modeli sztucznej inteligencji jako pierwszy krok w przełożeniu unijnych przepisów dotyczących sztucznej inteligencji na wymagania techniczne”.
(Jedynie nagłówek i obraz tego raportu mogły zostać przerobione przez pracowników Działu Standardów Biznesowych; reszta treści jest generowana automatycznie z syndykowanego źródła danych.)
Pierwsza publikacja: 16 października 2024 | 12:11 JEST
