Witryna Chatbot Character.ai odcina nastolatkom możliwość rozmów z wirtualnymi postaciami po tym, jak spotkała się z ostrą krytyką dotyczącą rodzaju interakcji młodych ludzi z towarzyszami online.
Założona w 2021 r. platforma służy milionom osób do rozmów z chatbotami napędzanymi sztuczną inteligencją (AI).
Jednak w USA grozi mu kilka procesów sądowych ze strony rodziców, w tym jeden w związku ze śmiercią nastolatka, a niektórzy nazywają to „jasne i aktualne niebezpieczeństwo„do młodych ludzi.
Teraz Character.ai twierdzi, że od 25 listopada osoby poniżej 18 roku życia będą mogły generować wyłącznie treści, takie jak filmy ze swoimi postaciami, zamiast z nimi rozmawiać, jak obecnie.
Firma stwierdziła, że wprowadza zmiany po „raportach i opiniach organów regulacyjnych, ekspertów ds. bezpieczeństwa i rodziców”, które uwydatniły obawy dotyczące interakcji jej chatbotów z nastolatkami.
Eksperci ostrzegali już wcześniej, że chatboty AI mogą zmyślać, nadmiernie zachęcać i udawać empatię, co może stanowić ryzyko dla młodych i bezbronnych osób.
„Dzisiejsze oświadczenie jest kontynuacją naszego ogólnego przekonania, że musimy w dalszym ciągu budować najbezpieczniejszą platformę sztucznej inteligencji na świecie do celów rozrywkowych” – powiedział BBC News szef Character.ai Karandeep Anand.
Powiedział, że bezpieczeństwo sztucznej inteligencji jest „ruchomym celem”, ale firma przyjęła do tego „agresywne” podejście kontrola rodzicielska i poręcze.
Grupa ds. bezpieczeństwa w Internecie Internet Matters z zadowoleniem przyjęła to ogłoszenie, ale stwierdziła, że od początku należało wdrożyć środki bezpieczeństwa.
„Nasze własne badania pokazują, że dzieci są narażone na szkodliwe treści i narażone na ryzyko podczas korzystania ze sztucznej inteligencji, w tym chatbotów” – stwierdzono.
Wezwał „platformy, rodziców i decydentów”, aby dopilnowali, aby doświadczenia dzieci korzystające ze sztucznej inteligencji były bezpieczne.
Character.ai był w przeszłości krytykowany za udostępnianie potencjalnie szkodliwych lub obraźliwych chatbotów, z którymi dzieci mogą rozmawiać.
Awatary podszywające się pod brytyjską nastolatkę Briannę Ghey, która została zamordowana w 2023 r., i Molly Russell, która odebrała sobie życie w wieku 14 lat po obejrzeniu w Internecie materiałów o samobójstwie, odkryto na stronie w 2024 roku zanim zostaną zdjęte.
Później, w 2025 r., Biuro Dziennikarstwa Śledczego (TBIJ) znalazło chatbota opartego na pedofilu Jeffreyu Epsteinie, który zarejestrował ponad 3000 rozmów z użytkownikami.
– poinformował outlet awatar „Bestie Epstein” nadal flirtował ze swoim reporterem, gdy ten powiedział, że jest dzieckiem. Był to jeden z kilku botów oznaczonych przez TBIJ, które następnie zostały usunięte przez Character.ai.
Anand powiedział, że firma skupiła się na zapewnieniu nastolatkom „jeszcze głębszych funkcji rozgrywki (i) opowiadania historii poprzez odgrywanie ról” – dodanie ich byłoby „znacznie bezpieczniejsze niż to, co mogliby zrobić z botem o otwartym końcu”.
Pojawią się również nowe metody weryfikacji wieku, a firma sfinansuje nowe laboratorium badawcze nad bezpieczeństwem sztucznej inteligencji.
Ekspert ds. mediów społecznościowych Matt Navarra powiedział, że jest to „sygnał alarmowy” dla branży sztucznej inteligencji, która przechodzi „od innowacji niewymagających zezwolenia do regulacji pokryzysowych”.
„Kiedy platforma, która zapewnia nastolatkom wrażenia, a potem wyłącza wtyczkę, oznacza to, że filtrowane czaty nie wystarczą, gdy siła emocjonalna technologii jest silna” – powiedział BBC News.
„Tu nie chodzi o slajdy z treścią. Chodzi o to, jak boty AI naśladują prawdziwe relacje i zacierają granice dla młodych użytkowników” – dodał.
Navarra powiedział również, że dużym wyzwaniem dla Character.ai będzie stworzenie angażującej platformy sztucznej inteligencji, z której nastolatki nadal będą chciały korzystać, zamiast przechodzić na „mniej bezpieczniejsze alternatywy”.
Tymczasem dr Nomisha Kurian, która badała bezpieczeństwo sztucznej inteligencji, stwierdziła, że „rozsądnym posunięciem” jest ograniczenie korzystania przez nastolatków z chatbotów.
„Pomaga oddzielić kreatywną zabawę od bardziej osobistych, emocjonalnie wrażliwych wymian” – stwierdziła.
„Jest to niezwykle ważne dla młodych użytkowników, którzy wciąż uczą się przekraczać granice emocjonalne i cyfrowe.
„Nowe rozwiązania Character.ai mogą odzwierciedlać fazę dojrzewania w branży sztucznej inteligencji – bezpieczeństwo dzieci jest coraz częściej uznawane za pilny priorytet odpowiedzialnych innowacji”.
