Redaktor zdrowia
Główne nowe badanie wydało wyraźne ostrzeżenie o użyciu chatbotów AI w celu udzielania porad medycznych, ujawniając, że zwykłe osoby korzystające z najnowszych „lekarzy” mogą nadal nie wykryć poważnych chorób lub podejmować właściwe decyzje – pomimo samych botów zdobywających najwyższe oceny na egzaminach lekarskich.
Wiadomość pojawia się, gdy rząd ogłasza większe wykorzystanie sztucznej inteligencji w opiece zdrowotnej w ramach dziesięcioletniego planu.
W pierwszym na całym świecie próbie 1 298 członków społeczeństwa zostało poproszonych o zajęcie się dziesięcioma typowymi scenariuszami zdrowotnymi – takimi jak ból w klatce piersiowej lub problemy z brzuchem – przy użyciu wiodącego chatbota AI (takiego jak GPT -4O Chatgpt) lub tradycyjnych źródeł, takich jak Google lub strona internetowa NHS.
Boty, gdy są testowane samodzielnie, wykonywane imponująco – poprawnie identyfikując schorzenia w 95% przypadków. Ale kiedy prawdziwi ludzie używali ich do pomocy, wyniki były alarmująco słabe. Diagnoza była poprawna tylko w zaledwie 34,5 procent przypadków i przez większość czasu – 56 procent przypadków – podjęto tylko niepoprawną decyzję o tym, co robić (taka jak chodzenie na A&E lub pozostanie w domu).
Niepowodzenie, powiedzmy naukowcy z głównych instytucji akademickich, nie leży w wiedzy medycznej botów, ale w interakcji z ludźmi. Użytkownicy często podawali botom niekompletne lub niejasne informacje, podczas gdy boty, choć technicznie poprawne, nie wyjaśnili wyraźnie, co dalej.
Wyniki budzą poważne obawy dla rządów i firm technologicznych promujących sztuczną inteligencję w opiece zdrowotnej.
Robert Dingwall, profesor nauk społecznych na Uniwersytecie Nottingham Trent, powiedział: „To tylko jedno badanie, ale jest to przydatne przypomnienie, że to, co działa w modelach, symulacjach i wyobraźniach deweloperów technologii rzadko przenoszą się na prawdziwe życie. Departament Zdrowia i Opieki Społecznej powinien uważać na gospodarstwo na złoto Głupi”.
Profesor Carl Heneghan, dyrektor Centrum Medycyny Opartej na dowodach Uniwersytetu Oxford University, powiedział: „Lekarze muszą trenować przez dziesięć lat, aby być konsultantami, rozwijając doświadczenie i wiedzę specjalistyczną, aby rozpoznać poważne i zagrażające życiu choroby Mundane. Podczas gdy AI odgrywa rolę w takich obszarach, jak interpretacja prześwietleń i EKG, nie jest to zastąpienie na dokładną historię i badanie, gdy nadejdą Diagnozowanie. Jak pokazuje to badanie, szkoda pacjentów poszukujących diagnozy. ”
W ubiegłym tygodniu rząd opublikował swój 10-letni plan przeniesienia NHS z leczenia choroby na zapobieganie jej temu-strategia mocno zależna od narzędzi cyfrowych, aplikacji i sztucznej inteligencji w celu wzmocnienia pozycji pacjentów.
W manifestu opublikowanym w tym miesiącu stwierdził: „Plan wprowadzi go (NHS) do epoki cyfrowej, upewniając się, że pracownicy skorzystają z zalet i wydajności dostępnej z nowej technologii… Rząd będzie również korzystać z telefonii cyfrowej, więc wszystkie połączenia telefoniczne z praktykami GP zostaną szybko odbierane. Dla tych, którzy potrzebują tego, będą oni otrzymali konsultację cyfrową lub telefoniczną tego samego dnia”.
Ale te badania pokazują lukę między wydajnością AI w laboratorium a jej wykorzystaniem w prawdziwym świecie. Autorzy ostrzegają, że obecne punkty odniesienia wprowadzają w błąd i że narzędzia AI muszą być testowane nie tylko na wiedzę, ale także o tym, jak dobrze komunikują się z nie-ekspertami.
„Tylko dlatego, że chatbot może zdać egzamin lekarza, nie oznacza, że może ci pomóc, gdy będziesz chory”, powiedział jeden z leadów z badań. „To tak, jakby dać komuś stetoskop i spodziewać się, że przeprowadzą operację serca”.
Naukowcy twierdzą, że przyszłe narzędzia AI muszą być znacznie bardziej proaktywne – zadając jasne, prowadzenie pytań i aktywnie zarządzanie rozmową, zamiast polegać na użytkownikach, aby wiedzieć, jakie szczegóły są ważne.
Odkrycia odzwierciedlają wcześniejsze badania pokazujące, że nawet przeszkolone lekarze nie poprawia się w diagnozowaniu pacjentów z AI HECT. Teraz wiemy, że to samo dotyczy ogółu społeczeństwa.
Eksperci wzywają do rygorystycznych próby użytkowników przed wdrożeniem AI w opiece zdrowotnej, szczególnie jeśli chodzi o bezpośrednie porady pacjenta. Bez tego istnieje prawdziwe niebezpieczeństwo, że ludzie mogliby zostać uśpionym w fałszywym poczuciu bezpieczeństwa, odkładając wizytę u lekarza – lub niepotrzebnie spieszył się do A&E.
Departament Zdrowia i Opieki Społecznej Spokewo powiedział: Dzięki naszemu 10 -letniemu planowi zdrowotnemu obniżamy biurokrację w służbie zdrowia, zmniejszając uciążliwe zadania administracyjne i korzystanie z technologii, aby lekarze mogli spędzać czas na tym, co robią najlepiej – opiekując się pacjentami. Obejmuje to wdrażanie skrybów AI, aby zakończyć potrzebę notowania klinicznego, przygotowywania listu i wprowadzania danych ręcznych, aby klinicyści mogli skupić się na leczeniu pacjentów, oszczędzając w tym samym czasie, co dodanie 2000 więcej lekarzy do ogólnej praktyki.
„Zmniejszyliśmy również ilość powtarzających się obowiązkowych szkoleń, które są zobowiązani do wykonywania, a wraz z dostarczeniem drugiego powyżej wzrostu wynagrodzeń inflacji w tym roku, słuchaliśmy lekarzy, którzy ulepszają ich życie w pracy. Jest więcej do zrobienia, ale NHS poczyniło dobre postępy w zakresie małych zmian, które mają ogromny wpływ”.