研究發(fā)現(xiàn)生成式人工智能尚無(wú)法可靠地讀取和提取醫(yī)療記錄中的臨床記錄信息
將來(lái),我們或許能夠使用大型語(yǔ)言模型 (LLM) 自動(dòng)讀取醫(yī)療記錄中的臨床記錄,并可靠高效地提取相關(guān)信息以支持患者護(hù)理或研究。但哥倫比亞大學(xué)梅爾曼公共衛(wèi)生學(xué)院最近的一項(xiàng)研究使用 ChatGPT-4 閱讀急診科入院記錄,以確定受傷的踏板車和自行車騎手是否戴了頭盔,結(jié)果發(fā)現(xiàn) LLM 尚無(wú)法可靠地做到這一點(diǎn)。該研究結(jié)果發(fā)表在JAMA Network Open 上。
在對(duì) 2019 年至 2022 年騎自行車、踏板車或其他微型交通工具時(shí)受傷的 54,569 名患者進(jìn)行急診就診的研究中,人工智能法學(xué)碩士 (AI LLM) 難以復(fù)制基于文本字符串搜索的方法從臨床記錄中提取頭盔狀態(tài)的結(jié)果。
只有當(dāng)提示包含基于文本字符串搜索的方法中使用的所有文本時(shí),LLM 才能表現(xiàn)良好。LLM 也很難在連續(xù)五天的每次試驗(yàn)中重復(fù)其工作,它在重復(fù)幻覺(jué)方面比在準(zhǔn)確工作方面做得更好。當(dāng)短語(yǔ)被否定時(shí),它尤其吃力,例如閱讀“w/o 頭盔”或“unhelmeted”并報(bào)告患者戴了頭盔。
大量醫(yī)學(xué)相關(guān)數(shù)據(jù)以書面臨床筆記的形式包含在電子病歷中,這是一種非結(jié)構(gòu)化數(shù)據(jù)。高效地讀取和提取這些筆記中的信息對(duì)于研究非常有用。
目前,可以使用簡(jiǎn)單的字符串匹配文本搜索方法或通過(guò)更復(fù)雜的基于人工智能 (AI) 的方法(例如自然語(yǔ)言處理)從這些臨床記錄中提取信息。人們希望新的 LLM(例如 ChatGPT-4)能夠更快、更可靠地提取信息。
哥倫比亞大學(xué)梅爾曼學(xué)院流行病學(xué)教授、資深作者 Andrew Rundle 博士表示:“雖然我們看到使用生成式 AI LLM 進(jìn)行信息提取任務(wù)可能會(huì)提高效率,但可靠性和幻覺(jué)問(wèn)題目前限制了它的實(shí)用性。”
“當(dāng)我們使用包含與頭盔相關(guān)的所有文本字符串的高度詳細(xì)的提示時(shí),ChatGPT-4 在某些日子可以從臨床記錄中提取準(zhǔn)確的數(shù)據(jù)。但是,定義和測(cè)試提示中必須包含的所有文本所需的時(shí)間以及 ChatGPT-4 無(wú)法日復(fù)一日地復(fù)制其工作,這表明 ChatGPT-4 尚未完成這項(xiàng)任務(wù)。”
Rundle 及其同事利用美國(guó)消費(fèi)品安全委員會(huì)國(guó)家電子傷害監(jiān)測(cè)系統(tǒng) 2019 年至 2022 年的公開數(shù)據(jù)(以 96 家美國(guó)醫(yī)院為樣本),分析了在電動(dòng)自行車、自行車、懸浮滑板和電動(dòng)滑板車事故中受傷患者的急診室記錄。他們將?? ChatGPT-4 對(duì)記錄的分析結(jié)果與使用更傳統(tǒng)的基于文本字符串的搜索生成的數(shù)據(jù)進(jìn)行了比較,并且對(duì)于 400 條記錄,他們將 ChatGPT 的分析與他們自己對(duì)記錄中臨床筆記的解讀進(jìn)行了比較。
這項(xiàng)研究建立在他們研究如何預(yù)防微型交通工具使用者(即騎自行車者、電動(dòng)自行車騎手、踏板車騎手)受傷的工作基礎(chǔ)之上。“頭盔的使用是傷害嚴(yán)重程度的一個(gè)關(guān)鍵因素,但在大多數(shù)急診科醫(yī)療記錄和事故報(bào)告中,有關(guān)頭盔使用的信息都隱藏在醫(yī)生或 EMS 受訪者撰寫的臨床筆記中。需要進(jìn)行大量研究才能可靠、高效地獲取這些信息,”該論文的主要作者、梅爾曼學(xué)院流行病學(xué)系博士后研究員凱瑟琳·伯福德 (Kathryn Burford) 說(shuō)。
“我們的研究考察了法學(xué)碩士從臨床筆記中提取信息的潛力,臨床筆記是醫(yī)療專業(yè)人員和研究人員的豐富信息來(lái)源,”蘭德爾說(shuō)。“但在我們使用 ChatGPT-4 時(shí),它無(wú)法可靠地為我們提供數(shù)據(jù)。”
合著者包括哥倫比亞大學(xué)梅爾曼公共衛(wèi)生學(xué)院的 Nicole G. Itzkowitz、哥倫比亞人口研究中心的 Ashley G. Ortega 和哥倫比亞社會(huì)工作學(xué)院的 Julien O. Teitler。
免責(zé)聲明:本文由用戶上傳,與本網(wǎng)站立場(chǎng)無(wú)關(guān)。財(cái)經(jīng)信息僅供讀者參考,并不構(gòu)成投資建議。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除!
- 研究發(fā)現(xiàn)雌激素在癌癥中起著隱藏的作用 抑制關(guān)鍵的免疫細(xì)胞
- 研究人員發(fā)現(xiàn)海馬體在熟練運(yùn)動(dòng)控制中發(fā)揮的意外作用
- 發(fā)現(xiàn)重要的血壓開關(guān) 某些細(xì)胞如何記得制造腎素
- 確定傷口愈合的關(guān)鍵分子靶點(diǎn)
- 研究人員發(fā)現(xiàn)免疫細(xì)胞在眼部健康中的新作用
- 生物學(xué)發(fā)現(xiàn)為年輕肉瘤患者改善預(yù)后打開了大門
- 可穿戴生物監(jiān)測(cè):用于持續(xù)穩(wěn)定監(jiān)測(cè)呼吸的傳感器
- 新療法可延長(zhǎng)老年小鼠的卵巢功能
-
6月25-28日,由中國(guó)進(jìn)出境生物安全研究會(huì)、中國(guó)國(guó)際旅行衛(wèi)生保健協(xié)會(huì)主辦,中國(guó)青年創(chuàng)業(yè)就業(yè)基金會(huì)支持,中國(guó)出入...瀏覽全文>>
-
胃腸鏡檢查,聽起來(lái)可能有些令人不安,但實(shí)際上,它可能是生活中的救命稻草。對(duì)于一些人來(lái)說(shuō),定期進(jìn)行胃腸鏡...瀏覽全文>>
-
6月16日-20日,2025年優(yōu)秀博士后研究人員(紹興)研學(xué)活動(dòng)順利舉行。本次活動(dòng)匯聚了來(lái)自全國(guó)各地的百余名博士后,...瀏覽全文>>
-
近日,天津松果生物醫(yī)療科技有限公司自主研發(fā)的牛跟腱來(lái)源去端肽I型膠原蛋白原材料成功通過(guò)國(guó)家藥品監(jiān)督管理局...瀏覽全文>>
-
在數(shù)字化產(chǎn)業(yè)轉(zhuǎn)型的浪潮奔涌之際,病理學(xué)正經(jīng)歷著前所未有的革新機(jī)遇。奧偉登(Evident)憑借百年光學(xué)技術(shù)積淀,以...瀏覽全文>>
-
6月6-8日,CHINAGUT 2025中國(guó)腸道大會(huì)在寧波國(guó)際會(huì)議中心隆重舉辦。大會(huì)由南京醫(yī)科大學(xué)第二附屬醫(yī)院、國(guó)家消化...瀏覽全文>>
-
在第28屆北京國(guó)際口腔展這一行業(yè)風(fēng)向標(biāo)級(jí)盛會(huì)上,北京易嶺生物科技有限公司(下面簡(jiǎn)稱易嶺生物)憑借重磅新品發(fā)...瀏覽全文>>
-
2025款上汽大眾ID 4 X在安徽阜陽(yáng)地區(qū)的售價(jià)會(huì)根據(jù)配置和選裝包有所不同。基礎(chǔ)版車型的廠商指導(dǎo)價(jià)大約在20萬(wàn)...瀏覽全文>>
-
嵐圖FREE,作為一款集豪華與智能于一體的新能源SUV,正以全新的姿態(tài)迎接每一位渴望高品質(zhì)出行的用戶?,F(xiàn)在,嵐...瀏覽全文>>
-
安徽阜陽(yáng)的大眾ARTEON 2022新款現(xiàn)已到店,最低售價(jià)從34 80萬(wàn)元起,無(wú)疑是近期購(gòu)車的最佳時(shí)機(jī)。這款車型以其...瀏覽全文>>