發(fā)表在《醫(yī)學(xué)互聯(lián)網(wǎng)研究雜志》上的一篇新論文描述了 DALL-E 2 等生成模型(一種用于文本到圖像生成的新型深度學(xué)習(xí)模型)如何代表一種有前途的未來圖像生成、增強(qiáng)和操作工具衛(wèi)生保健。生成模型是否具有足夠的醫(yī)學(xué)領(lǐng)域知識(shí)來提供準(zhǔn)確有用的結(jié)果?Lisa C Adams 博士及其同事在他們最新的題為“DALL-E 2 對(duì)放射學(xué)了解多少?”的觀點(diǎn)中探討了這個(gè)話題。
DALL-E 2由 OpenAI 于 2022 年 4 月首次推出，是一種人工智能 (AI) 工具，因基于文本輸入生成新穎的逼真圖像或藝術(shù)品而廣受歡迎。DALL-E 2 的生成能力非常強(qiáng)大，因?yàn)樗呀?jīng)接受了互聯(lián)網(wǎng)上數(shù)十億個(gè)現(xiàn)有文本圖像對(duì)的訓(xùn)練。
為了了解這些功能是否可以轉(zhuǎn)移到醫(yī)療領(lǐng)域以創(chuàng)建或增加數(shù)據(jù)，來自德國和美國的研究人員檢查了 DALL-E 2 在創(chuàng)建和操作 X 射線、計(jì)算機(jī)斷層掃描 (CT)、磁共振成像 ( MRI)和超聲圖像。
該研究的作者發(fā)現(xiàn)，DALL-E 2 已經(jīng)學(xué)習(xí)了 X 射線圖像的相關(guān)表示，并顯示出文本到圖像生成的巨大潛力。具體來說，DALL-E 2 能夠根據(jù)簡(jiǎn)短的文本提示創(chuàng)建逼真的 X 射線圖像，但在給出特定的 CT、MRI 或超聲圖像提示時(shí)，它的表現(xiàn)就不太好。
它還能夠合理地重建放射圖像中缺失的方面。它可以做的更多——例如，僅使用一張膝蓋圖像作為起點(diǎn)，創(chuàng)建一張完整的全身 X 光片。然而，DALL-E 2 生成具有病理異常的圖像的能力有限。
標(biāo)簽：
免責(zé)聲明：本文由用戶上傳，如有侵權(quán)請(qǐng)聯(lián)系刪除！