“我經(jīng)常思考和討論強(qiáng)大 AI 的風(fēng)險(xiǎn)……”

日前，Anthropic CEO Dario Amodei 在其個(gè)人博客中呼吁人們重視人工智能（AI）安全問題，“ 原則上 AI 可以幫助好人，也可以幫助壞人 ”，過于低估 AI 風(fēng)險(xiǎn)將成為“阻礙我們走向積極未來的唯一障礙”。事實(shí)上，在 AI 大模型技術(shù)快速發(fā)展、深度賦能各行各業(yè)的當(dāng)下，一系列復(fù)雜且不可忽視的安全風(fēng)險(xiǎn)也隨之而來。三位圖靈獎(jiǎng)得主 Geoffrey Hinton、Yoshua Bengio 和姚期智以及幾十位 AI 領(lǐng)域頂尖學(xué)者就曾在“AI 安全國(guó)際對(duì)話威尼斯共識(shí)”公開信中警告道，“ ‘災(zāi)難性的結(jié)果’隨時(shí)可能發(fā)生?！倍t(yī)療保健作為與所有人息息相關(guān)的領(lǐng)域，確保其中 AI 應(yīng)用的安全，避免“災(zāi)難性結(jié)果”、甚至“一些小錯(cuò)誤”都顯得更為關(guān)鍵。作為全球領(lǐng)先的醫(yī)療監(jiān)管機(jī)構(gòu)，美國(guó)食品藥品監(jiān)督管理局（FDA）對(duì) AI 新技術(shù)和產(chǎn)品的態(tài)度對(duì)全球醫(yī)療行業(yè)都有深遠(yuǎn)的影響。日前，F(xiàn)DA 的 Haider J. Warraich、Troy Tazbaz 和 Robert M. Califf 在JAMA（國(guó)際四大醫(yī)學(xué)期刊之一）上系統(tǒng)性回顧了 FDA 對(duì) AI 的監(jiān)管歷史，指出 AI 在醫(yī)療產(chǎn)品開發(fā)、臨床研究和臨床護(hù)理中的幾種潛在用途，并提出了在監(jiān)管系統(tǒng)適應(yīng) AI 獨(dú)特挑戰(zhàn)時(shí)值得考慮的概念。

尤其是，他們?cè)谖恼轮袑懙?，生成?AI 的應(yīng)用，如大語言模型（LLMs），是一個(gè)獨(dú)特的挑戰(zhàn)，因?yàn)樗锌赡墚a(chǎn)生不可預(yù)見的突發(fā)后果，亟需在這一領(lǐng)域進(jìn)行監(jiān)管創(chuàng)新，開發(fā)者、臨床醫(yī)生、衛(wèi)生系統(tǒng)領(lǐng)導(dǎo)者和監(jiān)管者之間的合作也至關(guān)重要。

FDA 如何監(jiān)管 AI 醫(yī)療產(chǎn)品？多年來，F(xiàn)DA 在應(yīng)對(duì) AI 技術(shù)發(fā)展方面一直扮演著至關(guān)重要的角色。作為首個(gè)批準(zhǔn)部分 AI 驅(qū)動(dòng)的醫(yī)療設(shè)備的監(jiān)管機(jī)構(gòu)，F(xiàn)DA 的歷史可追溯至 1995 年，當(dāng)時(shí)批準(zhǔn)了 PAPNET 軟件，旨在通過神經(jīng)網(wǎng)絡(luò)來防止宮頸癌誤診。雖然這一技術(shù)最初被認(rèn)為比人類病理學(xué)家更準(zhǔn)確，但由于成本效益不足，未能廣泛應(yīng)用。自那時(shí)以來，F(xiàn)DA 已經(jīng)批準(zhǔn)了大約 1000 種 AI 驅(qū)動(dòng)的醫(yī)療設(shè)備，尤其是在放射學(xué)和心臟病學(xué)領(lǐng)域。

圖｜FDA 授權(quán)銷售的 AI 醫(yī)療器械（按年份）（來源：該論文）

最近，F(xiàn)DA 的醫(yī)療產(chǎn)品中心描述了關(guān)于在醫(yī)療產(chǎn)品中開發(fā)和使用 AI 的 4 個(gè)重點(diǎn)領(lǐng)域 ：（1）促進(jìn)合作以保障公眾健康；（2）促進(jìn)協(xié)調(diào)標(biāo)準(zhǔn)、指南、最佳實(shí)踐和工具的制定；（3）推進(jìn)支持創(chuàng)新的監(jiān)管方法的開發(fā)；（4）支持與 AI 性能評(píng)估和監(jiān)測(cè)相關(guān)的研究。FDA 的監(jiān)管框架建立在以風(fēng)險(xiǎn)為基礎(chǔ)的策略之上，根據(jù)應(yīng)用的風(fēng)險(xiǎn)程度，在 AI 方面，可分為非監(jiān)管、部分監(jiān)管和高度監(jiān)管的醫(yī)療設(shè)備。FDA 注重采取靈活的監(jiān)管措施，例如通過生命周期管理方法，持續(xù)監(jiān)控 AI 驅(qū)動(dòng)設(shè)備的安全性和有效性。

圖 | AI 的整個(gè)產(chǎn)品生命周期方法（來源：該論文）

同時(shí)，F(xiàn)DA 也展示了對(duì)創(chuàng)新技術(shù)的開放態(tài)度，推出了例如“軟件預(yù)認(rèn)證試點(diǎn)計(jì)劃”等項(xiàng)目，為新興技術(shù)的發(fā)展鋪平道路。此外，F(xiàn)DA 與全球的監(jiān)管機(jī)構(gòu)保持合作，以推動(dòng) AI 最佳實(shí)踐的全球協(xié)調(diào)，尤其是在醫(yī)療設(shè)備領(lǐng)域。

AI 在醫(yī)療保健領(lǐng)域的應(yīng)用事實(shí)上，AI 為醫(yī)療產(chǎn)品開發(fā)的多個(gè)方面提供信息的潛力是深遠(yuǎn)的，并且已經(jīng)開展了較為豐富的應(yīng)用。而對(duì)于 FDA 而言，想要對(duì)此開展良好監(jiān)督與評(píng)估的前提是充分了解該技術(shù)應(yīng)用。目前，AI 在醫(yī)療保健領(lǐng)域的應(yīng)用主要集中于藥物開發(fā)與臨床研究?jī)煞矫?。在藥物開發(fā)方面，AI 正在徹底改變開發(fā)的各個(gè)階段。當(dāng)前，AI 已被廣泛應(yīng)用于藥物發(fā)現(xiàn)的早期階段，例如通過機(jī)器學(xué)習(xí)模型分析大規(guī)?；蚪M數(shù)據(jù)、預(yù)測(cè)藥物與靶標(biāo)的相互作用，從而加速潛在候選藥物的篩選與優(yōu)化。此外，AI 在藥物設(shè)計(jì)中也發(fā)揮著重要作用，特別是在通過計(jì)算預(yù)測(cè)化合物結(jié)構(gòu)和藥物活性之間的關(guān)系上，AI 大幅縮短了藥物開發(fā)的時(shí)間。AI 還可以通過分析時(shí)間序列數(shù)據(jù)以補(bǔ)充藥代動(dòng)力學(xué)和藥效學(xué)模型。未來，AI 在藥物開發(fā)中的潛在用途還包括優(yōu)化流程設(shè)計(jì)并實(shí)施高級(jí)流程控制、智能監(jiān)控以及維護(hù)和趨勢(shì)監(jiān)控，還能夠通過分析個(gè)體遺傳數(shù)據(jù)，設(shè)計(jì)出針對(duì)特定患者的定制化治療方案。在臨床研究方面，AI 正在迅速成為臨床研究中的關(guān)鍵推動(dòng)力。當(dāng)前，AI 主要用于提高臨床試驗(yàn)的效率和精度。例如，AI 可以通過大數(shù)據(jù)分析和自然語言處理（NLP）從臨床試驗(yàn)數(shù)據(jù)庫(kù)、試驗(yàn)公告、社交媒體、醫(yī)學(xué)文獻(xiàn)、登記庫(kù)以及登記處和電子健康記錄中的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中挖掘數(shù)據(jù)，將個(gè)人與試驗(yàn)相匹配，從而篩選合適的試驗(yàn)參與者，解決傳統(tǒng)臨床試驗(yàn)中受試者招募慢、代表性不足等問題。此外，AI 還能在臨床試驗(yàn)數(shù)據(jù)收集、管理和分析以及上市后安全監(jiān)測(cè)和評(píng)估等方面做出卓越貢獻(xiàn)。

AI 監(jiān)管亟待創(chuàng)新然而，隨著 AI 技術(shù)在醫(yī)療領(lǐng)域的廣泛應(yīng)用，F(xiàn)DA 面臨著新的挑戰(zhàn)，包括 AI 模型不斷進(jìn)化和技術(shù)應(yīng)用復(fù)雜性的增加使得監(jiān)管難度直線上升。這要求未來的監(jiān)管工作不僅需要確保技術(shù)的安全性和有效性，還需通過跨學(xué)科的合作與創(chuàng)新，積極應(yīng)對(duì) AI 技術(shù)帶來的潛在風(fēng)險(xiǎn)。FDA 已經(jīng)意識(shí)到傳統(tǒng)的靜態(tài)監(jiān)管方法不再適用 AI 的快速演進(jìn)，特別是對(duì)于生成式 AI 和大語言模型等新興技術(shù)，這些技術(shù)具有不可預(yù)見的潛在后果。例如，生成式 AI 在診斷、治療等領(lǐng)域雖能帶來巨大創(chuàng)新，但也存在潛在的錯(cuò)誤和偏見風(fēng)險(xiǎn)，如 AI 醫(yī)療記錄助手可能會(huì)錯(cuò)誤生成未經(jīng)討論的診斷。因此，需要為這些復(fù)雜 AI 模型開發(fā)專門的工具，評(píng)估其輸出的可靠性和安全性。現(xiàn)有的一些評(píng)估工具如 DeepEval 已經(jīng)顯示出一定的效果，但更深入的監(jiān)管創(chuàng)新仍是必要的。此外，文章指出，AI 模型的后續(xù)監(jiān)測(cè)與持續(xù)評(píng)估是保障其安全性的關(guān)鍵，AI 技術(shù)的表現(xiàn)受環(huán)境變化的影響較大，需要在其使用的臨床環(huán)境中進(jìn)行持續(xù)的實(shí)時(shí)監(jiān)控。未被監(jiān)控的 AI 系統(tǒng)可能在實(shí)際操作中產(chǎn)生重大危害，這一領(lǐng)域也急需新的管理工具和方法來應(yīng)對(duì)。因此，在監(jiān)管 AI 技術(shù)時(shí)，將更加注重長(zhǎng)期的效果監(jiān)測(cè)，并強(qiáng)調(diào)合作和透明度，以確保 AI 在醫(yī)療領(lǐng)域的創(chuàng)新安全和有效。三位作者在文末寫道： 所有相關(guān)部門都需要以謹(jǐn)慎和嚴(yán)謹(jǐn)?shù)膽B(tài)度對(duì)待人工智能這項(xiàng)可能帶來變革的技術(shù)。