国际关注 | JAMA Health Forum：行业顶尖专家提出监管生成式人工智能医疗工具的新框架

近期发表于JAMA Health Forum的一篇观点文章中，多位行业专家指出，有针对临床实践中采用的生成式人工智能（AI）工具应建立一套监管框架，该框架应参照人类临床医生的培训和认证模式，包括持续学习、定期评估和监督下的实践¹。

谷歌全球数字健康战略与监管高级总监Bakul Patel以及波士顿哈佛大学陈曾熙公共卫生学院David Blumenthal指出，现有的医疗器械监管框架“难以”评价生成式AI工具在临床实践中的安全性和有效性。此外，在上市前审批过程中评价生成式AI工具的所有可能交互场景不切实际，同时上市前评价也无法涵盖该工具上市后的全部行为。

作者建议通过一套类似于人类临床医生培训、评估及终身专业监管的体系来监管临床上采用的生成式AI，特别强调：“这并非监管方案，而是一种监督机制。”

作者表示，该框架将把生成式AI视为“一种新型智能，而非传统医疗器械，并将参照社会上确保人类智能在医疗保健领域胜任力的做法来构建。”

作者解释道，尽管医师认证并非监管临床实践中生成式AI的“字面意义上的蓝图”，但该框架“应能确保该技术达到人类临床医生在独立执业培训过程中必须达到的绩效标准。”

Patel和Blumenthal表示，在将生成式AI引入临床实践的过程中，该AI工具可通过传统认证考试达到与人类临床医生相同的标准，接受类似住院医师项目的专家临床医生监督，并随时间推移通过持续学习进行再培训和认证。

在实施该框架之前，利益攸关方必须考虑诸多因素，例如庞大的研发需求、通过公立-私营部门合作模式为监管和认证流程提供资金，以及建立具备医学和技术能力来培训生成式AI工具的组织。

此外，还需明确由哪个实体负责临床生成式AI工具的认证、持续评估和监管。这既可由FDA负责，也可由一个理论上的临床生成式AI公立-私营部门合作国家审查委员会负责，该委员会拥有对临床生成式AI进行认证或撤销认证的权限。

Patel和Blumenthal表示：“临床（生成式AI）的独特特性要求采取创新的新方法，以确保其在应用于现实世界中的临床问题时是安全、有效、值得信赖的。任何此类方法都需要大量开发工作，并需要私营和公共部门的各类利益攸关方通力合作，尽管如此，由于相关技术正日益影响临床医生和患者的日常工作与生活，对临床（生成式AI）予以监管的需求十分迫切。”

关于生成式AI的思路转变

FDA数字医疗咨询委员会成员、Visana Health公司首席临床创新官Chevon Rariy在接受专业媒体采访时表示，Patel和Blumenthal的提案“反映了我们在思考AI在临床护理中的作用和应用方面发生的重要转变，尤其是对于生成式AI，生成式AI会随着时间推移而演变，使用得越多，就越能动态地生成新信息。”

Rariy解释道，尽管评估AI的传统监管框架侧重于固定任务，但生成式AI却有所不同。随着生成式AI的学习、变化和适应，以及该工具在不同临床场景中的应用，将需要持续的监测和监督。

Rariy表示：“将监管工作更多地视为临床医生培训，包括结构化评估、监督使用和持续再认证，这表明我们认识到这些工具更像学习系统，而非静态设备，这种持续评估最终可能必不可少，以确保这些技术在长期使用中保持安全、有效并具有临床相关性。”

Rariy认为，建立生成式AI监管体系“需要所有利益攸关方进行实质性协调，并在不同人群、地区和医疗场景中进行严格的临床验证，尤其要关注学术医疗中心以外的场景，包括社区医疗点、居家护理和虚拟医疗环境。”

“挑战在于构建既能实现持续监测与改进，又不阻碍创新的基础设施。鉴于生成式AI进入医疗领域的速度，制定新的监管方法是应当积极探索的当务之急。”Rariy强调。人类监督仍至关重要，该技术无法取代“稳健的临床判断”或多年的医学培训、教育和经验。

Rariy表示：“然而，仅靠医生的监督是不够的。如今的临床医生早已精疲力尽、人手紧缺——要求他们审核AI系统产生的每一项输出结果、偏见和不准确之处，既不现实，从长远来看也难以持续，这就是为什么即使临床医生参与了决策过程，强有力的治理、透明度以及持续的验证仍然至关重要。”

Rariy还指出，针对生成式AI的监督框架需要解决历史研究中的数据缺口、代表性不足和偏倚等因素。“如果没有这一基础，设计不佳的AI不仅会简单地复制现有的不平等现象，还可能在诊断、治疗和医疗照护服务等各个环节大规模地加剧这些不平等。”