Vinay Prasad

Prasad 认为把 AI 临床研究称为“1 期试验”毫无意义，因为患者早已广泛使用 AI。

但如果用常识来看，我会说这不是一项 1 期研究。在这种情境下，1 期研究毫无意义。患者早已在用 AI 解答他们关于医学以及其他各种话题的疑问。

原文 (en)

But if I put on my common sense hat, I would argue that it's not a phase 1 study. Phase one studies are nonsensical in this context. Patients are already using AI to navigate their questions and understanding on medicine and every other topic under the sun.

Prasad 批评让医生给多个 AI 模型回答打分的研究，指出论文发表时模型已更新，结论缺乏价值。

为什么我们要向三个不同的 AI 提问，然后让随便几个医生给结果打分？等论文发表时，这些 AI 都已经变了。这到底回答了什么问题？

原文 (en)

Why are we asking questions to three different AI machines and then having random doctors grade the results? By the time that paper is published, the AIS are all different. What does that answer exactly?

Prasad 表示若声称 AI 能改善患者结局，就应通过与常规做法对比的随机对照试验来验证。

相反，很多人相信 AI 能改善患者结局。那样的话，你应该做的是……剧透一下……请击鼓……一项随机对照研究。其实很简单：把人随机分配到维持现有做法组或整合 AI 组。

原文 (en)

Instead, many believe that AI improves patient outcomes. In that case, you should do… spoilers to follow… drum roll please.. a randomized study. It turns out it's simple. You randomize people to doing things the way you're currently doing them, or to integrate the AI.

Prasad 主张 AI 试验应采用住院时长、30 天死亡率等对患者有意义的终点，而非问卷调查。

难点在于：你要衡量对患者真正重要的东西。你要衡量他们的住院时长，或 30 天死亡率。

原文 (en)

Here's the tricky part: you measure something that actually matters to patients. You measure their length of stay in the hospital, or their 30-day mortality.

Prasad 警告目前尚无关于医院 AI 的随机结局试验，而 AI 却已被推入临床工作流程。

但我们没有这样的研究。我一项都还没见过。与此同时，AI 就像那台“推车电脑”，有人推着它跟着我们到处走。

原文 (en)

But we don't have those studies. I’ve yet to see a single one. In the meantime, AI is the cow. Someone's pushing it wherever we walk.