谷歌正在通过最新的 AMIE（Articulate Medical Intelligence Explorer）研究，赋予人工智能诊断系统理解视觉医疗信息的能力。
试想一下，当人工智能就健康问题与你聊天时，它不会只处理你的话语，而是会查看你身上令人担忧的皮疹的照片，或者理解你的心电图打印输出。这就是谷歌的目标。
由于早前在《自然》杂志上发表的研究成果，我们已经知道 AMIE 在基于文本的医疗聊天中大有可为。但面对现实吧，真正的医学不仅仅是文字。
医生在很大程度上依赖于他们能看到的东西--皮肤状况、机器读数、实验室报告。正如谷歌团队正确指出的那样，即使是简单的即时通讯平台，“也可以通过静态多模态信息（如图片和文档）来丰富讨论内容”。
纯文本人工智能缺少了拼图中的一大块。正如研究人员所说，最大的问题是 “LLM 能否进行诊断性临床对话，将这种更复杂的信息纳入其中”。
谷歌的工程师们使用双子座 2.0 Flash 模型强化了 AMIE 的大脑。他们将其与所谓的 “状态感知推理框架 ”相结合。通俗地说，这意味着人工智能不只是照本宣科，它还会根据迄今为止学到的知识和还需要弄清楚的问题来调整自己的对话。
这与人类临床医生的工作方式很接近：收集线索，对可能出错的地方形成想法，然后询问更具体的信息--包括视觉证据--以缩小范围。
“谷歌解释说："这使得 AMIE 能够在需要时请求相关的多模态人工制品，准确解释其发现，将这些信息无缝整合到正在进行的对话中，并利用这些信息完善诊断。
设想一下对话的流程：首先收集病人的病史，然后提出诊断和管理建议，最后进行跟踪。人工智能会不断评估自己的理解能力，如果发现自己的知识有欠缺，就会要求提供皮肤照片或化验结果。
为了避免在真人身上进行无休止的试验和错误，谷歌建立了一个详细的模拟实验室。
谷歌从 PTB-XL 心电图数据库和 SCIN 皮肤科图像集等资源中提取逼真的医学图像和数据，创建了栩栩如生的病人案例，并使用双子座添加了可信的背景故事。然后，他们让 AMIE 在这一设置中与模拟病人 “聊天”，并自动检查其在诊断准确性和避免错误（或 “幻觉”）等方面的表现。
上一条： 法国巴黎银行扩展IBM云，以提高复原力
下一条： 没有了
