2023年9月9日

Google发布医疗AI成果:实时分析病理切片的增强现实显微镜问世

作者 admin

,已经有了广泛的应用。现在,随着增强现实技术的崛起,我们可以更好地利用深度学习技术,为医学领域提供更加精准和高效的服务。

在未来,医生们可以利用AR技术来查看病人的病历、检查报告和影像资料。AR技术可以将这些信息融合到医生的视野中,为医生提供更全面和直观的视觉体验。

同时,AR技术还可以让医生们更加便捷地进行手术和操作,例如利用AR技术来指导手术切口位置、确定器械的使用方法等。这不仅可以提高手术的成功率,也能减少医生的操作时间和风险。

  本文翻译自Google Blog,作者为Google大脑团队产品经理Craig Mermel和技术主管Martin Stumpe。

深度学习技术已经在眼科、皮肤科、放射科和病理科等医学学科领域得到了广泛应用。随着增强现实技术的火爆,我们可以更好地利用深度学习技术,为医学领域提供更准确、高效的服务。

在未来,医生们可以利用增强现实(AR)技术来查看病人的电子病历、检查报告和影像资料。AR技术可以将这些信息融合到医生的视野中,为医生提供更全面、直观的视觉体验。

同时,AR技术还可以使医生更轻松地进行手术和操作。例如,医生可以使用AR技术来指导手术切口位置、确定器械的使用方法等。这不仅可以提高手术的成功率,还可以减少手术过程中医生的操作时间和风险。

智能手机,就可以将现实空间与机器学习算法相结合,达到实时检测、追踪和分类淋巴结的目的。这款ARM平台的应用前景广阔,将在未来使得全球癌症病例的快速诊断、治疗与监测成为可能。

Google发布的研究成果显示,用卷积神经网络检测淋巴结内的乳腺癌转移的准确率,不亚于一名专业病理学家。但现在,复合光学显微镜仍是病理学家诊断疾病的关键手段。为使微观组织进行数字化展示,是深度学习技术在病理学科应用中的主要挑战。现在,在美国癌症研究协会年会上,我们呈现了增强现实显微镜实时自动检测癌症的ARM平台原型。该平台采用改良的光学显微镜,能够实时对图像进行分析,并将机器学习算法的分析结果直接显示在用户的视野中。而只需使用低成本、现成的智能手机,即可将增强现实技术与机器学习算法融合,实现淋巴结的实时检测、跟踪和分类。ARM平台前景广阔,未来将加速深度学习技术在全球病理学领域的推广应用。这款AR增强实现了一项重大技术突破,将普通显微镜转化为具有高级组织分析功能的先进显微镜。只需要添加一些元器件,就能在世界各地的诊所和医院中使用,无需全面升级数字系统。现代计算组件和深度学习模型也在增强现实显微镜的平台上大放异彩。这个AR增强显微镜使用机器学习算法输出实时视觉反馈,将具体结果实时叠加到原始图像上,显著帮助观察者快速定位和量化感兴趣的特征。而且,平台计算和视觉反馈极其迅速,速度已达10帧/秒,使得加大倍数或移动组织时,用户获得流畅、无缝的视觉体验。,另一种则用于检测肝细胞癌标本中的癌细胞。增强现实显微镜能够通过实时推理的机器学习模型,准确地识别和标记出癌细胞的位置和数量,并将结果展示在AR显示屏上,让临床医生能够更直观地观察和分析标本,从而做出更准确的诊断和治疗方案。

可以说,增强现实显微镜是现代医学领域的一项重大创新,它能够将机器学习和AR技术有机地结合在一起,为医生提供更多、更准确、更直观的医疗信息,进一步推动医疗行业的发展和进步。

增强现实显微镜的原理概述

左图:增强现实显微镜另辟蹊径,将机器学习和AR技术有机地融合在一起。通过数码相机捕捉视场,实时推理机器学习模型,将结果反馈到AR显示屏上,从而更直观、更准确地观察和分析标本。右图:我们的平台原型经过改造,已成为功能强大的临床级光学显微镜。

理论上,增强现实显微镜不仅可以支持多种视觉反馈,还可应对多种检测任务,如对象检测、量化和分类。更重要的是,它能精确地识别肝细胞癌和淋巴结标本中的乳腺癌转移等问题,并用AR显示屏将结果与标本显示到同一平面上。

在实践中,增强现实显微镜已展现出了强大的癌症检测能力,包括乳腺癌转移和肝细胞癌标本等。通过机器学习模型的实时推理,增强现实显微镜能够标记出癌细胞的位置和数量,并让临床医生能够更直观地观察和分析标本,从而制定更为准确可行的治疗方案。

毋庸置疑,增强现实显微镜的推出将进一步推动医疗行业的发展和进步,为医生提供更多、更准确、更直观的医疗信息。

利用增强现实AR技术,我们开发了一种新型的前列腺癌检测算法,可在4-40倍放大倍率下实现高精度检测,并利用AR技术在显微镜的视野中呈现绿色轮廓勾画出肿瘤区域,帮助病理学家快速、准确地检测出感兴趣的区域。此外,我们还使用AR技术开发了一种淋巴结癌症检测模型,实现了对不同放大倍率下淋巴结癌细胞的自动检测和高清可视化展示,为医生和病理学家提供了全方位、全景式的癌症检测辅助工具。在拥有增强现实AR的显微镜下,算法的表现会进一步提升而无需额外训练。尽管最初是用全息扫描图像进行训练,但在增强现实显微镜平台上,淋巴结转移检测模型的曲线面积可达0.98,前列腺癌检测模型的曲线面积可达0.96,仅略低于WSI上的结果。

我们坚信,这款增强现实显微镜将对全球卫生事业产生重大影响,特别是在发展中国家的传染病诊断方面,如结核病和疟疾。此外,随着数字病理工作流程的应用,增强现实显微镜将与数字工作流程结合使用。尽管光学显微镜的价值已经在许多行业得到证明,但在病理学领域的应用受到限制。我们有信心,增强现实显微镜将成为医疗、生命科学研究和材料科学等众多领域的应用工具。我们将继续探索这款增强现实显微镜,以帮助加速机器学习技术的发展。