用深度神经网络对皮肤癌进行皮肤科医生级别的分类gydF4y2Ba

自然gydF4y2Ba体积gydF4y2Ba542gydF4y2Ba，gydF4y2Ba页面gydF4y2Ba115gydF4y2Ba- - - - - -gydF4y2Ba118gydF4y2Ba（gydF4y2Ba2017gydF4y2Ba）gydF4y2Ba引用本文gydF4y2Ba

主题gydF4y2Ba

一个gydF4y2Ba应改正的错误gydF4y2Ba本文发表于2017年6月29日gydF4y2Ba

摘要gydF4y2Ba

皮肤癌是人类最常见的恶性肿瘤gydF4y2Ba1gydF4y2Ba，gydF4y2Ba2gydF4y2Ba，gydF4y2Ba3.gydF4y2Ba首先是视觉诊断，首先是初步的临床筛查，然后可能是皮肤镜分析、活组织检查和组织病理学检查。使用图像对皮肤病变进行自动分类是一项具有挑战性的任务，因为皮肤病变外观的细粒度变异性。深度卷积神经网络(CNNs)gydF4y2Ba4gydF4y2Ba，gydF4y2Ba5gydF4y2Ba展示跨许多细粒度对象类别的通用和高度可变任务的潜力gydF4y2Ba6gydF4y2Ba，gydF4y2Ba7gydF4y2Ba，gydF4y2Ba8gydF4y2Ba，gydF4y2Ba9gydF4y2Ba，gydF4y2Ba10gydF4y2Ba，gydF4y2Ba11gydF4y2Ba．在这里，我们演示了使用单一CNN对皮肤病变进行分类，直接从图像端到端进行训练，只使用像素和疾病标签作为输入。我们使用129,450张临床图像的数据集训练CNN——比之前的数据集大两个数量级gydF4y2Ba12gydF4y2Ba-由2032种不同的疾病组成。我们对21名经委员会认证的皮肤科医生在活检证实的临床图像上的表现进行了测试，有两个关键的二元分类用例:角化细胞癌和良性脂溢性角化病;恶性黑素瘤和良性痣的对比。第一个病例表明确定了最常见的癌症，第二个病例表明确定了最致命的皮肤癌。CNN在这两项任务中的表现与所有接受测试的专家相当，证明了人工智能在皮肤癌分类方面的能力与皮肤科医生相当。配备了深度神经网络的移动设备可能会扩大皮肤科医生在诊所之外的覆盖面。据预测，到2021年，智能手机用户将达到63亿。gydF4y2Ba13gydF4y2Ba)，因此有可能提供低成本的重要诊断服务的普及。gydF4y2Ba

访问选项gydF4y2Ba

租或买文章gydF4y2Ba

在ReadCube上获得时间限制或全文访问权限。gydF4y2Ba

从gydF4y2Ba8.99美元gydF4y2Ba

租还是买gydF4y2Ba

所有价格均为净价格。gydF4y2Ba

图1:深度CNN布局。gydF4y2Ba
图2:分类和示例测试集图像的示意图。gydF4y2Ba
图3:CNN和皮肤科医生的皮肤癌分类表现。gydF4y2Ba
图4:CNN中四个疾病类别的最后一个隐藏层表示的t-SNE可视化。gydF4y2Ba

参考文献gydF4y2Ba

  1. 1gydF4y2Ba

    美国癌症协会。癌症事实与数据2016。亚特兰大，美国癌症协会2016年。gydF4y2Bahttp://www.cancer.org/acs/groups/content/@research/documents/document/acspc-047079.pdfgydF4y2Ba

  2. 2gydF4y2Ba

    罗杰斯，H. W.等。非黑素瘤皮肤癌(角化细胞癌)在美国人群中的发病率估计，2012。gydF4y2BaJAMA皮肤病gydF4y2Ba151.10gydF4y2Ba， 1081-1086 (2015)gydF4y2Ba

    文章gydF4y2Ba谷歌学者gydF4y2Ba

  3. 3.gydF4y2Ba

    2007年皮肤癌病史的患病率:基于发病率模型的结果。gydF4y2Ba拱门。北京医学。gydF4y2Ba146gydF4y2Ba， 279-282 (2010)gydF4y2Ba

    文章gydF4y2Ba谷歌学者gydF4y2Ba

  4. 4gydF4y2Ba

    LeCun, Y.， Bengio, Y. & Hinton, G.深度学习。gydF4y2Ba自然gydF4y2Ba521gydF4y2Ba， 436-444 (2015)gydF4y2Ba

    中科院gydF4y2Ba广告gydF4y2Ba文章gydF4y2Ba谷歌学者gydF4y2Ba

  5. 5gydF4y2Ba

    LeCun, Y. & Bengio, Y. IngydF4y2Ba《大脑理论和神经网络手册》gydF4y2Ba(阿比布主编，m.a.)3361.10(麻省理工学院出版社，1995)gydF4y2Ba

  6. 6gydF4y2Ba

    Russakovsky, O.等。Imagenet大规模视觉识别挑战。gydF4y2BaInt。j .第一版。粘度gydF4y2Ba115gydF4y2Ba， 211-252 (2015)gydF4y2Ba

    MathSciNetgydF4y2Ba文章gydF4y2Ba谷歌学者gydF4y2Ba

  7. 7gydF4y2Ba

    Krizhevsky, A.， Sutskever, I. & Hinton, g.e.用深度卷积神经网络进行Imagenet分类。gydF4y2Ba神经的无穷过程。系统。gydF4y2Ba25gydF4y2Ba1097-1105 (2012)gydF4y2Ba

    谷歌学者gydF4y2Ba

  8. 8gydF4y2Ba

    Ioffe, S. & Szegedy, C.批归一化:通过减少内部协变量移位加速深度网络训练。gydF4y2Ba第32回合。机器学习会议gydF4y2Ba448 - 456 (2015)gydF4y2Ba

  9. 9gydF4y2Ba

    Szegedy, C.， Vanhoucke, V.， Ioffe, S.， Shlens, J. & Wojna, Z.重新思考计算机视觉的初始架构。预印在gydF4y2Bahttps://arxiv.org/abs/1512.00567gydF4y2Ba(2015)gydF4y2Ba

  10. 10gydF4y2Ba

    Szegedy, c。再深入讲卷积。gydF4y2BaIEEE计算机视觉与模式识别会议gydF4y2Ba1 - 9 (2015)gydF4y2Ba

  11. 11gydF4y2Ba

    何坤，张旭，任硕，孙杰。基于深度残差学习的图像识别。预印在gydF4y2Bahttps://arxiv.org/abs/1512.03385gydF4y2Ba(2015)gydF4y2Ba

  12. 12gydF4y2Ba

    皮肤癌计算机辅助诊断支持系统:技术和算法综述。gydF4y2BaInt。j .生物医学。成像gydF4y2Ba2013gydF4y2Ba， 323268 (2013)gydF4y2Ba

    文章gydF4y2Ba谷歌学者gydF4y2Ba

  13. 13gydF4y2Ba

    Cerwall, P. & Report, e.m.爱立信移动报告gydF4y2Bahttps://www.ericsson.com/res/docs/2016/ericsson-mobility-report-2016.pdfgydF4y2Ba(2016)gydF4y2Ba

  14. 14gydF4y2Ba

    Rosado, B.等人。黑色素瘤计算机诊断的准确性:一项定量荟萃分析。gydF4y2Ba拱门。北京医学。gydF4y2Ba139gydF4y2Ba， 361-367，讨论366 (2003)gydF4y2Ba

    文章gydF4y2Ba谷歌学者gydF4y2Ba

  15. 15gydF4y2Ba

    Burroni, M.等。黑色素瘤计算机辅助诊断:可靠性和可行性研究。gydF4y2Ba中国。癌症Res。gydF4y2Ba10gydF4y2Ba1881-1886 (2004)gydF4y2Ba

    广告gydF4y2Ba文章gydF4y2Ba谷歌学者gydF4y2Ba

  16. 16gydF4y2Ba

    基特勒，佩哈姆伯格，沃尔夫，K.和宾德，M.皮肤镜诊断的准确性。gydF4y2Ba柳叶刀杂志。gydF4y2Ba3.gydF4y2Ba， 159-165 (2002)gydF4y2Ba

    中科院gydF4y2Ba文章gydF4y2Ba谷歌学者gydF4y2Ba

  17. 17gydF4y2Ba

    Codella, N.等。在gydF4y2Ba机器学习在医学成像中的应用gydF4y2Ba(周亮、王亮、王强、石勇编)118-126(施普林格，2015)gydF4y2Ba

    谷歌学者gydF4y2Ba

  18. 18gydF4y2Ba

    Gutman, D.等。皮肤病变分析对黑色素瘤的检测。gydF4y2Ba生物医学影像国际研讨会(ISBI)gydF4y2Ba，(国际皮肤成像合作组织(ISIC)， 2016)gydF4y2Ba

  19. 19gydF4y2Ba

    宾德，M.等。利用计算机图像分析和人工神经网络，基于脱毛显微镜的皮肤色素病变分类。gydF4y2Ba黑色素瘤Res。gydF4y2Ba8gydF4y2Ba， 261-266 (1998)gydF4y2Ba

    中科院gydF4y2Ba文章gydF4y2Ba谷歌学者gydF4y2Ba

  20. 20.gydF4y2Ba

    Menzies, S. W.等。在gydF4y2Ba皮肤癌和紫外线辐射gydF4y2Ba(编辑Altmeyer, P.， Hoffmann, K. & Stücker, M.)1064-1070(施普林格，1997)gydF4y2Ba

  21. 21gydF4y2Ba

    克拉克，W. H.，等。基于肿瘤进展预测I期黑色素瘤生存的模型。gydF4y2Ba美国国立癌症研究所。gydF4y2Ba81gydF4y2Ba1893-1904 (1989)gydF4y2Ba

    文章gydF4y2Ba谷歌学者gydF4y2Ba

  22. 22gydF4y2Ba

    Schindewolf, T.等。利用数字图像处理的颜色和纹理分析对黑素细胞病变进行分类。gydF4y2Ba肛交。Cytol量化。Histol。gydF4y2Ba15gydF4y2Ba， 1-11 (1993)gydF4y2Ba

    中科院gydF4y2BaPubMedgydF4y2Ba谷歌学者gydF4y2Ba

  23. 23gydF4y2Ba

    一种移动自动皮肤病变分类系统。gydF4y2Ba第23届IEEE人工智能工具国际会议gydF4y2Ba138 - 141 (2011)gydF4y2Ba

  24. 24gydF4y2Ba

    Ballerini, L.等。在gydF4y2Ba彩色医学图像分析。gydF4y2Ba(编，谢莱比，m.e. &谢弗，G.)63-86(施普林格，2013)gydF4y2Ba

  25. 25gydF4y2Ba

    邓杰等。Imagenet:一个大规模的分级图像数据库。gydF4y2Ba计算机视觉与模式识别会议gydF4y2Ba248-255 (cvpr, 2009)gydF4y2Ba

  26. 26gydF4y2Ba

    Mnih, V.等。通过深度强化学习实现人类水平的控制。gydF4y2Ba自然gydF4y2Ba518gydF4y2Ba， 529-533 (2015)gydF4y2Ba

    中科院gydF4y2Ba广告gydF4y2Ba文章gydF4y2Ba谷歌学者gydF4y2Ba

  27. 27gydF4y2Ba

    Silver, D.等人。掌握深度神经网络和树搜索下围棋。gydF4y2Ba自然gydF4y2Ba529gydF4y2Ba， 484-489 (2016)gydF4y2Ba

    中科院gydF4y2Ba广告gydF4y2Ba文章gydF4y2Ba谷歌学者gydF4y2Ba

  28. 28gydF4y2Ba

    潘淑娟，杨强。迁移学习研究综述。gydF4y2BaIEEE反式。"。数据中。gydF4y2Ba22gydF4y2Ba， 1345-1359 (2010)gydF4y2Ba

    文章gydF4y2Ba谷歌学者gydF4y2Ba

  29. 29gydF4y2Ba

    Van der Maaten, L.和Hinton, G.使用t-SNE可视化数据。gydF4y2Baj·马赫。学习。Res。gydF4y2Ba9gydF4y2Ba， 2579-2605 (2008)gydF4y2Ba

    数学gydF4y2Ba谷歌学者gydF4y2Ba

  30. 30.gydF4y2Ba

    阿巴迪等人。张量流:异构分布式系统上的大规模机器学习。预印在gydF4y2Bahttps://arxiv.org/abs/1603.04467gydF4y2Ba(2016)gydF4y2Ba

下载参考gydF4y2Ba

确认gydF4y2Ba

我们感谢Thrun实验室的支持和想法。我们感谢斯坦福大学、宾夕法尼亚大学、麻省总医院和爱荷华大学皮肤科的成员完成了我们的测试。这项研究得到了Baxter基金会和h.m.b的资助。此外，这项工作还得到了美国国立卫生研究院(NIH)国家促进转化科学临床和转化科学中心奖(UL1 TR001085)的支持。内容仅由作者负责，不一定代表NIH的官方观点。gydF4y2Ba

作者信息gydF4y2Ba

作者指出gydF4y2Ba

  1. Andre Esteva和Brett Kuprel:这两位作者对这项工作做出了同样的贡献。gydF4y2Ba

从属关系gydF4y2Ba

  1. 美国加利福尼亚州斯坦福大学电气工程系gydF4y2Ba

    安德烈·埃斯特瓦和布雷特·库普雷尔gydF4y2Ba

  2. 美国加利福尼亚州斯坦福大学皮肤学系gydF4y2Ba

    罗伯托·a·诺沃亚，贾斯汀·柯和苏珊·m·斯威特gydF4y2Ba

  3. 美国加州斯坦福大学病理学系gydF4y2Ba

    罗伯托·a·诺沃亚gydF4y2Ba

  4. 皮肤病服务，退伍军人事务帕洛阿尔托卫生保健系统，帕洛阿尔托，加利福尼亚州，美国gydF4y2Ba

    苏珊·m·斯威特gydF4y2Ba

  5. 微生物与免疫学系，巴克斯特干细胞生物学实验室，干细胞生物学与再生医学研究所，斯坦福大学，美国加州斯坦福gydF4y2Ba

    海伦·m·布劳gydF4y2Ba

  6. 美国加利福尼亚州斯坦福大学计算机科学系gydF4y2Ba

    Sebastian ThrungydF4y2Ba

作者gydF4y2Ba
  1. 安德烈EstevagydF4y2Ba
    查看作者出版物gydF4y2Ba

    您也可以在中搜索这个作者gydF4y2BaPubMedgydF4y2Ba谷歌学者gydF4y2Ba

  2. 布雷特KuprelgydF4y2Ba
    查看作者出版物gydF4y2Ba

    您也可以在中搜索这个作者gydF4y2BaPubMedgydF4y2Ba谷歌学者gydF4y2Ba

  3. 罗伯托·a·诺沃亚gydF4y2Ba
    查看作者出版物gydF4y2Ba

    您也可以在中搜索这个作者gydF4y2BaPubMedgydF4y2Ba谷歌学者gydF4y2Ba

  4. 贾斯汀KogydF4y2Ba
    查看作者出版物gydF4y2Ba

    您也可以在中搜索这个作者gydF4y2BaPubMedgydF4y2Ba谷歌学者gydF4y2Ba

  5. 苏珊·m·斯威特gydF4y2Ba
    查看作者出版物gydF4y2Ba

    您也可以在中搜索这个作者gydF4y2BaPubMedgydF4y2Ba谷歌学者gydF4y2Ba

  6. 海伦·m·布劳gydF4y2Ba
    查看作者出版物gydF4y2Ba

    您也可以在中搜索这个作者gydF4y2BaPubMedgydF4y2Ba谷歌学者gydF4y2Ba

  7. Sebastian ThrungydF4y2Ba
    查看作者出版物gydF4y2Ba

    您也可以在中搜索这个作者gydF4y2BaPubMedgydF4y2Ba谷歌学者gydF4y2Ba

贡献gydF4y2Ba

A.E.和B.K.对算法进行了概念化和训练，并收集了数据。R.A.N, j.k k和S.S.开发了分类法，监督了医疗任务并招募了皮肤科医生。H.M.B.和S.T.监督了这个项目。gydF4y2Ba

相应的作者gydF4y2Ba

对应到gydF4y2Ba安德烈EstevagydF4y2Ba或gydF4y2Ba布雷特KuprelgydF4y2Ba或gydF4y2Ba罗伯托·a·诺沃亚gydF4y2Ba或gydF4y2BaSebastian ThrungydF4y2Ba．gydF4y2Ba

道德声明gydF4y2Ba

相互竞争的利益gydF4y2Ba

作者声明没有竞争的经济利益。gydF4y2Ba

额外的信息gydF4y2Ba

审核人信息gydF4y2Ba

自然gydF4y2Ba感谢A. Halpern, G. Merlino和M. Welling对这项工作的同行评审所做的贡献。gydF4y2Ba

扩展的数据图和表gydF4y2Ba

图1从训练类概率计算推理类概率的过程。gydF4y2Ba

使用分类法和模拟训练/推理类的子集的推理过程的说明性示例。推断类(例如，恶性和良性病变)对应于树中的红节点。训练类(例如，无色素黑色素瘤、蓝色痣)是使用maxClassSize = 1000的划分算法确定的，对应于树中的绿色节点。白色节点表示祖先节点的训练类中包含的节点，或者表示节点太大而不能作为单独的训练类的节点。这个方程表示父节点的概率，gydF4y2BaugydF4y2Ba，以及它的后代，gydF4y2BaCgydF4y2Ba（gydF4y2BaugydF4y2Ba）;子概率的和等于父概率的和。CNN在训练节点上输出一个分布。因此，要恢复任何推理节点的概率，只需将其子节点的训练节点的概率相加。给出了良性推理类的一个数值例子:gydF4y2BaPgydF4y2Ba良性的gydF4y2Ba= 0.6 = 0.1 + 0.05 + 0.05 + 0.3 + 0.02 + 0.03 + 0.05。gydF4y2Ba

图2 CNN与皮肤科医生的混淆矩阵比较。gydF4y2Ba

对于第二种验证策略的九种分类任务，CNN和两位皮肤科医生的混淆矩阵揭示了人类专家和CNN在错误分类方面的相似性。元素(gydF4y2Ba我gydF4y2Ba，gydF4y2BajgydF4y2Ba)表示预测类的经验概率gydF4y2BajgydF4y2Ba考虑到基本事实是阶级gydF4y2Ba我gydF4y2Ba,gydF4y2Ba我gydF4y2Ba而且gydF4y2BajgydF4y2Ba引用中的类gydF4y2Ba扩展数据表2dgydF4y2Ba．值得注意的是，CNN和皮肤科医生明显混淆了良性和恶性的黑素细胞病变(7级和8级)，皮肤科医生在预测恶性方面犯了错误。在所有三个图中，炎性病变在第6列的分布都很明显，表明许多病变很容易与这一类混淆。在所有三个图的第2行分布显示了恶性真皮肿瘤的分类困难，它表现为皮肤下的皮肤结节。每个皮肤科医生矩阵都使用来自九种验证集的180张图像进行计算。CNN矩阵是使用来自验证集的684张图像(平均分布在9个类中)的随机样本计算的。gydF4y2Ba

图3来自第二种验证策略的9个示例图像的显著性映射。gydF4y2Ba

一个gydF4y2Ba- - - - - -gydF4y2Ba我gydF4y2Ba例如，第二种验证策略的9种临床疾病类别中的每一种的显著性图揭示了对CNN预测影响最大的像素。显著性图显示了相对于CNN损失函数的像素梯度。深色像素代表影响力更大。我们看到病变本身和显著图之间有明显的相关性。有单一病变的情况(gydF4y2Ba一个gydF4y2Ba- - - - - -gydF4y2BafgydF4y2Ba)倾向于以病灶为中心显示紧密的显著图。病变扩散的情况(gydF4y2BaggydF4y2Ba- - - - - -gydF4y2Ba我gydF4y2Ba)展示了显著图，它们同样占据了图像中的多个兴趣点。gydF4y2Ba一个gydF4y2Ba，恶性黑素细胞病变(来源图片:gydF4y2Bahttps://www.dermquest.com/imagelibrary/large/020114HB.JPGgydF4y2Ba）.gydF4y2BabgydF4y2Ba，恶性表皮病变(来源图片:gydF4y2Bahttps://www.dermquest.com/imagelibrary/large/001883HB.JPGgydF4y2Ba）.gydF4y2BacgydF4y2Ba，恶性皮肤病变(来源图片:gydF4y2Bahttps://www.dermquest.com/imagelibrary/large/019328HB.JPGgydF4y2Ba）.gydF4y2BadgydF4y2Ba良性黑素细胞病变(来源图片:gydF4y2Bahttps://www.dermquest.com/imagelibrary/large/010137HB.JPGgydF4y2Ba）.gydF4y2BaegydF4y2Ba，良性表皮病变(来源图片:gydF4y2Bahttps://www.dermquest.com/imagelibrary/large/046347HB.JPGgydF4y2Ba）.gydF4y2BafgydF4y2Ba，良性真皮病变(来源图片:gydF4y2Bahttps://www.dermquest.com/imagelibrary/large/021553HB.JPGgydF4y2Ba）.gydF4y2BaggydF4y2Ba，炎症情况(来源图片:gydF4y2Bahttps://www.dermquest.com/imagelibrary/large/030028HB.JPGgydF4y2Ba）.gydF4y2BahgydF4y2Ba，基因性皮肤病(图片来源:gydF4y2Bahttps://www.dermquest.com/imagelibrary/large/030705VB.JPGgydF4y2Ba）.gydF4y2Ba我gydF4y2Ba皮肤淋巴瘤(来源图片:gydF4y2Bahttps://www.dermquest.com/imagelibrary/large/030540VB.JPGgydF4y2Ba）.gydF4y2Ba

图4扩展数据gydF4y2Ba图3gydF4y2Ba有一个不同的皮肤病问题。gydF4y2Ba

一个gydF4y2Ba，相同的图和结果如图gydF4y2Ba图3gydF4y2Ba除了皮肤科医生被问及病变是恶性还是良性。这是一个有点不自然的问题，在临床中，唯一可行的决定是是否活检或治疗病变。CNN的蓝色曲线与gydF4y2Ba图3gydF4y2Ba．gydF4y2BabgydF4y2Ba，gydF4y2Ba图3 bgydF4y2Ba转载的视觉对比gydF4y2Ba一个gydF4y2Ba．gydF4y2Ba

表1疾病分区算法gydF4y2Ba
全尺寸表gydF4y2Ba
表2一般验证结果gydF4y2Ba
全尺寸表gydF4y2Ba

幻灯片gydF4y2Ba

权利与权限gydF4y2Ba

转载及权限gydF4y2Ba

关于本文gydF4y2Ba

通过CrossMark验证货币和真实性gydF4y2Ba

引用本文gydF4y2Ba

埃斯特娃，A.，库普瑞尔，B.，诺沃亚，R.。gydF4y2Baet al。gydF4y2Ba用深度神经网络对皮肤癌进行皮肤科医生级别的分类。gydF4y2Ba自然gydF4y2Ba542年,gydF4y2Ba115 - 118(2017)。https://doi.org/10.1038/nature21056gydF4y2Ba

下载引用gydF4y2Ba

  • 收到了gydF4y2Ba：gydF4y2Ba

  • 接受gydF4y2Ba：gydF4y2Ba

  • 发表gydF4y2Ba：gydF4y2Ba

  • 发行日期gydF4y2Ba：gydF4y2Ba

  • DOIgydF4y2Ba：gydF4y2Bahttps://doi.org/10.1038/nature21056gydF4y2Ba

进一步的阅读gydF4y2Ba

评论gydF4y2Ba

通过提交评论，您同意遵守我们的gydF4y2Ba条款gydF4y2Ba而且gydF4y2Ba社区指导原则gydF4y2Ba．如果您发现一些滥用或不符合我们的条款或指导方针，请标记为不适当。gydF4y2Ba

搜索gydF4y2Ba

快速链接gydF4y2Ba

自然简报gydF4y2Ba

报名参加gydF4y2Ba自然简报gydF4y2Ba时事通讯——关于科学的重要信息，每天免费发送到您的收件箱。gydF4y2Ba

在你的收件箱里免费获取每日最重要的科学报道。gydF4y2Ba 注册《自然简报》gydF4y2Ba