Doctor connected to patients by stethoscope illustration

来源:尼尔森胡尔达/葡京赌场最新网站伯克利分校

这项新的研究发现,确定程序软件谁得到进入高风险的医疗保健管理项目经常让健康的白人进入程序提前黑人谁是不太健康。

从预测谁将会是一个惯犯,以谁是找工作的最佳人选,计算机算法现在正在代替人类的复杂的决定。但越来越多,许多这些算法被发现复制他们建立克服了相同的种族,社会经济或基于性别的偏见。

这个种族偏见延伸到广泛应用在医疗保健行业,可能会影响获得照料数百万美国人的软件,根据 新的研究 研究人员在葡京赌场最新网站伯克利分校,在波士顿的业务和合作伙伴保健的芝加哥大学布斯大学医学院的大学。

这项新的研究,发表倍频程25日在科学杂志上,发现,确定程序软件谁得到进入高风险的医疗保健管理项目经常让健康的白人进入程序提前黑人谁是不太健康。固定的算法能够黑人患者自动承认这些程序的数量增加一倍以上这种偏差,该研究揭示。

“我们发现,影响医疗决定了一百万美国人的算法类别显示显著种族偏见,”森德希尔·马纳森,在芝加哥的展位和研究的资深作者的计算和行为科学的罗马世家大学教授说。

“算法使用的医疗费用,以确定病人编码种族偏见的风险“,或谁是最有可能从保健管理项目中受益,”说齐亚德欧博迈亚,作用于葡京赌场最新网站伯克利分校卫生政策与管理系副教授及主要作者纸张。

“因为在我们的医疗系统的结构不平等的,在健康的一定水平的黑人最终产生比白人低的成本,”欧博迈亚说。 “其结果是,黑色患者在算法的预测风险一定水平的多病情加重。”

通过调整算法,使用其他变量来预测患者的风险,比如可以通过预防保健可以避免成本,研究人员能够纠正多,最初是建立在算法的偏见。

“通过自己的算法是既不好也不坏,” mullainathan说。 “它只不过是在他们是如何建立照顾的问题。在这种情况下,这个问题绝对有可以解决的 - 以及至少一个制造商似乎是努力解决这个问题。我们鼓励别人这样做。”

更一般地说,欧博迈亚,结合常规审计到算法开发人员的工作流程会有所帮助。 “对于算法,就像为医药,”他说,“我们宁愿避免的,而不是治疗他们的问题。”

挖掘算法偏差的根源

揭开算法偏差 - 无论是在刑事司法系统,在雇用决策或在卫生保健 - 通常由一个事实,即许多目前使用的预测算法是由私人公司和专有设计的,因此很难为数据科学家和阻碍研究人员对它们进行分析。

要解决这个问题,mullainathan和欧博迈亚与学术医院的研究人员指使用基于风险的算法来确定哪些患者得到优先进入一个高风险的护理管理计划合作。像这样的计划旨在通过为他们提供更多的注意力和资源,以改善患者的复杂医疗需要照顾。

为43539名白斑患者和6079黑名患者在医院里,研究人员获得了该算法预测的风险评分和它比作一个病人的健康更直接的措施,包括慢性疾病和其他生物标志物的数量。

他们发现,对于一个给定的风险评分,有黑人比白人显著健康状况较差。

“而不是被训练发现症状越严重,在生理意义上,[这些算法]最终被训练来找到那些我们花最多钱的感觉症状越严重,” mullainathan说。 “而且有保健谁,我们花钱全身种族差异”。

患者的风险评分降落在顶部97%被自动识别为护理管理计划招生。通过修正黑人和白人之间的健康差距,研究人员发现,黑人的自动登记用户组中的比例从18%上升到47%。

但有希望的余地,欧博迈亚说。训练算法基于其它可测量的变量,如可避免成本,或在一年所需治疗慢性疾病的数量来确定风险,显著减少了种族偏见。

当警惕内置到它的算法偏差,软件制造商非常积极地解决这个问题,欧博迈亚说。

“算法可以做可怕的事情,或算法可以做美好的事物。其中那些他们做的事情之一就是基本上取决于我们,”欧博迈亚说。 “我们做这么多的选择,当我们训练了一个算法,感觉技术和小。但这些选择,就有了一种算法,是好还是坏,偏见或偏见之间的差别。所以,它的时候我们最终的算法是我们希望他们做的,因为这些选择都很难不这样做的往往是非常可以理解的。”

该研究的共同作者包括布莱布莱恩权力和妇女在波士顿一家医院和马萨诸塞州总医院的Christine vogeli。

这项研究提供资金,部分由国立卫生保健管理基金会的资助。

迪尔德丽·穆利根分校(UC 伯克利)的采访法律学者帕特里夏·威廉姆斯(哥伦比亚大学法学院)和计算机科学家辛西娅·德沃克(哈佛大学),关于算法的种族偏见的挑战。
信用:西蒙斯学院