首页 » 科技 >

数据死在黑暗中 让AI算法在黑匣子之外思考

2019-12-12 17:34:10来源:

人工智能和机器学习使公司能够以比以往更少的员工更快地行动,而公司也面临着前所未有的新风险。AI和ML算法仅与其从中学习的数据一样好。如果他们被训练使用的数据集不包括足够的例子或某些群体的人的偏见实例做出决定,他们就会产生偏见无意识结果-或者更糟,决定,似乎是案件与苹果卡。

例如,如果图像集合显示了厨房中许多女性的实例,则使用该图像数据集训练的算法将在女性和厨房之间形成关联,并可以在其假设和决定中进行再现。

人们仍在设置分析数据集时算法应考虑的参数。而且从事这项工作的开发人员和数据科学家可能不会意识到他们放置的参数所包含的无意识偏差。我们不知道确定Apple Card信用额度的参数是什么,但是如果考虑因素包括年收入,但不考虑共同财产所有权和税收申请,则在美国仍然每人赚80.70美元的女性将处于固有的劣势。 。

迄今为止,我们为根据法律建立平等保护所做的努力旨在防止有意识的人类偏见。AI的问题在于,它比以往任何时候都可以更快,更有效地重现我们的无意识偏见,而且这样做没有道德良心​​或对PR的关注。在这种情况下,该算法无需高阶思维技能就能做出信贷决策,这会使人在为女性和男性提供的信贷限额之间的明显差异中看到一个危险信号。

问题的一部分在于,与许多AI和ML算法一样,Apple Card是一个黑匣子。意思是,没有合适的框架来追踪算法的训练和决策。对于公司而言,这是重大的法律和公关风险。对于社会而言,这更加严重。如果我们将决策权放弃给AI,无论是用于共享乘车退款,保险费还是抵押贷款利率,我们都可能面临无休止地受到判断,会受到世界所有数据集以及所有男人和女人,仅是数据。

我们不必接受这个新的世界秩序。我们可以以负责任的方式进行创新。我们需要确保支持机器学习的新数据平台具有必要的基础架构,以实现治理,透明度和可重复性。除了该基础结构,我们还需要一个框架来跟踪算法训练的沿袭。新加坡的个人数据保护委员会已经开始通过创建来解决这个问题型号AI治理框架,以及世界经济论坛正在研究一项倡议,以使框架访问世界各地的企业和政府。

我们始终可以确定结果是否反映了我们的社会价值并符合我们的法律标准。但是,如果我们可以预先评估用于训练模型的数据,并持续评估该模型的性能,那么我们就可以找到系统中会导致意外偏差的缺陷并加以纠正,然后才能在Twitter上了解它们。