增强对人工智能的信任:审计和解释可以有所帮助
2019/9/17 13:17:02
有许多工具可有助于进行AI审核和解释,未来几年将有更多工具可供使用。 关于人工智能被认为存在“黑匣子”的问题,全世界都在进行激烈的辩论。最重要的是,如果可以教一台机器进行自学,那么它如何解释自己得出的结论?在如何解决可能存在的算法偏见的背景下,这个问题最常出现。解决这一问题的一种方法是根据《通用数据保护条例(GDPR)》第22条规定赋予人类作出决定的权利。在美国,参议员怀登(Wyden)和布克(Booker)在《算法问责法》中建议,企业必须进行影响评估。 可审计性、可解释性、透明度和可复制性(可重复性)通常被认为是避免偏差的手段。在实际意义上,可审计性和可解释性可能是最接近的,有时它们可能以有趣的方式重叠。 审计——至少目前而言——可能在许多情况下是一种可用的方式。这实际上意味着检查是否遵守法律、法规和/或符合良好或最佳实践所要求的原则/控制条件。因此,例如,如果目标是避免偏差,那么这就需要进行精确地定义。存在不同类型的偏差,例如确认偏差、测量偏差以及影响从数据中得出结论的其他形式偏差。 可解释性从本质上是具有挑战性的,因为解释通常是不完整的,并且解释会省略掉一些无法解释的事情。算法在本质上难以解释。例如,使用“整体”方法的算法。解释一个模型如何工作是很困难的。解释几个模型如何单独和共同工作,其难度成指数级增加。但市场上有一些有趣的新工具可以提供帮助。 透明度通常是一件好事。但是,如果它需要披露与AI应用程序相关的源代码或工程细节,那么这可能会引起知识产权问题。同样,对于外行人可能无法解释的一些事情的透明度,其作用有限。 可复制性或可重复性涉及到AI决策过程可重复产生相同结果的程度。这种方法的一个问题是缺乏管理数据采集、监管和处理技术的通用标准,以允许这种可复制性。第二个问题是AI实验经常涉及人工反复运行AI模型,直到他们发现数据模式,而且难以区分相关性和因果关系。第三个问题是这种技术具有完全的动态性——用如此多的变化来复制结果是很困难的。 审计领域的相关发展 关于审计,杰西•亨佩尔(Jessi Hempel)在其“想要证明你的业务是公平的吗?审核一下你的算法”一文中写道一家名为Rentlogic的公司,该公司对一个算法进行外部审计,该算法用于评估纽约市房东如何维护其建筑物。奥尼尔风险咨询和算法审计公司(ORCAA)设计了一个矩阵,该矩阵由一个垂直线和水平线组成,该垂直线列出利益相关者,而水平线包括表示准确性、一致性、偏差、透明度、公平性和及时性的特征。该矩阵的目的是促进公司内部对算法进行对话。因此,例如,一个建议是要格外仔细查看检查员报告中的模式。 2018年,信息系统审计与控制协会(ISACA)发布了一份题为“审计人工智能”的白皮书,其提供了一些如何进行审计的想法。一个重要方面是审核在本质上并不一定具有特别的技术性。相反,审计人员应“关注于现有的控制和治理结构,并确定它们是否有效运行。审计人员可以通过关注业务和IT治理方面来提供一些保证。” 抛开IASCA白皮书,进行外部审计的一种方式可能是验证企业是否实际建立了负责任进行数据使用的框架,特别是在避免偏差的情况下。至少在美国,这种框架会是什么样子呢? • 找到一些得到肯定的方法来使用数据,确保在历史上遭受不当对待的群体得到公平对待。 • 确保将现有的非歧视性法律/消费者法律应用到数据分析中。 • 提供决策算法中各种因素的表现。 • 利用不同的影响分析方法进行内部评估。 • 制定应对内部评估的公平标准。 检查或(使用另一个词)审核企业是否已实施这些流程,这将有助于确保以非
下一页
返回列表
返回首页
©2025 人工智能世界_专注人工智能领域,汇集人工智能技术资料 电脑版
Powered by iwms