搜索
NFT元宇宙Web3
近期热门

人工智能偏见很猖獗!漏洞赏金可以拿住它

Founder
人工智能偏见很猖獗!漏洞赏金可以拿住它

人工智能的算法偏见问题日益突出,有偿修复bug或许可以缓解这一问题。

与网络安全大师Camille François的问答,内容涉及她对bug赏金的新研究,以及希望它们能帮助减少人工智能的危害。

20世纪90年代可能有很多关于我们应该如何解决2020年人工智能的带来危险的预测。

那时,一些公司发现他们实际上可以通过激励独立的 “白客 “安全研究人员的工作来使自己更安全,这些人将寻找问题并在一个看起来很像有道德操守的的黑客。这就是bug赏金的做法如何成为今天网络安全的基石。

在周四公布的一篇研究论文中,研究人员Josh Kenway、Camille François、Sasha Costanza-Chock、Inioluwa Deborah Raji和Joy Buolamwini认为,公司应该再次邀请他们最热心的批评者加入,这次是通过对可能源自其人工智能系统的危害进行赏金。

曾为法国首席技术官提供咨询的富布赖特学者弗朗索瓦,在美国参议院对俄罗斯试图影响2016年大选的调查中发挥了关键作用,他通过算法正义联盟发布了这份报告,该联盟成立于2016年,”结合艺术和研究,阐明了人工智能的社会影响和危害”。该组织的创始人Buolamwini和其他与AJL有关的人长期以来一直致力于揭露特别是面部识别技术中的种族偏见。

弗朗索瓦和肯维向议定书明确表示,如果程序不培养一个多样化的bug修复社区,包括来自计算机科学以外的社区,那么世界上所有减少人工智能危害的努力都是徒劳的,如果公司还没有准备好 “消化 “信息,他们应该纳入反馈,使其真正影响人工智能系统的构思、开发、部署和维护。

监管也是关键,内部人员提到。

本采访经过编辑,以保证长度和清晰度。

对于不熟悉的人来说,请谈一谈bug悬赏和网络安全研究。

弗朗索瓦:bug悬赏是信息安全领域的一种传统做法,通过这种做法,你可以奖励黑客发现并向受影响的组织披露bug。如果你看看所有这些大公司,他们通常都有一个bug赏金计划。

广义的bug赏金,在过去的25、30年里,已经成为网络安全研究、bug测试和信息安全的一个重要组成部分,听起来是这样吗?

弗朗索瓦:是的。

那么,为什么要把这个想法应用于潜在的算法偏见中?为什么现在是做这个的时候?

弗朗索瓦:我们在这方面写了大约100页研究。这个项目开始是因为Joy和我都对这个想法感兴趣。我看到,在算法偏见中,你有这些非常有才华的人,他们不遗余力地寻找和记录这些伤害,但A)更多时候,它最终是无偿劳动,这是一个问题,B)真的[没有]任何形式的保护他们的系统,[有]经常来自行业的非常对抗性的反应。这让我想到了在[bug悬赏]专业化之前,黑客们所处的情况。所以我在想。也许我们可以从网络安全中寻找灵感,了解如何更好地支持、保护以及如何为真正重要的劳动支付报酬。

我们在哪里已经看到过这种情况?你用Twitter[它有一个与它的图像抓取算法中的潜在偏见有关的错误赏金]作为案例研究。你提到了谷歌的一个项目,这个项目已经存在几年了,它收到了大约1000份报告,记录了数据滥用的证据,比如第三方在使用谷歌数据时没有遵守合同条款。

弗朗索瓦:我们记录的例子谈到了[传统的]bug bounties(bug修复奖金),这些bug bounties被延伸到了我们所说的社会技术问题。事实上,我们最先研究的是那些数据滥用赏金,这似乎是一个行业对大问题和大丑闻的回应,比如剑桥分析公司。

我们也看到了一些非常有趣的例子,但并不那么明显。因此,我们谈到了一点关于Rockstar Games正在做的事情,有一个赏金,谈到不正确使用[禁止作弊者]的算法。我认为这是一个好的趋势,但我认为它也值得更多的研究和更多的讨论,围绕着最佳做法。

我总是感到惊讶的是,在那些有理由说的公司的要求下,有多少bug赏金存在。”看,这就是我们为阻止算法伤害而做的所有事情。” 但当然,一个公司不希望被人耻笑,不希望专有系统被探查和可能被复制。

弗朗索瓦:有很多很好的研究。一个公司要怎样才能真正准备好引进这些东西?当然,还有一个意愿问题。比如,目标客户是否愿意听到他们的孩子有多难看?你的公司在感情上准备好了吗?但是,还有一个整体的组织准备的问题。我们非常喜欢并引起我们共鸣的一个比喻是。仅仅说 “我将拥有数据 “是不够的。你需要的是真正拥有分析数据的系统,能够处理和有意义地使用这些信息。

政策界能做什么?计算机诈骗和滥用算法。和法院的解释基本上反对这种研究。另一方面,这已经成为生活的事实,黑客和公司已经学会了与对方共处-,很多时候是通过合同条款。

弗朗索瓦:如果你从事的是保护独立安全研究人员的工作,你所做的很多事情和很多正在帮助的机构实际上也可能会帮助那些做算法伤害研究的人。现在,这并不意味着他们所有的法律问题都会被涵盖,但我认为有很多东西可以学习。我们认为也很有趣的是,当你看一下[网络安全]bug赏金的历史,其中一个重要时刻是国防部运行自己的项目。我们认为这很有趣! 公共机构也可以运行自己的算法危害赏金吗?

肯维:美国法律中有一些具体的规定,为安全研究人员提供了一定程度的保护。例如,存在的[数字千年版权法]豁免,我认为有一些例子,类似的豁免或类似的规定可以有意义地支持算法伤害研究人员的法律安全。但是,政府如何激励或创建机构来支持这种参与,我认为这可能是一个在未来几年内广泛存在的问题。

跟我说说具体的吧。你认为谁是算法伤害的bug赏金研究员或黑客?这是一个21岁的CS专业学生,在星期四晚上晚餐前在她的宿舍里工作吗?

人工智能偏见很猖獗!漏洞赏金可以拿住它

弗朗索瓦:我认为最让我们兴奋的是这个想法,如果你创建一个实践社区,你将接触到非常不同的人。因此,比如说,我们决定,在整个新冠疫情流行中被部署在学校的一些监控软件是一个很好的目标,鼓励人们在其中找到算法的危害。你很可能最终会有那些一直非常烦恼的教授,他们确实有一点计算机科学背景。你最终会和那些真正非常关心这些问题的学生在一起。你最终会遇到那些从逆向工程技能出发来研究它的人。

关于人工智能的危害,只要你有一个项目或系统的想法,它们就会进入。训练数据显然可以是高度歧视性的。你如何确保你真的识别了危害?

弗朗索瓦:安全不是你在设计和部署一个产品的最后才撒下的东西。它伴随着产品的整个生命周期,包括思考一旦你的产品被部署到世界上就会出现的新问题,而这种想法确实转化为算法危害的空间。因此,当人们考虑算法伤害时,有时会过分强调训练数据层面上发生的事情。有时你会听到人们[说],如果一个模型有问题,那是因为训练[数据]不好。而实际上,与网络安全事件的发生方式类似,问题可能出现在人工智能或机器学习生命周期的不同时刻。

你预计这些类型的报告最终应该在哪里落地?是算法的开发者本身吗?监管机构?研究人员的社区?或者是媒体和公众?

弗朗索瓦:这些是你可以设计的不同方式。我认为在一天结束时,有许多不同的利益相关者确实从这些人工智能危害的可见性中受益。当然,记者们已经做了很好的工作,揭露了其中一些首次大规模的人工智能危害。我们也考虑到了供应商本身。这对运营商来说是非常有帮助的。而且对同行也有帮助。

在网络安全方面,有这样一个问题,即广泛共享不安全的关键组件。如果你在其中一个部件中发现了一个错误,实际上对行业的其他部分来说是相当重要的,因为这些部件一而再、再而三地出现在多个产品的多个程序中。我们在算法伤害领域确实有同样的情况。例如,有一些核心数据库被重复用于不同的模型。当然,我们认为有一些民间社会组织确实会从更多的可见性中受益。例如,那些为保护公民权利和人权而成立的组织。最后,我们希望政府和监管机构也能对此感兴趣。长话短说,我现在已经给你一个盛大的世界之旅,说多个组织将从对不同类型的算法伤害的更多可见性中受益。

你如何确保bug赏金猎手不只是将工作外包以确保你的算法系统不伤害到人?

弗朗索瓦:它绝对应该是众多组成部分中的一个。科技公司拥有更成熟的内部实践非常重要。当然,我们需要一个笔测试和审计行业。我们还需要强大的CISO。赏金是有帮助的。我们正在慢慢弄清所有这些处理算法伤害的组成部分,我们绝对认为,如果错误赏金发挥了作用,它绝对不能替代拥有一个负责任的行业,受到良好监管。也许错误赏金可以帮助!但这不是非此即彼的。但这并不是非此即彼。

编辑于 2022-01-29 03:33
「 真诚赞赏,手留余香 」
赞赏

发表评论已发布0

手机APP 意见反馈 返回顶部 返回底部