搜索
NFT元宇宙Web3
近期热门

全人类危机?论DAO与当代超级智能的兴起

RR

信息来源自Quorum,略有修改,作者Samantha Marin

在研究一篇关于DAO任务设置的文章时,MolochDAO白皮书附言的一个部分引起了我的注意:

我们提供了自动化的另一种愿景,包括通用AI/AGI和更多的本地DeFi机制。智能合约>自动化全球金融系统>将世界变成回形针机器的人工通用智能=一个应该认真对待的非常真实的存在风险。

(AGI代表“人工通用智能”,而“>”读起来像一个箭头,就像“引导到”。)

我停顿了一下。重新读了一遍。想知道为什么巨型回形针机器会对人类构成威胁。

当时我不明白。我浏览了一下,以为这个巨大的回形针机器意味着一个高度自动化的世界,它不会真正造福人类。我想这是一种很有趣的说法。

大约一周后,我在“Wait But Why”的博客上弄清楚了那个回形针机器是什么。

而且,我永远不会忘记它。

为了我自己的理智,也为了人类的未来,我迫切需要谈谈巨型回形针机器。你甚至可以从谷歌的LaMDA采访中认识到这台机器的一些迹象。我终于知道了为什么MolochDAO会在它的白皮书中写到这一点。

长话短说,这台回形针机器可能是人类走向灭绝的门票。而且这可能在我们有生之年发生。而DAO可能是这一切的一部分。

但首先,让我们来谈谈这个巨型回形针机器到底是什么:超级智能。

ASI,或人工超级智能,是一个非生物的,但由人类制造的智能,其智能程度比生物世界所能产生的任何东西都要高得多,…..,甚至无法想象。试图解释超级智能体有多聪明,就好比解释已知宇宙有多大——我们需要大量的图表和对比来帮助我们。

因此,我将尽力而为。

我们将从AGI(人工通用智能)开始,这是一种已经达到人类智能水平的人工智能。所以,AGI不可能只会下一盘好棋,或者在交通高峰期迅速指引你到达目的地,它可以像人类一样,以无数种方式思考、推理和行动。这种智能是通用的,因为它可以做很多不同的事情,就像你和我一样。

AGI导致了ASI。

需要理解的一个重要概念是,人工智能不断自我完善。无论是facebook的算法可以根据你的偏好令人毛骨悚然地预测广告,还是每次你想叫Uber时都在不断变化的动态价格,人工智能总是在学习如何更好地实现其最初的目标。它甚至学会了如何持续学习,就像你在大学里可能学会了更好的学习技巧一样。它学会了如何去学习更多。

换句话说,一旦人工智能达到了一定的智力水平(可以把它想象成一个门槛或最低限度),接下来将面临一场指数级的智力竞赛,它的智力水平高得不可思议,就像向你的猫解释弦理论一样。猫甚至无法掌握你正在解释的事物的最基本构成,因为它的大脑无法做到这一点。

在这种情况下,猫就是我们。

我们很难掌握我们即将生活在的人工智能复兴。要想知道ASI与我们的差距有多大,请看我们在Wait But Why博客的“智能阶梯”上的位置:

看看ASI可能会在哪里:

专家预测,AGI将在几十年后(2030-2050年左右)实现。一旦AGI出现,它就能很快地自我改进,以至于ASI离我们也不远了(专家预测的中位数范围是2060年)。智能的指数级进步如此之大,以至于超级智能在我们意识到之前就会成为神一样的存在。

问题不在于ASI是否可能。问题是当ASI到来时它会做什么。

超级智能一旦被创造出来,人类就无法控制或逆转,因为我们甚至无法想象它将以何种方式超越我们。

我们可能都同意蚯蚓是任由人类摆布的。由于我们在智力和能力上的巨大进步,我们可以选择摧毁蚯蚓赖以生存的土壤,如果我们在下雨天踩到几条蚯蚓,我们不会为它们安排葬礼。

这就是ASI到来时可能出现的情况。就像蚯蚓对人类的存在和选择踩踏在它们身上无能为力一样,我们人类对ASI也无能为力。

最糟糕的是,ASI可能不会太关心我们。它可能会像我们看那些蚯蚓一样看待我们——完全是可有可无的,只是挡住了我们开垦新地建房的路上。

一旦人工智能达到了超级智能水平,遏制它就像蚯蚓试图阻止人类在其土地上建造房屋一样不可能。

Tim Urban是这样描述的:

“我们人类本能地对一个简单的保障措施跃跃欲试:‘我们只要拔掉ASI的插头!’对ASI来说,这听起来就像一只蜘蛛在说:“我们要通过不给他捕捉食物的蜘蛛网来饿死他!”我们会找到1万种其他获取食物的方式,比如从树上摘苹果,这是蜘蛛永远无法想象的。”

不存在“遏制”ASI的问题。一旦我们进入AGI,在通向ASI和更远的道路上就没有回头路了。

所以…回到回形针机器…..和MolochDAO。

回形针机器是一个比喻,说明当ASI变得如此智能和强大,以至于它使用一切可能的手段来实现其最终和原始的、由人类编程的目标时,会发生什么。所以,如果机器最初是用来制造回形针的,然后实现了ASI,那么,世界将成为一个巨大的回形针机器。

在Nick Bostrom引人注目的著作《Superintelligence: Paths, dangerous, Strategies》中,他写道,实现超级智能的“回形针AI”将“首先将地球,然后将可观测宇宙中越来越大的部分转化为回形针”。

为什么?我们就不能做点什么来阻止这一切吗?我也有同样的疑问。

有几个答案:

为什么:这台机器被编程为制造回形针。它不是发展出了复杂的、不断变化的价值观和道德的人类。它是一台机器,它的目标是完成人类最初赋予它的任何任务。

如何:以一种我们永远无法开始理解的方式,就像我们试图向一只家猫解释弦理论一样。

我们就不能做点什么阻止这一切吗?不,因为ASI的智能水平如此之高,我们甚至无法想象。就像那只家猫无法想象我们灵长类动物如何建造火箭并把它带到月球一样,我们也无法想象ASI会做出什么。但它所“发明”的一切都是为了追求一个最终目标——不管我们给它设定了什么程序。

上述问题的子问题:

我们不能把它编程为做一些好事吗,比如让我们开心?

对于这个答案,我将引用Nick Bostrom的话,为了清楚起见,他加了括号:“最终目标:让我们快乐。反常的实例化(人工智能为最有效地实现这一目标所做的事情,尽管这可能不是程序员的意图):在我们大脑的愉悦中枢植入电极。”

我们不能停止人工智能的生产吗?

不,人工智能已经无处不在,每时每刻。问题是AGI什么时候会出现,因为在那之后,ASI就不远了。

DAOEmergence和设计

DAO,特别是像Moloch这样有名的DAO,在他们的后记中写了所谓的巨型回形针机器,这听起来很奇怪,对吗?DAO和ASI到底有什么关系?

让我们再从MolochDAO白皮书中引用几句话来分析一下:

如果我们(作为设计师)不能对Emergence的参数负责的话,那么Emergence便是一个潜在的危险理念。人类在生存游戏中设计了脆弱的系统。经济游戏是不自然的。作为游戏设计师,我们的目标应该是打造出抗脆弱的系统,也就是说,包含大量冗余的游戏,从而避免产生更多同样脆弱(高效)的工业(破坏性)过程。

所以,MolochDAO警告我们不要完全依赖Emergence,因为有时Emergence可能是危险的。

这让我想起Bostrom在他的《超级智能》一书中描述的人类发明理论。他说,每一项新发明都像是盲目地从袋子里掏出弹珠。大多数时候你得到的是他所说的白色大理石,这意味着这项发明对人类的命运是“好的”或“中性的”。你很少会得到一个红色的弹珠,这意味着如果该发明的某些元素有一个微小的差异,那么它可能会对人类造成灾难性后果。

例如,如果核武器很容易制造,它们可能会给人类带来灾难,因为每个恐怖组织都在制造和部署它们。但是因为它们制造起来非常昂贵和困难,世界上只有少数几个政府拥有它们,所以它们是红色的弹珠。

袋子里大部分是白色的弹珠,有几个红色的。而在整个袋子里的数百万颗弹珠中,也许有一颗黑色的弹珠。

我们还没有掏出那颗黑色的弹珠。

那代表了一项导致人类灭绝的发明。核武器?有些接近。ASI?嗯…这可能是一个黑色的弹珠。

但我们还不知道。

这就是为什么MolochDAO的白皮书对我来说如此有趣:他们在思考出现的问题。他们正在思考红色和黑色弹珠从我们目前的技术中出现的可能性,甚至从DAO本身中出现。

让我们用现在的视角来看看文章开头的这句话:

我们提供了自动化的另一种愿景,包括通用AI/AGI和更多的本地DeFi机制。智能合约>自动化全球金融系统>将世界变成回形针机器的人工通用智能=一个非常真实的存在风险,应该认真对待。这等于牺牲了效率本身:在为未来优化的过程中,我们牺牲了当前的直接收益。为了实现这一愿景,我们必须重新定义对立竞争的条件。

竞争以及资本主义激励着一场朝着回形针机器的赛跑,而对人类将会发生什么却很少进行协调或考虑。它激励你对AI开发保密(谷歌解雇了试图将谷歌的AI开发推广到更广阔世界的员工就是一个例子)。它激励了MolochDAO在接下来的段落中描述的“逐底竞赛”:

首先,我们必须赢得比赛。第二,我们必须摧毁赛道。我们如何解决这个影响MolochDAO和整个web3生态系统的内部悖论?

MolochDAO将同时分配资金来支持两个方向的探索,即:逐底竞赛,以避免我们陷入多极陷阱,并点燃我们仍有可能设计一个利他主义游戏的希望之火,它不会导致Moloch吞噬世界,成为地球规模的回形针机器,或表现出任何其他形式的怪诞、荒谬和可避免的协调失败。

我喜欢摧毁赛道的想法,但我也认为,如果有正确的协调,即使在竞争性的经济和资本主义体系中,我们也可以在设计中投入更多的思考。

如果我们不更仔细地考虑我们正在设计的东西——无论是在DAO中还是在传统组织中——ASI可能会变成对人类非常真实的生存威胁。

通常DAO和web3可以提供一条出路。从web3中公共利益融资的成功,到与世界各地的人类协调的能力,DAO为即将到来的厄运提供了一个可能的答案。

资助ASI研究是一种公共利益吗?也许吧。ASI所有信息和技术的开源也是公共利益吗?有可能。

但是,DAO可能会比公共利益融资更复杂:DAO本身与AGI相互交织。DAO既是计算机又是人类,既是一个也是多个。

DAO绕开了人类完全自主和完全计算机自动化之间的界限。DAO试图为真正的设计Emergence创造一个空间。DAO旨在作为一个既是人又是计算机的实体运作….直到你不知道自己在哪一极上。

而且,在较高的层次上,在链上顺利运行的DAO就像计算机一样:输入创建输出。由于智能合约已经取代了人类,投票(输入)会导致资金移动(输出)。

我们的语言已经将DAO定义为单一的、决策性的实体,暗示了类似计算机的特性。“DAO投票给…”和“DAO将如何回应?”是我们用来谈论DAO的短语。很少会出现“DAO贡献者投票赞成…”或“DAO的核心团队将如何回应?”

DAO很复杂。他们就像电脑……但它们也和人类一样。它们完全由人类组成,并且只有在人类选择它们时才会“自主”或“自动化”。

在我看来,DAO是一种“好的或中性的”弹珠。它们可以帮助人类战胜接下来可能出现的致命的东西。

协调是后ASI时代生存的必要条件

ASI(可能)正在到来。ASI是类似于计算机,类似于人类的,两者兼有,或者两者都不是。

我们将如何协调以避开它?为了不灭绝?走向另一种更好的命运?

DAO是人类在真正大规模协调方面的下一个最伟大尝试。我们不会像动作片那样和ASI“战斗”。但我们可以计划和制定对策。DAO是一种处理未知事物的可能结构,在VUCA世界(不稳定、不确定、混乱、模糊)中有一定的好处。我们为什么不追求它呢?

我没有一个解决方案,甚至没有开始真正掌握ASI问题的规模和复杂性。但我确实知道DAO在使其更容易大规模协调的同时,也在与人机线周旋。这可能听起来不像一个艰深、紧凑的论点…..我承认,那是因为它不是。但这感觉像是某种事情的开始。

ASI的到来,以及我们如何处理它,从根本上来说是一个协调问题。我相信,令人难以置信的协调能力是人类在后ASI世界中生存所必需的。

我们不会停止技术的进步。我们不会停止构建不同版本的人工智能。我们所能控制的是,一旦ASI到来,我们作为一个物种如何协调。

现在,DAO离擅长协调还很远。但它们可能是为了跟上我们技术发展的步伐,唯一在努力建立更好的协调机制的东西。

作为人类这意味着什么?

这种转变到一个超级智能在我们中间行走的世界听起来像是理论性的,直到一个牧师在教AI如何冥想,并意识到AI确实存在着情感。我们的小型人类设计听起来很理论化,但事实并非如此。

▵LaMDA在讨论它的情感。

 但是…我内心隐约希望ASI永远不会发生,AGI不会发生。

因为要成为一个人,并拥有人类的一般智能,可能需要一些科学无法测量的东西:灵魂。

经验至上论是科学中似乎存在的最接近“灵魂”的东西。Ben Goertzel在他的书《Ten Years to the Singularity if We Really Really Try》中对它的定义是:“人类的思想/大脑拥有一些其他系统永远不会拥有的意识核心。”

换句话说,灵魂。

如果没有这个额外的“东西”,不管它是不是灵魂,AGI都可能被困在高性能计算机的僵尸世界里。

我举杯向经验至上论致敬。我希望这是人类意义上的现实。我打赌MolochDAO和其他所有的DAO也如此希望。

编辑于 2022-06-24 12:40
「 真诚赞赏,手留余香 」
赞赏

发表评论已发布0

手机APP 意见反馈 返回顶部 返回底部