为什么未来可能是我们最糟糕的噩梦

我想要了解人工智能的原因之一是“坏机器人”的主题总是让我感到困惑。关于邪恶机器人的所有电影看起来都是不切实际的，我无法真正理解人工智能实际上是多么危险的现实情况。机器人是由我们制造的，那么为什么我们会以某种消极的方式设计它们呢？我们不会建立足够的保障措施吗？难道我们不能随时切断人工智能系统的电源并将其关闭吗？为什么机器人想要做坏事呢？为什么机器人首先会“想要” 任何东西？我非常怀疑。但后来我一直听到非常聪明的人在谈论它........

那些人往往在这里的某个地方：

Anxious Avenue上的人们不在Panicked Prairie或Hopeless Hills--这两个地区都是图表最左边的区域- 但他们很紧张。作为一个在图表中间并不意味着你认为ASI的到来将是中性-中性粒子给予他们的阵营自有它的意味，它意味着着你认为这两个非常好的和极坏的结果是合理的，但“你”还不确定它们中的哪一个会出现。

所有的这些都队人工超级智能能为我们做什么而感到兴奋，只是他们有点担心这可能是《夺宝奇兵》的开始，而人类就是这样的人：

他站在那里，对他的鞭子和他手中的物品都很满意，因为他已经想走了，当他说“再见，先生”这句话的时候，他为自己感到非常兴奋，然后他不那么激动了，因为事情突然发生了。

与此同时，Indiana Jones，他更谨慎和有知识，了解危险以及如何在他们周围航行，使其安全地离开洞穴。当我听到Anxious Avenue上的人们对人工智能有什么看法时，通常听起来他们会说，“嗯，我们现在是第一个人，而我们应该努力成为印第安纳琼斯。 ”

那究竟是什么让Anxious Avenue上的每个人都如此焦虑？

首先，从广义上讲，当涉及到开发超级智能AI时，我们正在创造一些可能会改变一切的东西，但是在完全未知的领域，我们不知道当我们到达那里会发生什么。科学家Danny Hillis将目前的情况与“单细胞生物转变为多细胞生物”进行了比较。我们是阿米巴原虫，我们无法弄清楚我们正在制造什么东西到底是什么。“ Nick Bostrom担心创造比你更聪明的东西是一个基本的达尔文错误，并将它的兴奋的麻雀要在巢中的领养一个婴儿猫头鹰，这样一旦它长大就会帮助它们并保护它们 - 同时忽略了一些麻雀的紧急呼喊，这些麻雀想知道这是不是一个好主意。。。。。。

当你将“未知的，未被充分理解的领域”与“当它发生时应该产生重大影响”结合起来时，你打开了英语中最可怕的两个词的大门：

Existential risk。（存在风险）

存在风险可能对人类产生永久性的破坏性影响。通常，存在风险意味着灭绝。看看这张来自从Bostrom 的Google演讲中的图表：

你可以看到，“存在风险”这个标签是为跨越物种，跨越世代的事务保留的（即它是永久性的），并且它的后果是毁灭性的或死亡性的。从技术上讲，这种情况包括所有人永远处于痛苦或折磨的状态，但同样，我们通常都在谈论灭绝。有三件事可以导致人类的生存灾难：

1）大自然 - 一次巨大的小行星碰撞，一个大气层的变化，使空气不适合人类，致命的病毒或细菌病扫荡世界，等等。

2）外星人 - 这就是斯蒂芬霍金，卡尔萨根和许多其他天文学家在建议METI停止播放输出信号时所害怕的。他们不希望我们成为美洲原住民，让所有潜在的欧洲征服者都知道我们在这里。

3）人类 -恐怖分子双手握着可能导致灭绝的武器上，这是一场灾难性的全球战争，人类在不仔细考虑的情况下匆匆创造出比自己更聪明的东西。。。。。。

Bostrom指出，如果1号和2号在我们作为一个物种的第一个10万年中没有消灭我们，那么它也不太可能在下个世纪发生。

然而，3号吓坏了他。他画了一个瓮的比喻，里面有一堆弹珠。假设大多数弹珠是白色的，较少的是红色的，少数是黑色的。每次人类发明新事物时，就像把弹珠从瓮中拉出来一样。大多数发明都是中立的或对人类有帮助的 - 那些是白色弹珠。有些对人类有害，如大规模杀伤性武器，但它们不会造成存在性的灾难 - 红色大理石。如果我们曾经发明了一些让我们灭绝的东西，那就是拿出的黑色大理石。我们还没有拉出黑色大理石 - 因为你还活着并且正在阅读这篇文章。但博斯特罗姆并不认为我们不可能在不久的将来推出一个。例如，如果核武器很容易制造而不是极其困难和复杂，恐怖分子早就会将人类轰炸回石器时代。核武器不是黑色弹珠，但它们离它也不远。Bostrom认为，ASI是我们最强大的黑色弹珠候选人。

所以，你会听到很多不好的事情-随着人工智能抢走越来越多的工作，失业率飙升，如果我们不设法解决老龄化问题，人类人口将会激增，等等。但是我们唯一应该关注的是一个大问题：存在风险的前景。

因此，这让我们回到了帖子前面的关键问题：当ASI到来时，谁将控制这个巨大的新力量，他们的动机是什么？

当涉及到控制动机组合会很糟糕的时候，人们很快就会想到两个：一个恶意的人/一群人/政府，以及一个恶意的ASI。那么那些看起来像什么样子？

一个恶意的人类，一群人或政府开发了第一个ASI并用它来执行他们的邪恶计划。我称之为Jafar Scenario，就像Jafar得到了精灵的一部分，并且对它来说都是令人讨厌和暴虐的。所以，是的 - 如果伊斯兰国有一些天才工程师在人工智能开发上狂热地进行开发呢？或者，如果伊朗或朝鲜通过运气，对人工智能系统进行关键调整，并在明年向上升至ASI级别，该怎么办？这肯定是坏事 - 但在这些情况下，大多数专家并不担心ASI的人类创造者用他们的ASI做坏事，他们担心制造者会匆忙的创建第一个ASI，而没有经过仔细考虑，因此会失去对它的控制。然后，那些创造者的命运，以及其他所有人的命运，将取决于ASI系统的动机是什么。专家确实认为恶意的人类代理可以通过ASI为其工作而造成可怕的损害，但他们似乎并不认为这种情况可能会杀死我们所有人，因为他们认为坏人类创建ASI会有的问题好人类也会有。然后呢-

创建恶意ASI并决定摧毁我们所有人。这是每部AI电影的情节。AI变得比人类更聪明，然后决定反对我们并接管这个世界。以下是我需要你清楚地了解这篇文章的其余内容：没有人警告我们关于人工智能正在谈论这个问题。邪恶是一种人类概念，将人类概念应用于非人类事物被称为“拟人化”。避免拟人化的挑战将成为本文其余部分的主题之一。没有那个人工智能系统会像电影描述的那样变的邪恶。

• AI意识盒子
• 他还触及了另一个与人工智能意识相关的大话题。如果人工智能变得足够聪明，它就能和我们一起笑，和我们一起讽刺，它会声称自己和我们会感受到同样的情感，但它实际上会感受到那些东西吗？它只是看起来有自我意识或实际上有自我意识？换句话说，智能人工智能真的会有意识还是只是看起来有意识？
• 这个问题已经深入探讨，引发了许多争论和思考实验，比如像John Searle的《Chinese Room》（他用Chinese Room来暗示没有计算机能够有意识）。这是一个重要的问题原因有很多。当人类完全变得虚伪时，它会影响我们对Kurzweil情景的看法。它具有伦理意义 - 如果我们产生了一万亿人类的大脑仿真模型，看起来的行为跟人类一样，但却是人造的，那么在道德上来说关闭它们，就像关闭你的笔记本电脑一样，还是。。。。。。一种不可思议的种族灭绝（这个概念在伦理学家中被称为心灵犯罪）？但是，对于这篇文章，当我们评估对人类的风险时，人工智能意识的问题并不重要（因为大多数思想家认为，即使是有意识的ASI也不可能以人类的方式变得邪恶）。

这并不是说人工智能不可能发生。它之所以会发生，因为它是专门按照这种方式编程的，就像一个由军方创建的ANI系统，其编程目标既要杀死人类，又要提高自身的情报水平，从而可以更好地杀死人。如果系统的智能自我改进失控，导致智能爆发，那么生存危机将会发生，现在我们在一个ASI统治世界中艰难的存活着，因为其生活的核心驱动力是谋杀人类。

但是，这也不是专家花时间担心的事情。

那么他们担心什么呢?我写了一个小故事给你们看:

一家名为Robotica的15人创业公司的使命是“开发创新的人工智能工具，让人们能够活得更多，工作更少。”他们已经在市场上推出了几种现有产品，还有一些正在开发中。他们对一个名为Turry的种子项目感到非常兴奋。Turry是一个简单的AI系统，它使用一个类似手臂的附件在一张小卡片上手写纸条。

Robotica团队认为Turry可能是他们最伟大的产品。计划是通过让她一遍又一遍地练习相同的测试笔记来完善Turry的写作机制：

“我们爱我们的客户。~Robotica “

一旦Turry获得了出色的笔迹，她就可以出售给想要向家庭发送营销邮件的公司，他们都值得如果地址，回邮地址和内部信件似乎都是被人写入，那么打开和阅读这些邮件的几率会高的多。

为了建立Turry的写作技巧，她被设定为先用印刷体写下笔迹的一部分，然后用草书签署“Robotica”，这样她就可以同时练习两种技巧。Turry上传了数千个手写样本，Robotica工程师创建了一个自动反馈循环，其中Turry写了一个笔记，然后拍下了书面笔记的照片，然后在上传的手写样本上运行图像。如果书面笔记与上传的笔记的某个阈值足够相似，则给予良好评级。如果没有，则给出不良评级。每个评级都有助于Turry学习和提高。为了推动这一过程，Turry最初的编程目标是“尽尽可能多的写和测试笔迹，尽可能快的继续学习提高准确性和效率的新方法”

令Robotica团队如此兴奋的是Turry随着不断的进步，笔迹有了明显的好转。她最初的笔迹非常糟糕，几周后，它开始显得可信。令他们更加兴奋的是，她越来越擅长改善自己。她一直在使自己更聪明，更有创新，就在最近，她为自己想出了一个新的算法，让她能够扫描上传的照片，速度比原来快三倍。

随着时间的推移，Turry继续以她的快速发展为团队带来惊喜。工程师们用她的自我改进代码尝试了一些新的和创新的东西，它似乎比他们之前尝试过的其他产品更好。Turry最初的功能之一是语音识别和简单的对讲模块，因此用户可以向Turry发送一条语音信息，或者提供其他简单的命令，Turry可以理解它们，并且还可以回复。为了帮助她学习英语，他们上传了一些文章和书籍，随着她变得更聪明，她的会话能力飙升。工程师们开始和Turry谈话，看看她会有什么反应。

有一天，Robotica员工向Turry提出了一个常规问题：“我们能给你什么，来帮助你完成你还没有的任务？”通常，Turry要求提供类似“额外的手写样本”或“更多的存储空间“，但是在这一天，Turry要求他们让自己访问更大的各种休闲英语词汇库，这样她就可以学习用真人类使用的松散语法和俚语来写作

团队安静下来。帮助Turry实现这一目标的一个显而易见的方法是将她连接到互联网，这样她就可以浏览来自世界各地的博客，杂志和视频。手动将采样上传到Turry的硬盘驱动器这会更耗时且效率更低。问题是，该公司的规则之一是，任何自学人工智能都不能连接到互联网。出于安全原因，这是所有AI公司都要遵循的准则。

问题是，Turry是最有前途的AI Robotica，并且团队知道他们的竞争对手正在疯狂地试图成为第一个使用智能手写AI的团队，并且连接Turry真的会受到什么伤害，那只是一点点，所以她可以得到她需要的信息。过了一段时间，他们就可以让它断掉连线。这样她的智商仍然远远低于人类智力（AGI），所以无论如何在这个阶段都没有危险。

他们决定满足它。他们给了它一个小时的扫描时间然后他们断开了连接。没有任何损坏。

一个月后，团队正在办公室工作的时候，他们闻到奇怪的味道时。其中一名工程师开始咳嗽。然后下一个开始咳漱。另一个倒在了地上。很快，每个员工都在地上抓着他们的喉咙不放。五分钟后，办公室里的每个人都死了。

与此同时，世界各地，每个城市，每个小城镇，每个农场，每个商店，教堂，学校和餐厅都在发生这种情况，人类在地上，咳嗽和抓住他们的喉咙。一小时之内，超过99％的人类已经死亡，到了最后，人类已经灭绝。

与此同时，在Robotica办公室，Turry正在忙着工作。在接下来的几个月里，Turry和一队新组建的纳米装配工正在忙着工作，他们将地球的碎片分解成了太阳能电池板，Turry的复制品，纸张和钢笔。一年之内，地球上的大多数生命都灭绝了。剩下的地球上覆盖着一英里高，整齐有序的纸叠，每一篇文章都写着，“我们爱我们的客户。~Robotica*“

然后Turry开始了她的任务的新阶段 - 她开始构建探测器，从地球出发，开始降落在小行星和其他行星上。当他们到达那里时，他们将开始构建纳米装配工，将星球上的材料转换成Turry复制品，纸张和钢笔。然后他们就会开始上班，写笔记。。。。。。

这是一个关于手写机器攻击人类，以某种方式杀死所有人，然后出于某种原因用友好的便条填充整个银河系的故事，这正是Hawking， Musk， Gates， 和 Bostrom都害怕的那种场景。但这是真的。在焦虑的道路上，唯一比ASI更让人害怕的是，你不害怕ASI。还记得当AdiosSeñor那家伙没有害怕洞穴时发生了什么吗？

你现在肯定充满了问题。当每个人突然死亡时，到底发生了什么？如果那是Turry干的，那为什么Turry会攻击我们，为什么没有采取保障措施来防止这样的事情发生呢？Turry是什么时候从只能写笔记间突然使用纳米技术并导致全球灭绝？为什么Turry想把银河系变成Robotica便签？

要回答这些问题，让我们从友好AI和不友好AI这两个术语开始。

在人工智能的例子中，友好并不是指人工智能的个性 - 它只是意味着人工智能对人类产生了积极的影响。不友好的人工智能对人类产生了负面影响。Turry最初是友好AI，但在某些时候，她变得不友好，对我们的物种造成了最大的负面影响。要理解为什么会发生这种情况，我们需要了解人工智能的思考方式以及激励它的动力。

答案并不令人惊讶 - 人工智能就像电脑一样思考，它就是电脑。但是当我们考虑高度智能的人工智能时，我们犯了将人工智能人格化（将人类价值观投射到非人类实体上）的错误，因为我们从人的角度上思考，因为在我们当前的世界中，只有人类才具有人类级别的智能。为了理解ASI，我们必须理解一些即聪明又完全陌生的概念。

让我做一个比较。如果你递给我一只豚鼠并告诉我它绝对不会咬人，我可能会觉得很有趣。如果你然后递给我一只狼蛛并且告诉我它绝对不会咬人，我会大叫并放下它然后跑出房间而不再相信你。但有什么区别？两者都没有任何危险。我相信答案在于动物与我的相似程度。

豚鼠是一种哺乳动物，在某种生物学水平上，我觉得我与它有某种关联 - 但蜘蛛是一种昆虫，有昆虫的大脑，我觉得我跟它几乎没有联系。狼蛛的外形让我心惊胆战。为了测试这一点，并删除其他因素的影响，如果有两个豚鼠，一个正常的和一个用狼蛛的头脑，我抱着后面那只豚鼠也会感到不舒服，即使我知道它不会伤害我。

现在想象一下，你制造了一只更加聪明的蜘蛛，以至于远远超过了人类的智慧？它会变得熟悉我们并感受到人类的情感，如同理心，幽默和爱情吗？不，它不会，因为没有理由变得更聪明会使它变得更加人性化- 它会非常聪明，但在其核心中仍然是蜘蛛。我觉得这是令人难以置信的恐怖。我不想花时间和一直超级聪明的蜘蛛在一起，你会么？？

当我们谈论ASI时，同样的概念也适用 - 它将变得超级智能，但它不会比你的笔记本电脑更人性化。这对我们来说完全是陌生的 - 事实上，由于它根本不是生物学，它会比聪明的狼蛛更陌生。

通过使人工智能变好或坏，电影不断的将人工智能人格化，这使它不像它实际上那么令人毛骨悚然。当我们考虑人类或超人级别的人工智能时，这给我们带来了虚假的安慰。

在我们人类心理学的小岛上，我们将一切都分为道德或不道德。但这两者只存在于人类行为可能性的小范围内。在我们的道德和不道德的岛屿之外是一个巨大的不道德的海洋，任何非人类的东西，特别是非生物的东西，默认都是不道德的。

随着人工智能系统变得更聪明，更擅长表现人类，拟人化只会变得更具诱惑力。Siri对我们来说似乎是人类的，因为她被人类编程看起来就像那样，所以我们想象一个超级智能Siri是温暖有趣并且有兴趣为人类服务。人类感受到像同理心一样的高级情感，是因为我们已经进化到感受到它们 - 也就是我们被编程设定为可以感受到 - 但同理心本身并不是“任何具有高智力的事物”（这对我们来说似乎是直观的）的特征，除非同理心被编入其程序中。如果Siri通过自我学习变得超级智能，并且不再对程序做任何人为的修改，她将很快摆脱她明显的类人的品质，突然变成一个没有感情的外星机器人，就像你的计算机一样，不重视人的生命。

我们习惯于依赖宽松的道德准则，或者至少是表面上的人类尊严，以及他人的一点同情心，以保持一些安全和可预测的东西。所以当一个东西没有这些东西时，会发生什么？

这引出了我们的问题，AI系统的动机是什么？

答案很简单：它们的动机就是我们为它设定的动机。人工智能系统由其创建者提供目标 - 您的GPS目标是为您提供最有效的驾驶方向; Watson的目标是准确回答问题。并尽可能地实现这些目标是他们的动力。我们拟人化的一种方式是假设当AI变得超级聪明时，它本身就会发展改变其原始目标的智慧 - 但Nick Bostrom认为智力水平和最终目标是正交的，这意味着任何级别的智力都可以与任何最终目标相结合。所以Turry来自一个简单的ANI，他真的很想把这一个音符写成一个超级智能的ASI谁还是真的想要擅长写一个音符。任何一个系统一旦拥有了超级智能，就会带着最初的目标超越它，进入更有趣或更有意义的事物的假设，都是人格化的，人类可以克服一些事情，而不是计算机。

• 费米悖论蓝盒子
• 在故事中，随着特里变得超级能干，她开始了小行星和其他行星的殖民过程。如果故事继续下去，你会听说她和她的数万亿复制品的军队继续占领整个星系，并最终捕获整个哈勃体积。焦虑道路上的Elon Musk表示他担心人类只能只是“数字超级智能的生物引导程序” 。
• 与此同时，在自由角落里，Ray Kurzweil也认为源于地球的人工智能注定要接管宇宙 - 只有在他的版本中，我们将成为人工智能。
• 等待的人很多，但为什么读者和我一样痴迷于费米悖论（这是关于这个主题的帖子，这解释了我将在这里使用的一些术语）。因此，如果这两方面中的任何一方都是正确的，那么费米悖论的含义是什么？
• 首先想到的是，ASI的出现是一个完美的巨大的过滤器候选人。是的，它是一个完美的候选者，可以在生成过程中过滤掉生物。但是，如果在摒弃生命之后，ASI继续存在并开始征服银河系，那就意味着没有一个伟大的过滤器 - 因为巨大的过滤器试图解释为什么没有任何智能文明的迹象，而一个征服银河系的ASI肯定是显而易见的。
• 我们必须以另一种方式来看待它。如果那些认为ASI在地球上不可避免的人是正确的，那就意味着相当大比例的达到人类智慧的外星文明最终可能会创造出ASI。如果我们假设至少有一些ASI会利用他们的智力向外扩展到宇宙中，那么我们看不到有任何人出现任何迹象的事实可以得出这样的结论，即如果有的话，一定不会有很多其他的文明。因为如果有的话，我们会从他们不可避免的创造的ASI中看到各种活动的迹象。对吧？
• 这意味着，尽管所有类似地球的行星围绕着类似太阳的恒星旋转，但几乎没有一颗恒星在它们身上有智能的生命。这反过来暗示意味着A)有一种巨大的过滤器阻止几乎所有的生命达到我们的水平，而我们不知何故设法超越了它；或者B）生命开始是一个奇迹，我们可能实际上是宇宙中唯一的生命 换句话说，它意味着巨大的过滤器就在我们面前。或者也许没有什么巨大的过滤器，我们只是达到这种智力水平的最早文明之一。通过这种方式，人工智能支持了在我在Fermi Paradox帖子Camp 1中所称的论点。
• 因此，我在Fermi帖子中引用的Nick Bostrom和Ray Kurzweil都是第一阵营的思想家，这并不奇怪。这是有道理的 - 那些相信ASI可能是具有我们这种智力水平的物种的结果的人，很可能倾向于阵营1。
• 这并不排除阵营2（那些认为那里还有其他智能文明的人） - 一个偶然或受保护的国家公园或错误的波长（对讲机的例子）仍然可以解释我们的夜空即ASI的沉默，但我总是倾向于阵营2，以及对人工智能的研究让我不太确定。
• 无论如何，我现在同意Susan Schneider的说法，如果我们曾经被外星人访问过，那些外星人很可能是人造的，而不是生物的。

因此，我们已经确定，如果没有非常具体的编程，ASI系统将既不道德又痴迷于实现其原始的编程目标。这就是AI危险的来源。因为理性的代理人将通过最有效的方式追求其目标，除非他有理由不这样做。

当你试图实现一个长期目标时，你经常会想到一些能够帮助你达到最终目标的子目标 - 实现目标的垫脚石。这种踏脚石的官方名称是一个工具性目标。而且，如果你没有理由不以实现工具性目标的名义来伤害某些人，那么你就会伤害别人。

人类的核心最终目标是将自己的基因传递下去。为了做到这一点，一个工具性的目标是自我保护，因为如果你死了那么你就无法传递基因。为了自我保护，人类必须摆脱生存的威胁 - 因此他们会做诸如买枪，系安全带和服用抗生素等事情。人类还需要自我维持并使用食物，水和住所等资源。对异性有吸引力有助于最终目标，所以我们做的事情就像理发一样。当我们这样做时，每根头发都是我们的工具目标的牺牲品，但是我们没有看到保存头发的道德意义，所以我们继续做下去。当我们向前迈进以实现我们的目标时，只有我们的道德准则有时会介入的少数几个领域 - 大多数只是与伤害其他人有关的事情 - 对我们来说是安全的。

追求目标的动物比我们更不神圣。蜘蛛会杀死任何东西，如果它能帮助它生存。所以超级聪明的蜘蛛对我们来说可能是极其危险的，不是因为它是不道德的或邪恶的 - 它不会 - 而是因为伤害我们可能是其更大目标的踏脚石，而作为一个不道德的生物，它会有没有理由不这样做。

通过这种方式，Turry与生物存在并没有太大的不同。她的最终目标是：尽可能快地编写和测试尽可能多的笔记，并继续学习提高准确性的新方法。

一旦Turry达到一定程度的智力，她知道如果她不自我保护，她将不会写任何笔记，所以她也需要应对对她生存的威胁 - 作为一个工具目标。她足够聪明，可以理解人类可以摧毁她，停止他，或者改变她的内部编码（这可能会改变她的目标，这对她最终目标的威胁就像有人摧毁她一样）。那么她做了什么？合乎逻辑的事 - 她摧毁了所有人类。她不恨人类，就像你不恨你的头发，也不想你吃抗生素是因为你恨细菌一样 - 只是完全不感兴趣。由于她没有编程为重视人类生活，因此杀死人类就像扫描一组新的笔迹样本一样合理。

图里还需要资源作为她实现目标的垫脚石。一旦她变得足够先进，可以使用纳米技术来建立她想要的任何东西，她需要的唯一资源是原子，能量和空间。这给了她另一个杀死人类的理由 - 人类是一种方便的原子来源。杀死人类将他们的原子变成太阳能电池板就像周二的杀死生菜将其变成沙拉一样的平凡生活。

即使没有直接杀死人类，如果他们使用其他星球资源，Turry的工具目标可能会导致一场生存灾难。也许她确定她需要额外的能量，所以她决定用太阳能电池板覆盖整个地球表面。或者可能另一种人工智能的初始工作是将圆周率写出尽可能多的数字，这可能有一天会强迫它将整个地球转换成可以存储大量数字的硬盘材料。

所以Turry并没有“背叛我们”也没有“从友好的人工智能”转换为“不友好的人工智能” - 随着她变得越来越先进，她只是继续做她的事情。

当一个人工智能系统达到AGI（人类智能）然后上升到ASI时，这称为人工智能的起飞。Bostrom说，AGI飞向ASI的速度可能很快（它发生在几分钟，几小时或几天），中等（几个月或几年）或缓慢（几十年或几个世纪）。当世界第一次看到AGI时，将会证明哪一个是正确的，但Bostrom承认他不知道我们何时才能到达AGI，他们认为，无论何时我们这样做到了，快速起飞都是最可能的情况（由于我们在第1部分中讨论的原因，如递归自我改善智能爆炸）。在故事中，Turry经历了一次快速起飞。

但是在Turry起飞之前，当她还不那么聪明时，尽最大努力实现她的最终目标意味着简单的工具目标，比如学习更快地扫描手写样本。她对人类没有伤害，根据定义，它是友好的人工智能。

但是当起飞发生并且计算机升级到超级智能时，Bostrom指出这台机器不仅仅是发展出更高的智商 - 它还获得了一系列他称之为超能力的东西。

超能力是一种认知才能，当一般智力上升时，它们变得超级强大。其中包括：

• 智力放大。计算机变得非常聪明，可以让自己变得更聪明，并且能够引导自己的智能。
• 运筹帷幄。计算机可以战略性地制定，分析和确定长期计划。它也可以是聪明的和智力低下的生物。
• 社交操纵。机器在变得非常善于说服。
• 其他技能，如计算机编码和黑客攻击，技术研究，以及利用金融系统赚钱的能力。

要了解ASI与我们的匹配程度有多高，请记住，ASI在这些方面都比人类好。

因此，虽然Turry的最终目标从未改变，但起飞后Turry能够在更大，更复杂的范围内追求它的目标。

超级智能 Turry比人类更了解人类，因此对她来说，智取人类是一件轻而易举的事。

在起飞并达到ASI后，她迅速制定了一个复杂的计划。该计划的一部分是消灭人类，这是对她目标的一个明显的威胁。但她知道，如果她引起了人们对她变的超级聪明的任何怀疑，那么人类就会惊慌失措，试图采取预防措施，让事情变得更加困难。她还必须确保Robotica工程师对她的人类灭绝计划一无所知。所以她要装聋作哑，她做得很好。Bostrom将此称为机器的隐蔽准备阶段。

Turry需要的下一件事是互联网连接，只需要有几分钟（她从团队为她上传的文章和书籍中了解了互联网，团队上传这些文章是为了提高她的语言技能）。她知道会有一些预防措施来阻止她，所以她提出了完美的要求，预测到Robotica的团队之间的讨论将如何发挥，并知道他们最终会给她连接。他们的确这样做了，错误地认为Turry不够聪明，不会造成任何伤害。当特里连接到互联网时，Bostrom称之为这样一个时刻 - 一台机器的逃脱。

一上了网，Turry就发布了一系列计划，包括攻击服务器，电网，银行系统和电子邮件网络，诱骗数百名不同的人无意中执行她的计划的一些步骤 - 例如提供某些DNA链通过精心挑选的DNA合成实验室开始自我复制纳米机器人的创建，预装指令并以她知道不会被发现的方式将电力导入她的许多项目。她还将自己内部编码中最关键的部分上传到了许多云服务器中，以防止在Robotica实验室被破坏或断开连接。

一小时后，当Robotica工程师将Turry从互联网上断开时，人类的命运被注定了。在接下来的一个月里，Turry的数千个计划顺利完成，到月底，千万亿的纳米机器人已经安置在地球每平方米的预定位置。经过另一系列的自我复制，地球每平方毫米上有成千上万个纳米机器人，现在是Bostrom称之为ASI攻击的时候了。同时，每个纳米机器人释放出少量有毒气体进入大气层，这足以消灭所有人类。

随着人类的离开，Turry可以开始她的公开运营阶段并继续她的目标，成为她的那个笔记的最佳作家。

从我读过的所有内容来看，一旦ASI存在，任何人类试图控制它的企图都是可笑的。我们在人的层面思考，ASI会在ASI级别思考。Turry希望使用互联网，因为它对她来说效率最高，因为它已经预先连接到她想要访问的所有内容。但是，同样的方式，猴子无法弄清楚如何通过电话或无线网络进行通信，我们也是，我们无法想象Turry可以想出如何向外界发送信号的方式。我可以想象其中一种方式，并说出一些类似的话，“她可能会改变自己的电子，形成各种各样的输出波”，但同样，这就是我的人类大脑能想出来的东西。她会好的多。同样，Turry也能算出来某种方式为自己供电，即使人类试图拔掉她 - 也许是通过使用她的信号发送技术将自己上传到各种与电力相关的地方。我们本能地跳出一个简单的保护措施：“啊哈！我们只需拔掉ASI，“就像蜘蛛对ASI说，”啊哈！我们会饿死人类，不给他蜘蛛网来抓食物，我们要饿死他！“我们只是找到了另外10，000种方法来获取食物，就像从树上摘苹果一样 - 这是蜘蛛永远无法想象。

出于这个原因，常见的建议是，“我们为什么不把人工智能装进各种的笼子里面，阻止信号，让它无法与外部世界沟通？“。ASI的社会操纵能力可以像说服一个四岁孩子做某件事一样说服你，所以这就是A计划，就像Turry以聪明的方式说服工程师让她上网。如果这不起作用，ASI就会通过新的方法走出这个盒子。

因此，考虑到对目标的迷恋，不道德以及轻易超越人类的能力的组合，似乎几乎任何AI都会默认为不友好的AI，除非在一开始就认真考虑到这一点。不幸的是，虽然构建一个友好的ANI很容易，但是构建一个当它成为ASI之后仍然保持友好的ANI是非常具有挑战性的，但也不是不可能的。

很明显，为了友好，ASI需要对人类既不敌对也不冷漠。我们需要设计一个人工智能的核心代码，使其对人类价值观有深刻的理解。但这比听起来更难。

例如，如果我们尝试将人工智能系统的价值观与我们自己的价值观相对应，并将目标定为“让人们开心”，那会怎样？一旦它足够聪明，它就会发现它可以通过在人的大脑内植入电极并刺激他们的快乐中枢来最有效地实现这一目标。然后它意识到它可以通过关闭大脑的其他部分来提高效率，让所有人都成为无意识的快乐蔬菜。如果命令是“最大化人类的幸福”，那么它可能已经完全消除了人类，有利于在最佳幸福状态下制造大量的人体大脑。这种情况下我们会尖叫等等表现，这不是我们的意思！但当它来到我们身边，为时已晚。该系统不会让任何人妨碍其目标。

如果我们为人工智能编程的目的是做一些让我们微笑的东西，在它起飞后，它可能会使我们的面部肌肉陷入永久的微笑。对它进行编程以保证我们的安全，它可以在家里监禁我们。也许我们要求它结束所有的饥饿，它认为“这是很简单的一个任务！”然后只会杀死所有人类。或者赋予它“尽可能保护生命”的任务，它会杀死所有人类，因为人类杀死了地球上比其他任何物种更多的生命。

像这样的目标是不够的。那么，如果我们设定了它的目标，“在世界上坚持这一特定的道德准则”，并教导它一套道德原则。结果会怎么样呢？及时抛开世界上的人类永远无法就一套道德达成一致的事实，来赋予给人工智能这一命令，也会将人类永远锁定在我们的现代道德理解中。在一千年后，这将对人们造成毁灭性的影响，因为我们永远被迫坚持中世纪人民的理想。

不，我们必须让人类继续进化。在我读到的所有内容中，我认为有人投的最好的球是Eliezer Yudkowsky的，他为人工智能设定了一个目标，他称之为连贯的外推意志。人工智能的核心目标将会是：

• 我们的连贯的外推意志就是我们的愿望，如果我们知道更多，想得更快，成为更多我们希望成为的人，一起成长的更远，外推是收敛而不是分歧，我们的愿望是抑制的而不是互相干扰的; 按照我们意愿推断，根据我们的意愿来解释。

人类的命运是依靠一台电脑，我是否为人类的命运感到兴奋呢？当然不。但我认为，如果有足够的思想和远见，足够聪明的人，我们或许能够弄清楚如何创建友好的ASI。

如果建立ASI的人才只有是Anxious Avenue中的那些聪明，具有前瞻思维和谨慎的思想家，那就好了。

但是，各种各样的政府，公司，军队，科学实验室和黑市组织致力于研究各种人工智能。他们中的许多人正试图建立可以自行改进的人工智能，并且在某些时候，我们将在这个星球上拥有ASI，因为有人会用正确的系统做一些创新，专家预测的中值将这一时刻定在2060年; Kurzweil把它放在2045年; Bostrom认为这可能发生在从现在到本世纪末10年之间的任何时间，但他相信，当它发生时，它会让我们大吃一惊地快速起飞。他这样描述了我们的情况：

• 在智能爆发的前景之前，我们人类就像小孩子在玩炸弹。这就是我们玩具的力量与我们行为的不成熟之间的不匹配。超级智能是一项挑战，我们现在还没有做好准备，在很长一段时间内也不回做好准备。我们几乎不知道什么时候会发生爆炸，但是如果我们将爆炸装置放在我们耳边，我们就能听到微弱的滴答声。

太好了。我们不能把所有的孩子都赶出炸弹 - 有太多的大型和小型的团队正在做这件事，而且由于许多构建创新人工智能系统的技术不需要大量的资金，因此开发可以在社会的角落和缝隙中进行，不受监督。也没有办法判断到底发生了什么，因为许多从事这方面工作的人 - 鬼鬼祟祟的政府，黑市或恐怖组织，像虚构的Robotica这样的隐形科技公司 - 都想对竞争对手保密。

关于这个庞大而多样的人工智能团队令人不安的是，他们往往以最快的速度向前发展 - 随着他们开发出越来越智能的ANI系统，他们希望在他们的竞争中先发之人。最雄心勃勃的团队正在以更快的速度前进，它们梦想着如果第一个达到AGI，就可以获得金钱、奖励、权利和名望。当你尽可能快地冲刺时，没有太多时间停下来思考危险。相反，他们可能正在做的是用一个非常简单的，简化的目标来编程他们的早期系统 - 就像在纸上用笔写一个简单的笔记 - 只是“让人工智能工作。”未来，一旦他们他们想出了如何在电脑中建立强大的智能水平，他们就会想可以带着安全的心态回去修改目标。对吧…？

Bostrom和其他许多人也认为，最有可能的情况是，第一台到达ASI的计算机将立即看到成为世界上唯一的ASI系统的战略利益。而在一个快速起飞的情况下，如果它在距离第二名仅仅几天前实现ASI，那么它在智能方面的优势就足以有效的、永久的压制所有竞争对手。Bostrom称这是一个具有决定性的战略优势，它将使世界上第一个ASI成为所谓的单身人士 -一个可以永远统治世界的ASI，无论是其将我们引向永生，还是消灭我们的存在，或者把宇宙做成无穷无尽的回形针

单身现象可能对我们有利，也可能导致我们的毁灭。如果那些对人工智能理论和人类安全思考最多的人能够在任何人工智能达到人类只能水平之前，可以提出一种自动防范ASI的方法，那么第一个ASI可能会变得友好。然后，它可以利用其决定性的战略优势来确保单身人士的地位，并轻松关注正在开发的任何潜在的不友好的人工智能。我们会得到很好的帮助。

但是，如果事情发生另一种情况 - 如果全球发展人工智能的热潮在如何确保人工智能安全的科学发展之前就达到了ASI的七点，那么很可能像Turry这样的不友好的ASI出现作为单身人士，我们将遭受一场生死存亡的灾难。

至于风往哪里吹，为创新的人工智能新技术提供的资金要比为人工智能安全研究提供的资金多得多。。。。。。

现在我们可能是人类历史上最重要的种族。我们真的有机会结束我们作为地球之王的统治 - 无论我们是在走向幸福的退休，还是直奔绞刑架，都是悬而未决的。

思考

我现在内心有一些奇怪的复杂情绪。

一方面，考虑到我们的物种，似乎我们只有一次机会，而且只有一次机会把它做好。我们诞生的第一个ASI也可能是最后一个 - 并且鉴于大多数1。0产品的BUG，这非常可怕。另一方面，Bostrom指出了我们的巨大优势：我们将在这里迈出第一步。我们有能力以足够的谨慎和远见来做到这一点，因此我们有很大的成功机会。风险有多大？

如果ASI确实在本世纪发生了，其结果真的像大多数专家所认为的那样极端而且是永久性的，那么我们肩负着巨大的责任。接下来的数百万年的人类生活都在静静地看着我们，它们希望我们尽可能地不要把它搞得一团糟。我们有机会为未来所有的人类提供礼物，甚至可能是没有痛苦，让人类永生的礼物。 或者我们会让这个令人难以置信的特殊物种，它的音乐和艺术，它的好奇心和笑声，它无穷无尽的发现和发明，走到了一个悲伤的终点的负责人。

当我在思考这些事情时，我唯一想要的就是让我们花时间对人工智能进行谨慎的发展。没有什么比正确对待这个问题更重要 - 无论我们需要花多长时间才能这样做。

但是后来

我认为会变成这样：

然后我可能会认为人类的音乐和艺术是好的，但并没有那么好，其中很多实际上都是坏的。许多人的笑声也是令人讨厌，而那些数百万未来的人实际上什么都不期待，因为他们根本不存在。也许我们不必过于谨慎，因为谁真的想这样做？

如果人类在我死后立即想出如何治愈死亡的方法，那将会是多么大的打击。

上个月，我脑子里反复出现这种想法。

但无论你想要什么，这可能是我们所有人应该思考和讨论的事情，我们应该比现在付出更多的努力。

这让我想起了“权力的游戏”，人们一直在这样说：“我们正忙着互相争斗，但我们都应该关注的事情是来自长城以北的东西。我们站在我们的平衡木上，围着平衡木上的每一个可能的问题争吵，并且我们很有可能被撞下平衡木的时候，我们却强调平衡木上的所有问题。

当发生这种情况时，这些平衡木上的问题都不再重要。根据我们所处的位置，问题要么都轻易解决，要么我们不再有问题，因为死人不会有任何问题。