我们面临着一个非常困难的问题，在一个未知的时间内来解决它，而人类的整个未来很可能取决于这个问题。——Nick Bostrom

欢迎阅读文章系列的第二部分的上篇。

第1部分开始，我们讨论了弱人工智能（ANI）（人工智能专注于一个狭窄的任务，如导航或下棋），以及它如何在我们周围的世界起着作用。然后，我们研究了为什么从ANI到强人工智能（AGI）（人工智能至少与人类一样具有智力能力）从一开始就是如此巨大的挑战，我们讨论了为什么技术进步的指数速度告诉我们'过去看到的情况表明，AGI可能并不像看起来那么遥远。第一部分以我告诉你的事实，一旦我们的机器达到人类智能，他们可能会有这样的表现：

让我们盯着屏幕，看着我们对人工超级智能的强烈概念，ASI（比任何人都聪明的人工智能），并试图弄清楚当我们思考这个问题时，我们应该抱着那种情绪。

在我们深入研究之前，让我们提醒一下自己机器来说，具备超级智能意味着什么。

一个关键的区别是高速率的超级智能和高质量的超级智能之间的区别。通常情况下，当他们想象一个超级智能计算机的人首先想到的是这是跟人一样聪明，但可以比人想的更多，更快的人工智能，而且比人类快了一百万倍，这意味着它可以在五分钟内算出人类需要计算十年的数据。

这听起来令人印象深刻，而且ASI的思维速度远远超过任何人，但真正的区别在于它在智力素质方面的优势，这是完全不同的东西。人类之所以比黑猩猩拥有更高的智力，并不是因为思维速度不同 - 而是因为人类的大脑中包含许多复杂的认知模块，这些模块可以实现复杂的语言表达、长期计划或抽象推理等功能，黑猩猩的大脑中并不存在这些功能。将黑猩猩的大脑加速数千倍不会使其达到我们的水平 - 即使在十年的时间里，他也无法弄清楚如何使用一套定制工具来组装一个复杂的模型，而一个人类只需要几个小时就可以完成。无论黑猩猩花多少时间尝试都不可能实现人类的认知功能。

但不仅是黑猩猩不能做我们所做的，他的大脑无法理解世界的存在，一个黑猩猩也明白什么是人，什么是摩天大楼，但他不能够理解摩天大楼是由人类建造 的。在他的世界里，任何巨大的东西都是大自然，历史的一部分，而他不仅无法建造一座摩天大楼，也无法意识到任何建造摩天大楼可以由任何一个人来做。这就是智力素质差异的结果。

在我们今天谈论的智力范围方案中，甚至生物更小的范围中，黑猩猩与人类之间的质量差距也很小。在之前的文章中，我用楼梯描述了生物认知能力的范围：

为了理解超级智能机器有多大的优势，想象一下一个人站在淡蓝色的阶梯上，而一台超级智能站在深绿色的阶梯上，只比人类高两阶。这台机器可能只有一点点的超智能，但它相对于我们的认知能力的提高与我们刚才描述的黑猩猩和人类的差距一样大。就像黑猩猩无法理解那些可以建造的摩天大楼一样，即使机器试图向我们解释，我们也不会明白深绿色阶梯上的机器可以做什么，更不用说让我们去做这些事。这只比我们高出两步。这个楼梯上的第二至最高台阶上，一台机器对我们来说就像我们对蚂蚁一样 - 它可以尝试很多年来试图教会我们它所知道的最简单的东西，但是这种尝试是没有希望的。

但是，我们今天所谈论的这种超级智能在这个楼梯上远远超出了任何东西。在智能爆炸中 - 机器越聪明，它就能越快地增加自己的智能，直到它开始飙升向上 - 一台机器可能需要数年时间才能从黑猩猩台阶上上升到上面的那一阶，但也许只有几个小时就能跳到我们上方第二阶的深绿色台阶上，当它比我们高出十步时，它可能每秒都会跳跃四阶。这就是为什么我们需要意识到，在关于第一台机器达到人类级别AGI的重大新闻故事发布后不久，我们可能会面临与这个在阶梯上(可能高出一百万倍)的东西在地球上共存。

而且，由于我们刚刚确定了一个绝望的活动来试图理解机器的力量只比我们高出两个步骤，让我们非常具体地说明了什么叫一无所知，我们无法知道做出ASI后会做出什么或带来什么样的后果。 任何装模作样的人都不会明白超级智能的含义。

在数亿年的时间里，进化在缓慢而渐进的推进着生物大脑的发展，从这个意义上说，如果人类诞生了ASI机器，我们将极大地践踏了进化。或者也许这也是进化的一部分 - 也许进化的工作方式就是智能越来越多，直到它达到能够创造机器超级智能的水平，而这个级别就像一个引发全球变化的爆炸的绊脚石。决定着所有生物的新未来：

我们稍后将讨论的原因，科学界的很大一部分人认为，问题并不是我们是否会达到智力线，而是我们什么时候会撞上这条线，这是一条有点疯狂的信息。

那我们该怎么做呢？

世界上没有人，特别是我，能告诉你当我们遇到这条线时会发生什么。但牛津哲大学哲学家兼首席人工智能科学家Nick Bostrom认为，我们可以将所有的结果归纳为两大类。

首先，看一下历史，我们可以看到声明是这样运作的：物种突然出现，存在了一段时间，经过一段时间后，它们不可避免地从存在的平衡木上掉下来并走向灭绝 -

“所有物种最终都会灭绝”和“所有人类最终都会死”一样，在历史上这是一条可靠的规则。到目前为止，99。9％的物种已从平衡木上掉下来，而且很明显，如果一个物种沿着梁向下摇晃，那么对于其他一些物种，有一些大自然的风或突然之间有小行星将其击倒都只是时间问题。Bostrom用一种吸引状态 - 来表示一个地方的物种都在摇摇欲坠的面临掉入毁灭的深渊。

虽然我遇到的大多数科学家都承认ASI有能力使人类灭绝，但许多人也相信，ASI的能力可以用来将人类乃至整个物种带到第二种状态-物种不朽。Bostrom认为，物种不朽与物种灭绝同样具有吸引人的状态，即如果我们能做到这一点，我们将永远不受灭绝的影响 - 我们将拥有战胜死亡的机会。因此，即使到目前为止所有物种都已经从平衡木上掉下来并濒临灭绝，Bostrom仍然相信平衡木还有两面，只是地球上的任何东西都没有足够的智能来弄清楚如何到达另一面。

如果Bostrom和其他人对的，从我所读到的一切看来，它们似乎真的可能是对的，而我们有两个相当令人震惊的事实要接受：

1）ASI的出现将首次为物种在平衡木上的不朽的一侧上着陆提供可能性。

2）ASI的出现将产生如此难以想象的巨大影响，无论朝着那个方向，都很可能会把人类从平衡木上撞下来

很可能当我们进化到智力线的时候，它会永久地结束人类与平衡木的关系并创造一个新世界，不管有没有人类。

似乎人类当前唯一应该问的问题是：我们什么时候才能达到那条线，当这种情况发生时，我们会落在这跟平衡木的哪一边？

世界上没有人知道这两个问题的答案，但是许多聪明的人已经花了数十年的时间来思考这个问题。我们将用这篇文章的其余部分来探索他们提出的内容。

让我们从问题的第一部分开始：我们什么时候达到那条线？

也就是第一台机器达到超级智能需要多长时间？

不出所料，意见分歧很大，这是科学家和思想家之间的一场激烈的争论。但是许多人，如Vernor Vinge授，科学家Ben Goertzel，Sun Microsystems联合创始人Bill Joy，或者最著名的发明家和未来学家Ray Kurzweil，都同意机器学习专家Jeremy Howard在TED演讲中提出的这张图表：

这些人相信，这种情况很快就会发生 - 指数增长正在发挥着巨大的作用，机器学习现在虽然只是缓慢的向我们逼近，但在未来几十年内会在我们身边呼啸而过。

但是其他一些人，如微软联合创始人Paul Allen，研究心理学家Gary Marcus，纽约大学计算机科学家Ernest Davis和科技企业家Mitch Kapor，认为像Kurzweil这样的思想家大大低估了人类面对挑战的能力，并认为我们实际上并不是那么的接近那条线。

Kurzweil阵营反驳说，唯一低估的是指数增长的速度，并且他们将怀疑者与那些在1985年看到互联网增长缓慢的人群进行比较，并认为在群人在不久的将来对任何有影响力的事情都不会有影响。

怀疑者可能会反驳，他们认为使智力进步所需要的努力也会随着后面的每一步的成倍增长而变的更加苦难，这将抵消技术进步的典型指数性质，等等。

包括Nick Bostrom在内的第三个阵营认为，两派都没有任何理由对时间线进行保证，并且承认:A)这绝对可能在不久的将来发生;B)但它可能需要更长的时间。

还有一些人，比如哲学家Hubert Dreyfus，认为三个群体都天真地认为相信会有智力线，他们认为ASI可能永远无法实现。

那么当你把所有的这些意见放在一起时，你会得到什么？

2013年，VincentC。Müller和Nick Bostrom进行了一项调查，在一系列会议上向数百名AI专家提出以下问题：“就这个问题而言，假设人类的科学活动没有重大的负面影响的情况下继续发展。到了哪一年你会看到这样的HLMI4存在的概率（10％/ 50％/ 90％的可能性）调查要求他们说出一个乐观的年份（10的可能性可以拥有AGI） ），一个现实的猜测（那一年我们获得AGI有50%的可能性-即在那一年后我们更可能拥有AGI），以及一个安全的猜测（90%的机会可以在那一年拥有AGI）。作为一个数据集收集在一起，结果如下：

乐观年份中位数（10％可能性）：2022年

实际年份中位数（50％可能性）：2040年

悲观年份中位数（90％可能性）：2075年

所以参与者认为我们25年后才会有可能拥有AGI。2075年的90％的中位答案意味着，如果你现在是青少年，那么中位数的受访者，以及超过一半的AI专家，几乎可以确定AGI将在你有生之年发生。

最近由作家James Barrat在Ben Goertzel年度AGI会议上进行的另一项研究，他取消了百分比，只是简单地询问参与者何时认为AGI将会实现。- 2030年，2050年，2100年，还是2100年之后，或者永远不会实现。结果是：

到2030年：42％的受访者选择了这个选项

到2050年：25％的受访者选择了这个选项

到2100年：20％的受访者选择了这个选项

在2100年之后：10％的受访者选择了这个选项

永远不会：2％的受访者选择了这个选项

非常类似于Müller和Bostrom的结果。在Barrat的调查中，超过三分之二的参与者认为AGI将在2050年出现，而只有不到一半的人预测AGI将在未来15年内出现。同样令人吃惊的是，只有2％的受访者认为AGI不会成为我们未来的一部分。

但是，AGI不是那条线的话。那么专家什么时候认为我们会达到ASI？

Müller和Bostrom还向专家询问，他们认为我们什么拥有ASI的可能性:A)在拥有AGI的两年内就会拥有ASI(几乎是马上就进行了智能爆炸)和B)在三十年内拥有ASI。结果是:

根据答案的中值表名，快速的从（2年）AGI→ASI转换的可能性仅为10％，但较长的转换30年或更短的时间，可能性为75％。

我们这些数据中的参与者有50%的可能性不会知道这个转变时间的长度，但是为了达到大致的目的，基于上面的两个答案，让我们估计他们会说是20年。所以中间意见 - 人工智能专家领域对于认为我们何时能够击中ASI的那条线的最现实的猜测中值是(对AGI的2040年预测+我们对AGI向ASI转变的20年过渡期估计] = 2060年。

当然，以上所有统计数据都是推测性的，他们只代表人工智能专家社区的意见，但它告诉我们，对这一主题最了解的人中有很大一部分会同意对能改变时间的ASI的到来估计为2060年。距今仅45年。

好吧，现在上面问题的第二部分是：当我们达到那条线的时候时，会落到平衡木的哪一侧？

超级智能将产生巨大的力量 - 对我们来说的关键问题是：

控制这份权力的人是谁，他们的动机会是什么？

对此的答案将决定ASI会是一个令人难以置信的伟大发展，还是一个令人难以置信的糟糕发展，还是介于这两者之间。

当然，专家团队又讨论了这个问题的答案。Müller和博斯特伦的调查要求参与者将概率分配到AGI会对人类的可能产生的影响上，发现反应的结果是，有52％的反应结果会是好或非常好，31％的反应结果将会是坏的或非常糟糕的。对于相对中性的反应，平均概率仅为17％。换句话说，对此最了解的人非常肯定这将是一个巨大的事情。同样值得注意的是，这些概率仅仅是指AGI的出现 - 如果问题是关于ASI，我想中性百分比可能会更低。

在我们进一步深入研究这个问题的好结果与坏结果部分之前，让我们将这个问题“它什么时候会发生？”和“它会好还是坏？”这个问题的一部分组合成一个包含视图的图表，其中包括大多数相关专家的意见：

我们稍后会详细讨论主要的阵营，但首先 - 你的观点是什么？实际上我知道你的观点是什么，因为在我开始研究这个话题之前，这也是我的观点。大多数人没有真正考虑这个主题的一些原因：

• 正如第1部分所述，电影通过呈现不切实际的人工智能场景让我们觉得人工智能在一般情况下并不值得认真对待，从而混淆了事情。如果疾病控制中心在我们的未来发布了一个关于吸血鬼的严重警告，James Barrat会将情况与我们的反应进行比较。
• 由于某种所谓的认知偏见，我们很难相信某些东西是真实的，直到我们看到证据。我敢肯定，计算机科学家在1988年经常谈论互联网可能有多大的影响，但人们可能并不会认为它能改变生活，直到它真的改变了他们的生活。这在一定程度上是因为1988年的计算机还不能做这样的事情，所以人们会看着他们的电脑并想：“真的吗？这会改变我的一生么“他们的想象力仅限于他们的个人经历告诉他们计算机是什么，这很难生动的描绘出计算机可能成为什么样子。人工智能也正在发生同样的事情。我们听到的是这会是一个大事，但因为还没有发生的，而且由于我们当前世界中使用的相对来说比较无用的人工智能的经验，我们也很难真正相信这将极大地改变我们的生活。这些偏见是专家们所面临的，因为他们疯狂地试图通过集体的表现来引起我们的注意。
• 即使我们确实相信它 - 今天有多少次你想过你将花费大部分的时间思考不存在的事？不是很多，对吗？即使它比你今天所做的任何事情都要强烈得多吗？这是因为我们的大脑通常专注于日常生活中的小事，无论我们身处的长期环境多么的疯狂。这就是我们的思考方式。

这两篇文章的目的之一就是让你走出我喜欢"思考其他事物"的想法并进入一个专家营地，即使你只是站在上面广场上两条完全不确定的虚线的交叉点上。

在我的研究过程中，我遇到了几十种不同的观点，但我很快注意到大多数人的意见都属于我所称为的主流观点，特别是超过四分之三的专家分成了主流观点中的两个子阵营：

我们要深入研究这两个阵营。我们将在系列文章的中篇和下篇中放出针对未来的两个阵营，欢迎大家继续查看。