原标题：AI，突然有一天把人灭了？

内容来源：2018年9月18日，迈克斯?泰格马克教授在长江商学院主办的“长江大讲堂”上，进行了精彩分享，附泰格马克教授与傅盛教授的巅峰对话。笔记侠作为合作方，经主办方审阅授权发布。

嘉宾简介：迈克斯?泰格马克，未来生命研究所创始人、麻省理工学院物理学终身教授，《生命3.0》、《穿越平行宇宙》作者。

封图设计&责编| 浮灯

本文优质度：★★★★★口感：柠萌维C

当我们在思考职业生涯的时候，大家可能会想：自己还很年轻，还能生活很长的时间。

但其实，我们也应该将一部分精力用来关注一些遥远的未来。

站在未来的视角，我们的当下显得如此奇妙。

自从宇宙诞生，大约已经超过了38亿年历史，我们从地球这个蓝色星球上通过望远镜看宇宙，可以发现，宇宙比我们想象的大很多，而且基本上死气沉沉。因此，我们感受到，生命简直是一个奇迹。

那么，我们如何看待生命？如何看待我们的未来呢？

我们称最初的生命为：生命1.0阶段。

那个时候像细菌一样，没有办法在整个生命过程中学习任何东西。

我们称人类为生命2.0，因为学习东西，就像在我们的大脑中安装软件一样。

我们比老虎、狮子强大，并不是因为我们的身体很强大，而是因为我们有智能，我们很聪明。

你出生的时候，什么话都不会说，爸爸、妈妈及其他人在你大脑当中安装了一个个软件，让你学会说中文、英文、了解商业等等。

所以，这种学习的能力（设计自己软件的能力）使我们的种族成为了地球上的霸主。

生命3.0现在还不存。在设想中，3.0阶段能够设计的不仅仅是软件，还包括硬件。

现阶段，我们的技术可以说已经进入到2.1时代，我们有人工关节、心脏起搏器、人工耳蜗等应用面世。

那么我们和技术之间的关系是怎样的呢？

现在有很多人以盲目的方式在使用科技，我觉得我们应该有一份雄心——我们必须要能够操控它、引导它，让火箭带我们去往将来要去的方向。

于是，如果我们的技术还不足，就需要我们变得非常强大。

在这样的精神下，我们谈一谈AI的这三点：

3、最终我们要去往哪里

简单地说，智能就是能够完成复杂目标的能力。

解决的问题越复杂，我们就越智能。

很多人认为智能是一个非常神秘的东西，只存在于生物器官中，比如人的大脑。

这样的观点非常普遍，但我认为这其实是不对的。

智能并不复杂、神秘，也不必须通过一个生物器官才能做出来。

我们可以自己做出来人工智能的东西，智能应该可以进行计算、处理、学习等等。它还像是我们的孩子，不断在学习、成长。

为什么智能不需要任何物体的器官就能处理信息呢？

所有的功能其实非常简单：

首先需要有一些记忆，然后需要用一些功能、处理方法把这种记忆调出来，最终得出一个结论。

现在在技术当中有两个非常重要的应用方法：

方法一、我们需要有一个非常小的记忆单元，然后把它们进行复杂连接，通过这种连接、计算的方式可以出现一个非常复杂的结论。

我想在这里和大家强调：

计算的方法并不需要用一个实体存在的器官才能完成，我们只需要用非常抽象的方法让它进入到一些逻辑编辑当中，就可以把数以十亿计的单元加到一起，最终呈现出来的设备就是我们的手提电脑或者手机。

很多人认为我们可以把这样的想法直接借鉴过来，放到我们的手机和电脑上面，就可以实现AI了，至于我们的实体到底是什么，并不是重要。

因此，在过去几年当中，很多科学家全部都希望用更加高效、更加便宜的设备取代原有的计算单位，相当于用小于1的人民币价格买下北京所有的建筑物，使得我们的成本下降速率之快。

在过去的一段时间当中，我们看到人工智能的发展非常令人难以置信。

过去，机器人不能走路，现在它们却可以做后空翻。

几年之前，我们没有想象会有自动驾驶的汽车，现在火箭都可以自己进行降落了。

不久之前，人工智能还没有办法进行面部识别的工作，现在不仅可以进行面部识别，甚至可以给我们模拟出虚假的面孔并且可以用模拟的方式讲出我们自己从来没有说过的一些话。

之前人工智能还没有办法在围棋上打败人类，现在大家也都知道了AlphaGo Zero不仅可以打败围棋方面人类最好的选手，同时也在国际象棋上打败了人类最好的棋手。

它用了仅仅4小时的时间，就可以进行自动培训、机器学习，直接打败了国际象棋选手，这样的记录是人类之前难以想象的。

AI取得的这些成就让我们想到一个问题：

到底AI最终的目标在哪，它可以走到哪一步？

3.最终我们要去往哪里

我们可以想到多种多样的未来。

现在AI给我们带来的影响，在商务领域方面已经有了很大的意义。中国在支付宝、微信支付当中，已经非常领先了，这让我感到兴奋。

AI让全球的人们生活更加方便，首先是在医疗方面做出的努力。有一个研究显示，AI和人工的医生来比，它在肺癌、前列腺癌症诊断方面做的更好。

那么我们将会走多远呢？

同时，在这里还有一个更大的问题：

AI的发展速度有多快呢？

在所有任务上都能达到人的智能水平吗？

我们把这个称为AGI（通用人工智能），这个概念可能让人们认为很多工作我们不用做了，可以通过AGI来完成。

如果我们觉得这个AGI看起来有一点像科幻，其实还有更疯狂的想法，就是超级人工智能。

因为如果我们能够成功构建AGI的话，从定义上来讲，AI在很多工作上比人做得好。

包括AI本身的开发，像百度、Google、腾讯等等公司，可以把它们的人工智能工程师替换成AI本身。

这意味着AI进一步的发展基本上是随着时间的推移而发生，因为它比人的开发速度快很多。

这就提出了一个重要问题——技术的爆炸。

因为如果AI可以自我提升的话，它的发展速度会加速，产生超级人工智能，远远超过人的智能水平。

我们看一下事实，看起来的确有一点像科幻，实际上我们是否能够实现AGI呢？我们是否能够有超级人工智能呢？

有一些著名AI研究专家，如Rabeling Bluks说可能几百年之内都不会发生；还有Agael也说过“我不担心这个问题”，基本上是担心人口过多，太早了。

但是，还有其他一些同样非常著名的AI研究专家，如Habys先生，他也是Google Deepmind的开发者，他就很乐观，并且非常努力使这个愿景加速发生。

最近的一些调查发现，绝大部分的AI开发人员的想法和Habys先生的乐观情绪是一样的，并且有40年、50年这样的一个时间线。

作为商学院的学生，作为商人，如果我们知道有一件事情有很大的可能性会发生的话，我们一定要在我们的计划当中考虑到它，要做一个计划。

同样我们也问一个问题：

如果我们的确实现了AGI，下一步怎么样呢？

人会扮演什么样的角色呢？

如果机器什么都能做得好，比我们做得好，比我们的成本还低，那么人的角色呢？

我们面临着一个选择，就是我们可以大胆地说我们来构建机器吧，来做所有该做的事情，不要担心后果。

但是，我在开始的时候和大家讲过了，我觉得我们应该有雄心壮志，这是人作为这个种族最厉害的一点。

我们应该想象一个真正的高科技的未来，找到实现它的方法。

我是一个非常乐观的人，我特别喜欢技术，我非常积极，我觉得我们能够创造一个高科技的未来。

如果我们能够赢得一场战争，那就是技术的不断发展和我们能够管理我们技术的能力。

如果我们想赢得这一场战争，传统策略是从错误当中学习：最初人们发现了火，用了之后，发明了灭火器，然后发明了汽车，发生了很多悲惨的事故，然后就发明了气囊、红绿灯、安全带等等。

结果是什么呢？火和汽车这样的技术，我们限制了它的伤害（伤害降到最低）。

但是，科技一直在不断地增长，它们的能力变得越来越强，在某个时间节点，技术会变得非常的强大，以至于我们没有办法从错误当中学习。

比如说核武器，如果俄罗斯、美国不小心开始了核战争，那我们的这个星球就完蛋了。

这种时候，我们从错误当中进行学习，下次小心一点，是不行的。

像这样的重大问题最好提前计划，避免一开始就犯错，这样的做法也适用于其他的很多厉害的技术。

所以AGI现在已经超过了这样一个门槛，即必须要防止错误。

当我讲这样的内容时有人会说你别散布这样的恐怖情绪，但是我把这称之为小心谨慎。

在阿波罗11号发射之前，基本上考虑了一切可能性，然后把一个人放在发射装置上，并且把它发送到外太空，这个过程风险很大。

这是我现在所推崇的想法，那就是对于AGI，想清楚人类会犯怎样的错误，来保证我们正确行事。

我们都意识到了气候变化是一个全球性的挑战。

这个挑战规模很大，并且补救措施必须是全球行动，必须要有全球的协调，没有哪个国家能够独善其身。

中国实际上有着一个独特的优势，能够有这样一个领导地位，有两个原因：

原因一、中国有大量的科学家储备。

在中国我们不仅仅可以让AI变得更加强大，同样还可以让它变得更加可信赖。

原因二、中国是世界上最古老的现存文明之一，持续了几千年。和西方相比，中国有着很多的长期思维的计划传统，这是西方世界所缺乏的。

大家也知道，在西方世界非常难去设定一些长期的计划，持续到下次选举。

当我还是一个学生的时候，有很多人说要修高铁，现在20多年了还没有开工。与此同时，中国已经做完了。

在这方面中国可以扮演一个非常重要的角色，把中国在技术方面的实力和长期规划的智慧结合起来，希望中国在AI方面采取一个领先者的地位。

我们组织了很多会议，让很多AI研究员聚集到一起来讨论怎么样增加AI的智慧。

上一次会议有23个原则，被世界各地的AI研究员签署。

我在这里给大家复述其中两三点。

我们应该避免武器和军备竞赛，应该把技术应用到可以帮助人们的方面。

比如说生物、化学，更多的应该有助于人们找到一些疾病的治疗方法，而不是引起致命的损伤。

我们希望在生物和化学武器方面有一些国际化的禁用，这样就可以不用担心生化武器落入恐怖组织手中。

我也非常高兴看到中国做为一个大国，在3月时第一次站出来说要反对自动致命性武器的发明。中国做出的这一个努力非常重要。

我们看到中国的影响力变得越来越大，同时也看到了联合国付出的努力，希望可以使这一切变为可能。

希望可以通过AI以及自动化创造出来更多的财富，使得所有人都可以从中受益。

我认为我们全球GDP可以通过用机器替代人类的方法进行一个大爆炸，但是如果我们没有办法通过这个方法让人人受益的话，那就是我们的错误。

在科技和道德方面，我们希望可以确定的是，能够让整个社会变得更加和谐、更加一致、更加团结。

中国的经济发展非常快，一些研究显示，技术本身使得这种不平等性变得越来越糟糕，加之税收政策也使得收入不平等变得越来越明显，使得穷的人越来越穷，富的人越来越富。

之后看到了为了改变这样的税务政策，美国那边选举了特朗普作为他们的总统，希望中国可以从中吸取一些经验和教训，得到更好的发展。

最终，我认为在AI的安全性研究方面，我们需要有更大的投资。

既然我们希望AI可以控制我们更多设备，AI可以对于我们的生命产生更大、更重要的影响，就必须要保证现在计算机系统中不能有那么多的黑客、Bug。

因为如果黑客能够随便黑进来的话，可能使得AI对自己产生非常负面的影响，我们要保证AI的目标和我们的目标是一致的。

这意味着如果我们最终达成了AGI的话，我们会面临一个很大的风险，如同在好莱坞的一些电影中看到的情况：

AI会变成一个魔鬼一样的东西，更可怕的是AI的复杂程度非常高，而它的目标与我们完全不同。

黑犀牛这个种族完全灭绝的原因仅仅在于，我们比它们聪明很多，而且我们的目标跟它们也不同。

所以，如果AGI比起我们要智慧很多的话，我们不想让自己成为黑犀牛这样的一个角色，我们希望AGI能够与我们的目标保持一致，将我们的目标作为它们的最终目标进行发展。

最终我们要讨论的是AI的目标到底怎样，我们使得AI变得更加有能力，我们也在试图去控制它，那么最终它的目标应该是怎样呢？

之前我们做了一些调查，有大概5万西方国家人参与了这个调查。

我们可以看到，大多数人都希望我们可以得到超级智能的结果。同时，大多数人也认为我们应该变得越来越有整体的愿景，使得所有人能够从中受益。

与此同时，我们做了另外一个调查，谁应该成为整个过程的控制人？

我们可以看到只有很少一部分人选择了未来由机器控制。

所以，我们应该进一步想想，未来我们的目标到底应该是怎样的，终极目标是什么。

虽然现在我们看到的一些问题非常复杂，我们技术现状也非常复杂，但是我们研究非常简单——希望最终能够达成AGI这个成果，有可能是50年，或者更长的时间。

我们应该更多的关注最终成果，而不是只是面对明天、后天的选择。

如果我们没有办法做到这一点，保持一个非常远大的目标，有可能我们会达到人类历史上能够得到的最差的结果。

我们应该更多的着眼于我们整个星球，如何通过技术控制发展方向，最终达到我们最想期待的未来，所有的人都能够从中受益。不仅仅是好一点，而是好的非常多。

现在我们可以想一下，2018年比起明朝或者说石器时代的时候都变得更好，为什么？

是因为技术的发展，之所以我非常感谢文明，也是因为用这种智能的方式我们得到了更好的生活。

通过人类、人工智能两者的结合，我们可以很好的解决现在我们面临的问题。

总而言之，我们现在所面临的就是一个选择，我们可以完全无动于衷，并且不去进行长远的思考，只是非常盲目地开发，相信所有的技术发展都是对我们有利，不断地来重复现在我们所做的工作，我们总是相信所有的技术都会让一切变得更好，根本不去进行技术发展的控制，不去进行任何目标的制定。

或者我们另外一个选择，我们有非常宏伟的目标，并且不断地向着这个目标来进行推进，使得人人可以从中受益。

所以，我们希望最终达成的AI不仅仅取代我们，而是使得我们变得更好。

傅盛与迈克斯·泰格马克的巅峰对话

主持人：迈克斯·泰格马克教授，这两天您去了上海（世界人工智能大会参观），也接触了一些人工智能领域的专，您觉得中国在AI领域上面的优势在哪里，中美两国在AI领域上面的差异有哪些？

譬如，大众对于AI的接受程度，以及在高校与企业当中，对于AI的热情是否有区别？同样的问题也请问傅总。

迈克斯·泰格马克：无论是在中国还是在美国，大家对AI都是非常地感兴趣，甚至是狂热的。

我认为中国的AI研究有很多方面已经领先了西方。

比如，中国的支付系统非常发达，在座的各位，哪位还写过支票呢？中国在很多方面都比西方更加有冲劲、雄心，比如高铁。

在美国，我们经常讨论要建一座连通洛杉矶到旧金山的高铁，可能都已经说了25年了，到现在还没建成。

而中国有十几亿的消费者，一个大市场，还有大数据，中国AI研究的很多方面已经领先世界。

傅盛：非常感谢教授对中国科技的推崇，我作为一个土生土长的中国创业者（经常去美国），我认为在AI领域的应用层面上，中国的确是领先的。

但是在底层AI规律的探索上，美国科学家的开创性贡献和思考是中国今天还不能比的。

大家可能知道一个关于AI的论文数，华人贡献的论文数量很高，但是就论文质量而言，关键性的论文，大部分不是华人贡献的。

即便是华人贡献论文，在中国本土的华人贡献的论文只占了2%。

这就是中美两国今天关于AI的现状：

我们能够迅速的把一种，已经被证明的技术用更大的规模、更好效率地去应用，但是在真正的“开脑洞”、开创性的思维逻辑上，中国还是有非常大的不足。

我们在考虑生命的时候，是以人类自我为出发的，我们觉得我们是最有灵性的生命，所有的东西都是围绕着我们。

但是看了这本书以后，我们觉得，其实关于生命的终极思考，我们完全没有或者说很少有上帝视角，能够去思考，生命是如何进化的？它怎么到今天？它以后会是什么样的形式？

迈克斯·泰格马克：刚才你说的我觉得有两点想法：

第一、美国在基础方面做得好，不光是美国有人才，还是因为美国有这种文化氛围。

美国在人工智能基础方面的发达，不光是和人有关（美国有大量来自世界各地的优秀人才），也和美国的文化有关。美国有非常多的好大学，有很好的吸引人才的环境。

第二，从文化层面上来说，我们人类面临的是人类和机器相融合、人类和机器和平共处的未来，中国不仅在技术方面不断进步，在文化的方面中国也有着朝前看的传统。

美国人所谓的长期的思考、长远的计划也就是到下一次大选，只会想未来的3-4年之内的事情。

但是中国人想得长远，中国在短短的几年内就实现了高铁的运营，美国谈了25年还没有付诸行动。

中国有着前沿的文化传统，如果能够继续以高瞻远瞩的思维方式，结合技术，并且坚持在这方面的良好的发展，中国在AI的发展一定能有自己独特的优势去引领行业。

主持人：两位如何看待AI安全、机器人安全这个问题，现在讨论这个问题的意义到底在哪里？

迈克斯·泰格马克：我非常支持AI研究者签署这项禁令。

我们的AI的研究者一定要划清界限，让AI用于好的方面，而不是让它用来杀人。

我们现在禁止研究致命性的AI杀人武器，也是我们希望AI能够用于有益于人类的事业上面。

在大的层面上我对人类的未来还是很乐观的。

有了高科技之后，我们能够在这场人类与机器的对抗中胜出，我们要如何赢得这场竞赛呢？

我们要如何在发展高科技的同时，又能够控制我们技术的发展方向呢？

我们现在做的事情，能够提前预测科技可能给人类带来的危害，要有一些前瞻性的措施，才能保证未来这些非常强大的技术都用在有益于人类的事情上面。

机器人可能会在三个方面给人类带来危害：

第二，它被“设计”成一种对人产生危害的武器。

第三，它可能会被黑客侵入。

开发一个功能的时候，首先就会去思考它可能面临的一些风险，去思考它带来风险其实并不是一种恐吓，而是我们提前想好开发这个东西，可能会产生什么样的风险，才能防止将来它真的产生这种风险。

傅盛：我之前读到这个组织的时候有一个误解，就以为是反对发展AI技术。

刚刚听了教授解释一下，核心就是不想让这个技术用于军事本身，被人操纵。

作为一个从业者，我认为AI突然有一天把人给消灭，这件事儿可能还挺远的，还没有看到可达成的路径。

但是，AI最重要的能力就是提升效率。

如果这种能力被一些邪恶的人掌握了，AI变成了武器，杀人的效率肯定是很高。我是坚决支持签署AI用于非武器目的的禁令，中国是一个爱好和平的民族。

傅盛：我有一个问题想问一下教授，核武器、生化武器有非常清晰的界限，但是AI武器的界定好像比较难。

比如说飞机的自动瞄准、无人机的自动驾驶、自动攻击算不算一种AI武器？如何去划清楚这个界限？

迈克斯·泰格马克：我们讨论的自动化杀人武器是一个比较窄的面，自动化杀人武器的致命性，而不是反对建造导弹防御系统。

自动化杀人武器，它可以自主去决定它要杀谁，而不是由人来决定的。今天的远程控制系统是由人来决定的。

我们现在开始谈论禁止自动化杀人武器，以及签约禁止研发自动性杀人武器是不是还太早了？我觉得一点都不早，我们必须要提前防止AI开发这种自动化杀人武器，才能防止将来会产生的军备竞赛。

就像生物化学家在致命性的生化武器研发之前，就已经达成一致，不去研发这种有害的生化武器，所以我觉得这一点也是我们在道德层面的责任。

主持人：真的到了《生命3.0》阶段，机器人可以达到自我学习、自我提升的状态时，人是不是就会被机器人所超越和取代，我们将去如何面对这样的一个未来？

傅盛：读完此书，我就想起了中国的一个词叫“沧海一粟”。

人类在整个的生命进化当中，就是沧海一粟。我们从来没想过我们会出现在这里，我觉得整个人类的发展史，是一个把自己从中心地位不断地给去中心化的过程。

从哲学的角度上来说，人类作为一个生命形式是肯定会被超越的，我们今天之所以在这里是环境的产物，是环境不断地变化才使得生命往复杂在变化。

我们对能量的消耗、环境的消耗是非常非常严重的。

如果有一天我们变成了一个更小的信息体，或者从这种信息体变成一种新的生命形式的话，其实从生命的本身的意义上来说，是更有效的。

从技术观点上来说，我个人不太认为基于深度学习的AI，能够有机会超越人。

未来的人和机器会是什么样的生命体呢？

从在现实角度来看，我认为是生命2.5、2.6、2.7的形式。就像埃隆马斯克现在做的Neuralink（脑机交互），让人脑和AI发生更直接的交互、集成，使得、整个生命再上一个档次，可能是看得到的更有效的路径。

迈克斯·泰格马克：未来AI的发展可以让我们人类造一个神，创造一个我们所期待的未来。未来是什么样，是我们今天的意愿去决定的。

我们想要一个什么样的未来？

我们希望未来的文化和社会是什么样的呢？

我们如何建立一个人人都能够生活更好的未来，而不是像病毒一样是危害环境的呢？

这都是我们现在要去思考的。

主办方介绍：长江商学院

成立于2002年11月，是由李嘉诚基金会捐资创办的中国第一所拥有独立法人资格的非营利性教育机构。

采用世界商学院通用的治理架构，以“为中国和世界培养一批具有全球视野与全球资源整合能力、人文关怀与社会担当，以及创新精神的世界级商业领袖”为己任。旨在打造全球领先的新一代商学院，以新视野与新思维应对商业社会所面临的重大挑战，通过管理研究及商学教育的发展，服务中国乃至全球的商界领袖。