“人类的起源”有两层含义。一是人类的起源，二是现代人的起源。
1960年，英国的人类学家阿利斯特·哈代提出：化石空白期人类的祖先不是生活在陆地上，而是生活在海洋中。也就是说，人类进化史中，存在着几百万年的水生海猿阶段。哈代提出：地质史表明，800——400万年前，在非洲的东部和北部曾有大片地区被海水淹没，迫使部分古猿下海生活，进化为海猿。几百万年后，海水退却，已适应水中生活的海猿重返陆地。它们是人类的祖先。这就是震世骇俗的“海猿说”。
“海猿说”指出：人的许多生理特证在别的陆生灵长类动物身上都没有，而在海豹、海豚等水生哺乳动物身上却存在。
（1）所有的灵长类动物身体体表都长有浓密的皮毛，唯有人和水兽一样，皮肤裸露光滑，没有体毛。
（2）灵长类动物都没有皮下脂肪，而人类却有皮下脂肪，这一点，明显不同与别的灵长类动物，而与水兽相似。
（3）人类泪腺分泌泪液以及排出盐分的生理现象，也是水兽所具有的特证。这在灵长类动物中是绝无仅有的。
（4）人类所具有的性行为以及出汗等生理现象，也是灵长类所没有而与水中生物相似。
（5）人类在控制体内盐分平衡的生理机制上同陆生哺乳动物大相径庭，而与海兽极其相似。
（6）人在潜水时，体内会产生一种称为“潜水反应”的现象：肌肉收缩，全身动脉血管血流量减少，呼吸暂停，心跳也变得缓慢。此时，饱含氧气的血液不再输入到皮肤组织、骨肌和其他器官，而全部集中到维持生命最重要的机体中心大脑和心脏，使它们的细胞得以在几十分钟的时间内不致死亡。这种现象与海豹等水生动物的潜水反应十分相似。
（7）妇女在水中分娩没有痛苦，而婴儿喜欢水，并有游泳的本能，这都说明人类与水的关系非同寻常。
海猿说”被越来越多的人所接受，但也有一些科学家提出不同的看法：
（1）古猿在下海的400万年里，获得了一些适于水中生活的海洋生物特证，重返陆地后，为了适应陆地生活，也应该丢掉这些应于海水生活而不适合于陆地生活的特证，如人类不能对体内所需食盐进行精确控制等，为什么在返回大陆的几百万年的进化过程中没有丢失。
（2）400万年的化石缺环，“海猿说”仍没有很好的解释。在海洋生活就没有化石可找了吗？我们现在不也发现大量的海中生物化石吗？
（3）根据分子人类学研究所得的结论，人和猿开始分化的时间是距今500——400万年前，这一点也不支持“海猿说”。
于是，另外一些科学家又提出了人类起源的“海陆双祖先复合说”。即人类有两个祖先，一个是古猿，一个是海洋生物。他们认为：这段400万年化石空白较倒合理的解释是古猿与海洋生物发生了基因重组。于400万年前产生了南方古猿，组合产生新种所需的时间很短，短到相对于地质时间可以忽略不计，甚至可以在十几代到几代的时间便可形成新种，从而可以说过渡阶段的化石是没有的。这样既可以说明化石空白，也可以说明人类为什么具有一些海洋生物的特性。至于是哪一种海洋生物，不定期没有充分的生气说明。
最近北大西洋公约组织的科学家马莱斯提出了新见解，认为人类的始祖是外星人。
马莱斯认为：大约65万年前，一些外星人来到地球，他们具有高度的智慧和科技知识，发现了地球环境很适应他们居住，但却不堪忍受地心引力，于是这些外星人不得不放弃地球生活，并决定在地球上创造出一种新的适宜于地球生活的人种，同时又使他们能在地球上延续。他们选择了地球上精力旺盛、智力较高的雌性猿人作为对象，没法使他们受孕。这便产生了我们人类的祖先。
马莱斯的见解确能惊世骇俗，他举出的证据是他对不久前在圣地亚哥发现的一具5万年前的头盖骨的研究。他认为，那具头盖骨所代表的人种智力已远超过今天人类的几千倍。从而推测“他”就古时来地球的外星人之一。他还指出另一个可能是外星人与地球猿人结合的证据，那就是安第斯山顶绝壁上人所共知的巨型图案。马莱斯说，那极有可能就是外星人与地球猿结合的真实描绘。
如果地球人真的起源于外星人，那么发现于30万年前、40万年前乃至100——200万年前的古人类化石又当如何解释？
无论是“海猿说”、“海陆双祖先复合说”，还是“外星人说”，都在有力地向传统的“从猿到人”的进化学说得出挑战。但要形成公认的科学结论，还证据不足。科学在发展，研究在深入，人类心将用自己的智慧，来解开自身的谜团.
关于现代人的起源，有两种理论：一种是“单一地区起源说”，这种理论认为现代人是某一地区的早期智人“侵入”世界各地而形成的，这个地区过去被认为是亚洲西部，近年来则变为非洲南部；另一种是“多地区起源说”，这种理论认为亚、非、欧各洲的现代人，都是当地的早期智人以至猿人演化而来的。
1967年，美国伯克利加州大学的生物化学与分子生物学教授艾伦·威尔逊和萨里奇共同提出了分子钟的假设，其结果是人属与黑猩猩属分离的时间在距今500 万年前(当时根据化石证据得出的年代中距今1400万年以上)。这个研究组选择了其祖先来自非洲、欧洲、中东和亚洲的妇女，以及新几内亚的澳大利亚的土著妇女共147人，根据她们生产婴儿时的胎盘，发现不同类型的线粒体DNA，有些互相接近，有些则差别很大。
据此，他们做了一个表示其相互亲缘关系的“系统树”。结果是这株“树”来自单一的共同祖先，而后很快分成两支，一支的线粒体DNA都是从非洲祖先而来的个体；另一支则来自非洲、亚洲、澳洲、高加索和巴布亚新几内亚的祖先。对于这种情况的最简单的解释是，其共同祖先来自非洲。根据已知的线粒体DNA突变的速度，计算其年代为距今14万-29万年，平均为20万年。
1987年初，卡恩·斯通金和威尔逊等人提出，将所有婴儿的线粒体DNA向前追踪，最后会追到大约20万年(14万-29万年)前生活在非洲的一个妇女，即现今全世界人的祖先。大约在13万年(9万-18万年)前，她的一群后裔离开了其生活的非洲家乡，分散到了世界各地，代替了当地的土著居民，最后在全球定居下来，演化成了现代的不同人种。于是有人把这种理论叫做“夏娃理论”。
人类的历史究竟有多久?随着新的猿类化石和人类化石的发现，人们对这个问题的认识也在不断发展和变化。
19世纪上半叶以前，欧洲流行的仍然是“上帝造人”的说法，很少有人想到人类的历史会超过几千年之久。
研究人类起源和进化的实物是人类化石。最初发现现代人(晚期智人)化石的年代已难于查考，直到19世纪下半叶(1868年)在法国发现了克罗马农人的完整头骨化石以后，才逐渐为学术界所承认。这样，在19世纪后期，便把人类的历史从几千年一下子推前了几万年之久。
1856年，在德国的迪塞尔多夫城附近的尼安德特河谷最早发现了早期智人尼安德特人的头骨化石，引起了近半个世纪的争论，直到19世纪末和20世纪初，才肯定了“尼人”在人类进化系统中的地位，把人类的历史又向前推一二十万年之久。
1890年在印度尼西亚爪哇(当时是荷属东印度群岛的一部分)发现了一小块下颌骨，1891年发现了一个头盖骨，1892年发现了一根大腿骨。经研究，将其定名为“直立猿人”，认为它是现代人的祖先，即把人类的历史向前推了几十万以至一二百万年。
1924年在南非汤恩首次发现了南方古猿的一个头骨化石，是一个大约6岁小孩的头骨，犬齿小，枕骨大孔在颅底较前的部位，表明它已能两足直立行走。于是，人类的历史又得以向前推至二三百万年前。
根据现有的化石和分子人类学等各方面的资料，人类起源的时间估计在距今大约700万年前，而南方古猿最早的年代为距今440万年，其间还存在着巨大的空白，有待于未来的发现。
达尔文早在1871年就指出，人类的诞生地是非洲。他的理由是：人类最近的动物亲属——大猩猩和黑猩猩这两种猿类，如今都生存在非洲。达尔文的这一观点被人们所蔑视，认为如此高贵的人类，只能起源于欧洲或亚洲。
第一个提出人类起源于亚洲的人，是德国的胚胎学家和进化论者海克尔，他在19世纪后期写道：亚洲的猿类(长臂猿和猩猩)与人类相似的程度大于非洲的猿类，由此他推测东南亚是人类的诞生地。他的“人类亚洲起源说”在以后的半个多世纪中曾被人们最广泛地接受。
纽约的美国自然博物馆馆长奥斯本认为亚洲位于其他大洲的中央，是各大类哺乳动物起源的地方，有着详细的气候变化的记录，特别是中亚高原，南面喜马拉雅山的升高，会造成中亚干燥的时期。这种环境变化迫使高等灵长类适应新的环境，结果促成人类的起源。
从1927年开始，在我国北京附近的周口店进行了系统的发掘，发现了一颗牙齿化石，经过加拿大人布莱克(中文名布达生)研究，定名为“中国猿人”；1929年底，由裴文中负责发掘工作，发现了一个完整的头盖骨，由此被作为人类起源于中亚的证据。
但是，从1924年起，先是在南非汤恩发现了南方古猿的化石，以后在南非的其他几个地方和东非的不少地点，发现了多种南方古猿类的化石。它们的形态远比猿人(直立人)为原始，年代远比猿人为早，因而确立了人类起源于非洲的论点。
总之，人类的起源是一个涉及世界各地的事件，也是一个较长的历史过程。为了避免误导读者，我们不应混淆整体与局部的概念，更不能仅根据一个国家或一个地区的某一项发掘结果，就对其做出结论性的判断。

图 1：开放的环境与物种间的竞争是达尔文进化论中实现自然进化的两个重要的驱动力，而这两个驱动力在最近的 AI 模型演进方法的研究工作中却没有体现出来，在同一个世代中，更快的黑斑羚和更快的猎豹比它们更慢的同类更容易生存下来——由此进化出更快的黑斑羚和猎豹品种。基于基因和自然选择理论的这些原理可以帮助AI获得大的进步么？

• 无限开放式进化（这是最有趣的部分）

大概自 2012 年以后 [1]，人工智能行业的爆发式增长几乎都是反向传播训练的（深度学习）神经网络模型所带来的。包括用于图形分类、自动语音识别、语言翻译、机器人以及能玩单人或多人游戏的自主智能体等领域的模型。

然而最近，研究者开始应用基于生物学进化机制的方法来构建模型。这种思路在深度学习时代之前就有了，但直到最近才发展到足以和反向传播训练的深度学习模型媲美的态势。

在这篇博客里，我们会聊到一些进化方法，对比它们与生物进化和有机发育的异同，并推断出他们最终将如何以甚至比传统深度学习模型更强大和更高效的方式推动 AI 模型的发展。

简单来说，达尔文理论认为，进化是机体特性经自然选择强化所发生的微小变化的结果。具有优势特性的有机体更容易繁衍下来，这样就淘汰了那些具有相对劣势特性的有机体。

达尔文当时并不知道这些特性是如何由父母辈遗传到下一代的（如果知道了这一点，他的发现就更加了不起），但我们现在知道有机体的基因型，以及它生存发展的外界环境共同决定了它的表现型（物理和行为特性）。一般来说，后代出现了新基因型是因为遗传自父母的 DNA 发生了随机突变，或是多个来源的基因混合（有性生殖），或是两者兼而有之。

受进化论的启发，科学家们对生物进化的理解迁移到了计算模型的优化上。其中最简单的方式是进化策略（evolution strategies），更大、更多样化的复杂模型则采用基因算法（genetic algorithms）。这两种方法都是通过优化适应度函数来显性地评估人工有机体在特定任务上的表现。另一种可替代的方法是，摒弃适应度函数，而选择利用丰富、开放的环境，让超过一个种类的多个智能体在该环境中为生存和繁衍而独自竞争，利用自然选择挑选出最终存活并繁衍下来的那个。

进化策略是这样一类优化算法：在每一次迭代（代际传递）中，参数向量（基因型）都会受到扰动（突变），变化后的适应度函数会被再次评估打分 [2,3]。最高得分的参数向量会参与形成下一代的参数向量，不断迭代直到目标方程已被充分优化。

在协方差矩阵适应性进化策略中（Coveriance-Matrix Adaptation Evolution Strategy，CMAES），模型参数的分布会存储在协方差矩阵中。每一代中，每个样本的模型参数都取值于这个分布。协方差矩阵会根据获得最高适应度得分的样本参数更新矩阵。大家如果想看到这一过程的 2D 可视化效果，可参考 Otoro 的博客：

尽管这一方法的原理很简单，它与相对现代、大规模，经过强化学习训练的深度学习模型相比仍十分有竞争力，OpenAI [4] 就体现了这一点，并且相关的文章（）中也对此有论述。

与强化学习方法相比，进化策略有一些非常好的属性，它在多核CPU 上更容易实现并扩展，还能快速地完成模型训练，并且这种方法没有借助梯度（使用梯度方法较难在离散输出结果上训练）。

图 2：上图演示的是OpenAI应用进化策略训练的3D小人学习行走的情况（视频来源于博客blog post）。优化后的训练结果，也就是优化收敛到的最小值呈现了较大的多样性。在本文后续会介绍到，训练得到的智能体的移动方式看上去都不太自然，它们无法像自然中的生物一样，在出生后不久就能习得诸如行走、奔跑之类的运动能力。

2、直接编码的基因算法

对于基因算法（Genetic Algorithm）这个术语，不同的研究者和实践者可以有很多不同的定义。我们这里采用最常见的一种是，在每代中，算法： 1）从一个规模 P 的种群中，基于适应性函数选出表现最好的 N 个智能体（N<P），2）让筛选出来的这些智能体通过自我繁殖（无性）或配对繁殖（有性）产生新一代智能体， 3）在繁殖过程中，后代的基因会因突变、交叉（父母辈基因的混合）或是两者的共同作用而产生变化。

进化策略与基因算法的另一个区别是在进化策略中，种群的基因组是用概率分布表示的。这也就意味着在指定某代的某个种群中的所有成员都落在参数（基因组）空间中的同一个类中，相反，在基因算法中就没有这种限制。而实际情况是，单个种群往往只进行其优势特性的进化，除非环境或者是有其他算法组分来推动种群的多样性（这种情况下，多个「种族」就会产生）。

而在基因算法的诸多应用中，基因型-表现型是直接对应的，也就是说每个基因都直接由智能体的模型参数进行编码。实际应用中，基因和它的外在表现型也是直接对应的，比如，深度学习模型中用数值表示权重或偏置项。因此，进化策略训练的模型可以直接编码。

相反，生物学是基于间接编码的。举例来说，由 DNA 组成的基因并不对大脑中神经元间的突触强度进行编码，而是对那些共同指导大脑（和它的突触）发育的蛋白质进行编码，并根据有机体的经验，学习选择强化或是弱化哪些突触的机制。我们会在后续的文章中介绍一些 AI 间接编码的例子。

2017 年，Ken Stanley 和 Jeff Clune 两位是长期推崇使用「神经进化主义」方法进化神经网络参数的倡议者，他们称直接编码的基因算法在很多 Atari 游戏中都有良好的表现，包括那些强化学习（Q-learning 或策略梯度）方法也难以玩好的游戏 [5]。他们的团队在 Uber AI 实验室使用了一个简单的基因算法，这个算法中，通过在母网络参数中加入高斯噪音，就可将基因突变引入自我繁殖后代进程中。

图 3：除了让智能体通过玩Atari游戏进行进化，Uber AI团队还让智能体试着完成相对初级的迷宫游戏，只不过是让一个智能体玩两个有不同陷阱的迷宫。应用进化策略ES训练的智能体被困在陷阱1里且没有继续进化。经过基因算法GA训练的智能体表现更好一些，但还是被困在了陷阱 2 里。当同时根据适应性得分和智能体所表现出的探索性行为（GA-NS）挑选可继续繁殖的智能体时，智能体很快进化出了解谜的能力。而应用强化学习方法（A2C和DQN）训练的智能体就没有习得解谜的能力。

Uber 团队还检验了奖励智能体（允许他们繁殖）的探索行为（Novel Behaviours）产生的效果。他们称，尽管智能体在传统适应性函数中都得分较低，但这个方法对整个种群的代际传递表现还是有帮助的。给行为的新颖度赋分的基因算法是一种质量多样性算法（Quality-Diveristy Algorithm）[6]，该算法还是一个活跃的研究领域，它的理念是维持种群内行为的多样性，为新的、更复杂行为的出现提供了一个培养池，这有益于后代有机体的发展，尽管复杂行为在形成之前还会有更多得分很低甚至得负分的简单行为出现。（注意：这很大程度上是一种启发式策略，因为在代际传递中，自然力将如何推动这些保留下来的「无价值」行为表现型进行进化，还尚未明确。）

总之，Uber 团队使用了一种充满创造力的高效方法，来保存数以千计的智能体涵盖的大规模基因型（每个智能体有几百万个神经网络参数）。换言之，他们留存了这些创造了初代智能体和各种突变集的种子记录。因此，单个智能体就可以用一个种子向量实现再生，智能体也可以这种形式作为整体被保存下来，而不再直接以模型参数的形式储存。

3、间接编码的基因算法

一般来说，间接编码模型的基因算法在应用上还不如直接编码模型成熟（尤其在解决现代大规模的问题上）。然而间接编码模型在未来或许会被证明是一种非常有力的方法，因为它具有对复杂、繁琐模型编码的潜力。举例来说，有机体内的某个基因组一般是确定的，但基因的蛋白质产物可以在一段时间和空间（有机体内）中以组合形式进行交互，这就允许了无限种可能性的发生。下面我们重点说两个间接编码的例子。

之间谈到过的进化计算方法有一个固定大小的基因组，也就是说是一个有着固定架构的神经网络。基因决定了这个固定架构的参数值，但并没有规定其他的方面，因此该基因算法并没有规定神经网络长大、缩小或是调整架构的途径。2002 年，Stanley 和 Miikkulainen 引入了增强拓扑的神经进化方法（NeuroEvolution of Augmenting Topologies，NEAT）[7]，NEAT 定义了基因与神经网络中的连接的映射关系，并支持通过加入定义新连接和节点的「新基因」来实现神经网络的进化。

图 4：除了定义网络权重和偏置项值，NEAT 还定义了基因与网络架构的映射规则。基因算法中，网络可以通过添加连接和节点发展。

然而，NEAT 是一种直接编码模型，每个基因定义两节点之间的连接权重。一些基因可能会表现出「残疾」的情况，也就是转码后的权重值为 0 的情形。HyperNEAT 于是应运而生。

在 HyperNEAT 中，NEAT 训练输出的网络定义了次级网络的权重。这个次级网络被用来运行相应的任务。在最简单的版本中，次级任务网络中的节点是落在二维空间中的，因此每个节点都可以用（x,y）坐标来定义。初始生成的第一个网络，被称为是复合模式生成网络（CPPN），需要四个输入值来定义网络中两个节点的位置（i 和 j）：（xi,yi）和（xj，yj）。CPPN输出的则是网络中任意两点间连接的权重值。由此推之，NEAT方法可以通过进化CPPN网络，指导任务网络的“发育”。之后，适应性函数会对该任务网络而不是 CPPN 进行评估。

HyperNEAT 方法中，一个较小的 CPPN 网络就可以定义一个任意密度的复杂任务网络。作为 CPPN 的这种进化性的体现，已进化出可以生成复杂二维图片的模型。与进化任务网络总是落后于其他新近模型的情况不同，HyperNEAT 已被应用在训练模型玩 Atari 游戏上 [9]（几乎是同一时期，DeepMind 也公布了强化学习方法训练的此类模型 [10]）。

图 5：在这个 HyperNEAT 实例中，任务网络（右边）是一个双层网络，这个网络中的神经元在上下两层间建立了连接，但层内并没有任何连接。CPPN 网络（左边）在给定任务网络节点的基础上，定义了任务网络连接的强度。CPPN 是一个由 NEAT 基因-网络映射关系定义的神经网络，并可以根据适应性函数对给定 CPPN 实例进化出的任务网络的打分，应用基因算法进行进化。

生物学上的进化并不会直接建立成熟有机体的表现型。而是通过基因指导个体的发育间接地建立有机体的表现型（如胎儿期、婴儿期、青春期）。基因在成年期也会作用于个体对环境的反应（比如，在有机体由低海拔地区转移到高海拔地区时，有机体内会产生更多的红细胞）。然而，NEAT 神经网络群体在进化时，这些网络并不是由基因组「生长」出来的，相反，由于 NEAT 网络是直接编码，它的网络进化也是直接由范例定义的。

和蛋白质）间的相互作用调控基因表达（转译蛋白质）的神经网络。不同的基因会在不同的发展阶段，在不同的环境条件中得以触发表达出来。因此，进化的不是有机体本身，而是有机体发育的方式。作者在文中表明了该算法相较于标准基因算法的优势。然而，由于该算法计算复杂度太高，导致其不太可能在现有硬件条件下，被应用到更大规模，更具挑战性的现代 AI 任务中。

图 5：相比于由基因组直接编码神经网络（比如NEAT），Pollack 和他的同事 [11] 选择应用可以调控神经网络发展的基因控制网络来调控网络的进化，这种方法更类似于生物学上的基因指导人类由胚胎期发育至成人期的机制。 

最近，Miller 等 [12] 构建了神经网络中的神经元（组织细胞和它们的树突）发展模型。这个发展模型是由基因编程形成的计算机程序展现。基因编程与基因算法之间有很大的区别，这就留待各位读者之后再去查阅其他相关资料。尽管如此，Miller 和他的同事成功地应用进化计算方法创建了一种可以有效搭建神经网络的发展模型，这点毋庸置疑，该神经网络可以生成新的树突和神经连接来学习新任务。

到目前为止，我们讨论了应用适应性函数来给单个智能体的表现打分，并以此为依据来决定谁来繁殖后代的进化方法。很显然，自然界中没有显性的适应性方程（但，其实是有隐性逆向适应性方程的，如果有机体 X 繁殖了较有机体 Y 更多的后代，那么有机体 X 更有可能具备更强的适应性。）也就是说，自然界进化出了极其智慧的物种（人类），也进化出了具备其他独特迷人的物理特性以及天生行为特质的种群，而这一切都是在没有任何外在引导下完成的。

这项发现鼓舞了人工生命以及开放式进化的研究领域。人工生命学指的是在真实环境，或是在镜像还原了自然环境的人工环境中生存的人工有机体的研究。研究者们应用这种途径来研究我们已知的、或是未知但可能出现的生命形态。开放式进化研究通常都会考虑人工生命研究中的人工有机体，观察这些有机体如何在类似于产生其他生物进化的环境条件下进化，换言之，开放式进化的研究对象是在开放环境中直接进行的繁殖活动（寻找配偶，获取足够的食物以存活或繁衍，逃脱天敌的捕猎，等等），而不是基于显性的适应性指标。

与深度学习相比，开放式进化还属于一个较小的研究领域，但它其实已经是个相当古老的领域了，该领域的先锋学者如 Charles Ofria，Jordan Pollack，Risto Miikkulainen，以及他们的学生（其中有些已经是该领域的领头人）已经在这个领域里上花费了数十年时间。对开放式进化的发展和繁荣的更详尽描述，请参见 Lehman，Stanley,Soros

人工有机体在开放式环境中的进化机制可以帮助 AI 智能体发展取得进步么？

我们相信答案是「可以」，但有两个前提条件：（1）种类的共同进化和（2）在丰富、多样化、动态的环境中进行进化。（对此问题的不同的观点请参见 Lisa Soros 的博士论文 [14] ：）.

针对第一个条件，环境中必须同时存在不同种类，具有差异化的需求和能力的智能体，这种情况下，物种的共同进化可能会进一步引申出物种间的协作——这是进化出人类这种级别的智慧生物的先决条件。共同进化作用不仅可以进化出越来越快的猎豹和黑斑羚，同时还可以进化出狼群中的智慧社群行为，正如 BBC 节目《 coordinated hunting in packs 》中所展示的那样。

视频注：部分因为共同进化作用，狼进化出了社群智慧，这让它们可以通过群体捕猎捕获体型远大于它们自身的动物，获得的食物可以让整个群体受益。

最近 OpenAI 的一项研究发现经过强化学习训练的智能体之间会产生复杂的交互行为，尽管它看上去更像是个“营养不良”的奖励系统。众所周知，奖励是基于团队表现而非个人表现裁定的——就像一群狼会因完成一次大型的捕猎获得更多的食物。

• OpenAI 相关研究的展示视频地址：

视频注：在一开始，智能体对如何完成最基础的捉迷藏都毫无头绪。团队间的竞争是激发团队协作行为的驱动力。值得注意的是，这些智能体是用强化学习而不是进化计算方法训练的，而智能体团队间的竞争仍可以催生出探索性的复杂行为。

强化学习与进化计算间有个很重要的区别必须要在这里提一下。本质上讲，强化学习模型是对动物如何在后天进行学习的模拟，当动物的某个行为获得奖励时（获得食物、住所或者配偶等等），它们更倾向于重复这个行为，期待获得更多的好处。

然而，动物的许多能力都是源自进化，并在胎儿期或是降生后不久就能表现出来这些能力。举例说明，人类天然具备「客体」的感知能力（但尚不具备对「客体永久性」的认知），婴儿不需要学习就知道在空间上近距离排列的「像素」（视网膜上的光子）更有可能同为某个物体的一部分。一个解释先天性的极端例子是，一些动物可以在出生之后（几分钟内）迅速掌握复杂的运动控制能力。生物有机体与生俱来许多能力。

深度学习模型则大多是从头开始训练（宛若一张“白板”），并且都是面向某个专门的应用进行针对性训练的。构建具备更为通用的、更接近真实世界所需能力的 AI 智能体，或许可以首先从进化出诞生之初就具备了基准知识体系（物理学、情绪、基础需求等等）的智能体开始。这些智能体可能会通过强化学习机制（理想情况下，该机制可能会进化为智能体一种先天能力，比如元学习能力）在「有生之年」继续学习如何完成特定的任务。

视频注：幼年羚羊在出生后几分钟内就具备了敏捷的肌肉控制和导航能力。进化赋予了它们对重力、物理、客体的先天意识以及高级的感觉运动控制系统。它们不需要强化学习系统来学习这些概念和能力。

正如前文指出的，进化出智慧智能体的第二个前提条件是丰富、多样、动态的环境。这样的环境包含了各种不同的时间和空间条件，某些基因突变会在恰当的生态条件得以留存下来，但当环境固定不变时，后续的世代中这些基因突变就会被淘汰掉。再进一步说，突变后的、有利的表现型可能不仅在某个环境中有优势，它可能在另一个恰当的环境中也是有优势的，出现这种有机体系的原因可以是智能体自主移动到了新的环境，也可以是智能体所在的环境发生了改变。这也和我们前面在基因算法中讨论过的质量多样性方法有类似之处。

5、本文未提及的其他方面

除了上述已经提及的内容之外，我在这里还列出了一些智能体和智能体环境以及我们推测能够推动智能体进化出超过当下 AI 模型能力的基因算法的其他相关观点。其中列出的一些智能体类别，在条件支持的情况下能够顺其自然地进化，但也可能被直接利用来加速实现通用人工智能的终极目标。

• 培养与长期发展阶段：督促智能体更多地关心无助的、处于发育期的后代可能会促进一系列社会行为的发展，比如社会互动、沟通交流（语言）、协作（父母间的，父母与子女间的，或是无亲缘关系的父母和子女之间的——培育一个孩子是劳师动众的一件事情），等等。

• 个体意识：智能体应该具备识别同种类的其他个体的能力（通过一类智能体基因组表达出的「视觉上的」或是其他形式的特点）。如果智能体能够互相识别，它们就可以将个体的行为与其本身联系起来，这有助于信任、协作、看护等行为的进化。（但同时也会产生不信任、欺骗和合谋）。

• 沟通媒介：环境应当允许智能体具备一些可以发展出一套沟通方法（一种语言）的形态。它可以是听觉的、视觉的，甚至触觉的。这对智能体进化出复杂的社会交互或协作行为来说是必要的。

• 组合基因的间接编码：利用基因间的相互作用生产更高阶的产品（比如，蛋白质，或是调控蛋白质产物）使得结构紧凑但能够高度充分表达的基因组的出现成为可能，与每个基因值对应唯一一个模型参数或表现特质的基因模型相比，前者可以更高效的完成进化。除此之外，这种组合作用的方式还可以限制由于基因突变或偶发事件导致的后代完全无法自立生活（花在仿真/评估上时间被白费）的可能性。

• 指导发展的基因：与之前所提到的相关，编码指导有机体发育的基因，而不是最终的成年有机体可能是更加集约，且更具进化潜力的方式（正如 HyperNEAT）。如果发育同样还受到基因间的相互作用以及环境的驱动，这就给基因带来了额外的筛选压力，可以更好地推动进化。

• 可在规模上进化的基因组：与行为简单的有机体相比，行为上复杂的有机体还可能要求更多基因来定义它们的表现型（或是它们的发育机制）。然而，一个具有小型基因组的简单物种，可能会较一个具有大型基因组的简单物种更快进化出复杂的行为。面对单个基因的选择压力，具有大型基因组的简单物种更脆弱，因为单个基因突变对大型基因组有机体的行为改变作用微乎其微，这就拖慢了进化的进程。

• 结构化筛选繁殖和死亡智能体的机制：在应用了适应性函数的算法中，典型的筛选机制是挑选出表现最好的智能体进行繁殖，并淘汰同世代的其他智能体。然而，在这种机制下，刚突变的可以给智能体提供适应性上的好处的基因可能仍会由于物种间的遗传漂变丢失掉。最近的研究 [15] 表明在一个智能体繁殖时，有策略地选择哪个智能体应被淘汰（结构化的「进化图谱」有对这种筛选机制的图示）对新的有益处的基因在物种间的传递有「放大作用」，并可同时降低有利基因丢失的概率。在丰富、开放式的环境里，这种结构可能正是环境间接施加影响的方式。

最近几年深度学习对于 AI 领域取得巨大进展所起到的作用是毋庸置疑的，相信未来还会有更多突破。但同时我们认为，过去一直处于替补地位的进化计算方法，最终能够在提升 AI 能力上实现能够与深度学习相媲美的飞跃——无论是以深度学习已取得的成果为基础，还是不借助深度学习成果基础，独立发展为全新的方法。

最后，我们推测进化计算方法将会极大提高 AI 的运算效率。基于现有的硬件平台进行智能体的进化，并合理设计从基因到指令的映射关系，筛选出可加速完成任务的智能体，由此在该硬件平台上逐渐优化智能体的性能。

雷锋网 AI 科技评论编译。雷锋网雷锋网

雷峰网原创文章，未经授权禁止转载。详情见。

1、亚里思多德在《工具篇》中最推崇的方法是（）

A类比法B实验法C归纳法D演绎法

2、被恩格思誉为向宗教发出“挑战书”、自然科学独立的“宣言书”的是（）

A人体构造论B天体运行论C心血运动论D两大世界体系对话

3、近代自然科学独立建立体系并获得重在发展的根本原因（）

A科学实验的崛起B理性与实验的结合C人类思想解放D资本主义生产方式兴起

4、被人们誉为“天空立法者”的科学家是（）

A牛顿B哥白尼C开普勒D伽利略

5、列宁称赞把生物学第一次建立在完全科学基础上的重大成就是（）

A人为分类学B细胞学说C拉马克生物进化论D达尔文进化论

6、方法论问题上培根与笛卡儿不同在于（）

A培根重视理论，笛卡儿重视实验B培根重视归纳法，笛卡儿重视演绎

C培根重视经验，笛卡儿重视数学D培根重视归纳法，笛卡儿排斥演绎

7、以下除了哪项，其余都表明科学的社会属性？（）

A. 社会为科学提出了任务

B.社会决定了科学家个人工作的意义

C. 研究方法能为同行专家所接受

D.科学离不开科学家的天赋

8、以下不属于科学的社会规范的是（）

B.独创性C普遍性 D.权威性

9、技术悲观主义和技术乐观主义本质上都属于：（）

A.马克思主义的技术社会观

10、达尔文创立生物进化论，在探索进化机制依据最重要的一对矛盾是（）

A同化与异化B个休与环境C遗传与恋异D连结与间接

11、亚历士多德在《工具篇》一书中，最为推崇的方法是（）

12、被恩格斯誉为向宗教发出“挑战书”、自然科学独立的“宣言书”的不朽著作是（）

C、《两大世界体系的对话》

13、为捍卫和宣传日心说被宗教强制赴火刑的著名学者是（）

14、近代自然科学独立并建立体系并获得重大成就，最为重要的原因是（）

D、资本主义生产方式的兴起

15、在方法论的问题上培根与笛卡儿的不同在于（）

A、培根重视理论，笛卡儿重视经验

B、培根重视归纳，笛卡儿重视演绎

C、培根重视经验，笛卡儿重视数学

D、培根排斥归纳，笛卡儿排斥演绎

E、培根重视继承，笛卡儿重视创新

16、由于发现天体运行三定律，被人们誉为“天空立法者”的科学家是（）

17、赖尔对辩证唯物主义的自然观产生所作的突出贡献是指出（）