&img src=&/50/bfea467ec5b79314e9cbd7_b.jpg& data-rawwidth=&608& data-rawheight=&198& class=&origin_image zh-lightbox-thumb& width=&608& data-original=&/50/bfea467ec5b79314e9cbd7_r.jpg&&&p&2014年的六月，我在知乎“&a href=&/question//answer/& class=&internal&&民用小型无人机的销售现状和前景怎么样？ - YY硕的回答&/a&”这个问题下面发布了一篇科普多旋翼飞行器技术的回答，在知乎上至今获得了889个赞同、近10万次浏览，并且被几十家媒体和公众号转发。2014年中正是多旋翼飞行器市场爆发前的风口，后来很多朋友告诉我说正是这篇文章吸引他们走入了多旋翼飞行器行业。&/p&&p&两年来，大疆精灵系列更新了两代，飞控技术更新了两代，智能导航技术从无到有，诸多新的软件和硬件产品陆续发布。同时我们也多了很多友商，现在多旋翼飞行器市场火爆，诸多产品琳琅满目，价格千差万别。为了理解这些飞行器的区别，首先要理解这些飞行器上使用的传感器技术。我觉得现在很有必要再发一篇科普文章，定义“智能导航”这个概念，顺便字里行间介绍一下两年来大疆在传感器技术方面的努力。&/p&&p&&b&&u&1. 飞行器的状态&/u&&/b&&/p&&br&&p&客机、多旋翼飞行器等很多载人不载人的飞行器要想稳定飞行，首先最基础的问题是确定自己在空间中的位置和相关的状态。测量这些状态，就需要各种不同的传感器。&/p&&p&世界是三维的，飞行器的三维位置非常重要。比如民航客机飞行的时候，都是用GPS获得自己经度、纬度和高度三维位置。另外GPS还能用多普勒效应测量自己的三维速度。后来GPS民用之后，成本十几块钱的GPS接收机就可以让小型的设备，比如汽车、手机也接收到自己的三维位置和三维位置。&/p&&p&对多旋翼飞行器来说，只知道三维位置和三维速度还不够，因为多旋翼飞行器在空中飞行的时候，是通过调整自己的“姿态”来产生往某个方向的推力的。比如说往侧面飞实际上就是往侧面倾，根据一些物理学的原理，飞行器的一部分升力会推着飞行器往侧面移动。为了能够调整自己的姿态，就必须有办法测量自己的姿态。姿态用三个角度表示，因此也是三维的。与三维位置、三维角度相对应的物理量是三维速度、三维加速度和三维角速度，一共是十五个需要测量的状态。&/p&&img src=&/694927cac6cbda2385f62_b.jpg& data-rawwidth=&1062& data-rawheight=&744& class=&origin_image zh-lightbox-thumb& width=&1062& data-original=&/694927cac6cbda2385f62_r.jpg&&&p&这十五个状态都对多旋翼飞行器保持稳定飞行有至关重要的作用。拿“悬停”这件看起来是多旋翼飞行器最基本的能力来说，实际上飞行器的控制器在背后做了一系列“串级控制”：在知道自己三维位置的基础上，控制自己的位置始终锁定在悬停位置，这里的控制量是一个目标的悬停速度，当飞行器的位置等于悬停位置时，这个目标悬停速度为0，当飞行器的位置偏离了悬停位置时，飞行器就需要产生一个让自己趋向悬停位置的速度，也就是一个不为零的目标悬停速度；飞行器要想控制自己产生目标悬停速度，就需要根据自己当前的三维速度，产生一个目标加速度；为了实现这个目标加速度，飞机需要知道自己的三维角度，进而调整自己的姿态；为了调整自己的姿态，就需要知道自己的三维角速度，进而调整电机的转速。&/p&&p&读者可能会想哇为什么这么复杂。其实我们身边的许多工程产品都在简单的表现背后藏着复杂的过程。比如汽车的油门也是类似的，踩下油门之后，有传感器测量汽油的流速、控制汽油的流速；然后有传感器测量发动机的转速、控制发动机转速……从踩油门到加速的过程中也有许许多多的传感器在测量汽车的各个状态量，并对这些状态量施加控制。&/p&&p&知道十五个状态量是多旋翼飞行器做任何动作的基础中的基础，但是让飞行器在任何情况下都准确知道这十五个状态量是非常困难的事情，因为现在的科技水平还没有能够实现让一个传感器同时测量这么多的物理量。几十年来，人们发展出了一套复杂的技术，叫做组合导航，用GPS加上惯性测量元件、气压计和地磁指南针来让飞行器测量自己的十五个状态量。&/p&&p&&b&&u&2. 组合导航&/u&&/b&&/p&&p&惯性测量元件是一种能够测量自身三维加速度和三维角速度的设备（实际上惯性测量元件有两种，一种加速度计，一种角速度计，为了行文方便，我们把这两种元件当做一种，统称为惯性测量元件）。根据物理学原理，加速度的积分是速度，速度的积分是位置，角速度的积分是角度，理论上单靠惯性测量元件，我们就可以知道十五个状态量。&/p&&p&人类的科技水平也的确实现了这一点：GPS还没被发明以前，导弹上通常都装着一个精密的惯性测量元件，导弹打出去以后靠这个装置测量自己的十五个状态量，然后控制自己飞越海洋和大洲。然而这种惯性测量元件会在测量的过程中慢慢累积误差，元件本身的工艺、技术、成本越差，积累误差的速度就越快。导弹上价值几百万的惯性测量元件飞几万公里后会积累十几米到几公里的误差，这种水平的导弹已经非常了不起了，毕竟不是每个国家都可以在背后竖着洲际导弹和国际社会讲道理。&/p&&img src=&/84a0d000f26c9ce6bd3eacba_b.png& data-rawwidth=&1227& data-rawheight=&1500& class=&origin_image zh-lightbox-thumb& width=&1227& data-original=&/84a0d000f26c9ce6bd3eacba_r.png&&&p&人体内也有惯性测量元件，人的耳蜗充满液体，人运动的时候这些液体有惯性，可以被耳中的神经感受到，因此测出了运动的加速度。然而人的惯性测量元件非常差，闭上眼睛，也不摸周围的东西，只靠耳蜗感受的移动，人基本没法走直线。&/p&&p&而多旋翼飞行器上用的低成本MEMS惯性测量元件，精度就更差了，它测量的速度和位置在几秒钟内就会发散到几十米开外去，完全没法用来规划控制自己的飞行路线。&/p&&p&此外，惯性测量元件还会受到温度、制造工艺的限制，产生一些测量的偏差，比如说有时温度突然变化之后，一个静止的惯性测量元件会觉得自己转动了起来，虽然它静止着，但是会输出不为零的角速度。这类测量的偏差需要比较仔细的算法进行修正，而且往往不能单靠惯性测量元件自己的测量完全消除。&/p&&p&地磁指南针是一种测量航向的传感器。指南针在人们的生活中作用重大，在未知的环境中，不分南北可能寸步难行。飞行器的机身正方向朝南还是朝北这个状态量用导航的术语来说叫做航向，也就是飞行器姿态的三维角度中的一个，他在组合导航系统中是非常重要的一个状态量。&/p&&p&地磁指南针能够指南指北是因为地球表面空间中有看不见的横贯南北的地磁线，地磁指南针可以测量出穿过自身的地磁强度，从而指出当前自身相对于地磁线的偏转。同样地，这个理论虽然非常简单，但是地磁线的强度非常弱，很容易受到干扰。比如多旋翼飞行器通用的无刷电机，在运转的时候就会产生变化的磁场，和地磁场叠加之后，地磁指南针就找不到正确的方向了。地磁指南针的这个特性非常令人恼火，但是早期的多旋翼飞行器开发人员毫无办法，因为这是唯一的能够确定飞行器在空间中绝对航向的设备。如果不知道这个航向，就基本没办法进行组合导航。&/p&&img src=&/50a2d0c7ba_b.png& data-rawwidth=&1000& data-rawheight=&649& class=&origin_image zh-lightbox-thumb& width=&1000& data-original=&/50a2d0c7ba_r.png&&&p&气压计的原理最为简单。因为地球表面海拔越高，空气越稀薄，气压越低，因此气压就能够给出飞行器的海拔高度。不过，不出意料的是，尺寸和重量适合在多旋翼飞行器上使用的气压计有很大的缺陷，它的测量值会受到温度、湿度、空气流速、光照、振动等因素的影响，单靠气压计非常难实现对高度的稳定测量。&/p&&br&&p&&b&组合导航技术结合&/b&&b&GPS&/b&&b&、惯性测量元件、地磁指南针和气压计各自的优缺点，使用电子信号处理领域的很多技术，融合多种传感器的测量值，获得较为准确的飞行器十五个状态量的测量。&/b&前面说惯性测量元件的测量容易发散，这个发散可以通过GPS来抑制：GPS可以获得三维位置也可以获得三维速度，惯性测量元件可以获得三维加速度，加速度的积分也是速度。在通过地磁指南针获得航向的基础上，两种速度的观测就可以融合起来，通过GPS的测量值来发现并抑制惯性测量元件的发散。惯性测量元件的发散被抑制住之后，它也可以更准地测量三维角度和三维加速度。因此GPS和惯性测量元件在这些情况中互相取长补短。除此之外，气压计和GPS互相提高了高度测量的精度，地磁指南针、GPS和惯性测量元件一同提高了航向测量的精度，他们都是利用了相同的融合、“互补”的思想。&/p&&p&组合导航技术中传感器互补的原理直接源于1948年诞生的信息论。克劳德-香农总结归纳出的信息论提出了信息的概念以及如何从数学上度量信息，信息论可以说是现代人类文明的基石之一。解释清楚信息的本质之后，人们才能够用数学表示一个朴素而又深刻的原理：信息可以用来估计状态，越多的信息可以把状态量估计得越准。&/p&&p&&img src=&/fea29fd04e16a86b37f455_b.jpg& data-rawwidth=&800& data-rawheight=&430& class=&origin_image zh-lightbox-thumb& width=&800& data-original=&/fea29fd04e16a86b37f455_r.jpg&&（上图致敬信息论之父，克劳德-香农）&/p&&p&此后，控制论的奠基人诺伯特-维纳、鲁道夫-卡尔曼以及其他一大批工程师和科学家完善了通过信息进行状态估计的线性估计理论，进一步提出了传感器之间“互补滤波”，共同减小误差的理论。&b&卡尔曼设计的卡尔曼滤波器还被实现在了阿波罗飞船的导航计算机当中，使用星座位置和惯性测量元件互补测量阿波罗飞船的十五个状态量。&/b&&/p&&p&信息论、线性估计理论以及卡尔曼滤波器允许人们把多个具有误差的传感器通过数学方程融合起来，利用传感器信息估计特定的状态量，而且越多传感器“互补”，可以获得越好的状态估计。这样，数学给工程学指出了发展方向：造更多牛逼的传感器进行互补，就能获得更好的状态估计能力。大疆飞控总工程师鱼大人也曾经说过：“最牛逼的工程师都是在搞传感器。”传感器技术的重要性可见一斑。&/p&&p&作为一种位置传感器，GPS具有诸多的问题，GPS信号只有在开阔的空间内才能给出比较好的测量值，因为GPS接收机需要从天上的卫星获得信号，这些信号要从太空传入大气层，这么远的距离，信号已经相对来说很微弱，所以必须要求接收机和卫星之间的连线上没有遮挡，一旦有建筑甚至是树木的遮挡，卫星发下来的信号就有噪声，GPS接收机就不能给出很好的位置和速度观测。在室内环境中，GPS甚至完全不能使用。组合导航技术要想进一步发展，就需要寻找其他能够在GPS不能使用的环境中使用的传感器。&/p&&p&一种较为简单的能够替代GPS测量高度的传感器是小型超声波模块。这种模块通常有一收一发两个探头，一个探头发出超声波，另一个探头测量回波的时间，能够算出导致声波反弹的物体离探头的距离。现在在淘宝上，只要10块钱就可以买到一个能够比较准确测量几米内物体距离的超声波模块，被广泛用在大学生制作的小机器人上。这种10块钱的传感器没有比气压计和MEMS惯性测量元件性能高多少，它发出的声波容易发散，探测到的物体不一定位于探头正前方，另外声波也容易被空气中的水雾、振动所影响，给出完全错误的观测。因此，超声波模块最好的使用场景是对着地面，测量自身和地面的距离。&/p&&img src=&/5c9c1b686a9ae4bcdc6d1f_b.png& data-rawwidth=&400& data-rawheight=&400& class=&content_image& width=&400&&&img src=&/4d9ea9b2e93f3e8f7c1cf24_b.png& data-rawwidth=&450& data-rawheight=&373& class=&origin_image zh-lightbox-thumb& width=&450& data-original=&/4d9ea9b2e93f3e8f7c1cf24_r.png&&&p&&b&&u&3. 视觉感知系统&/u&&/b&&/p&&p&另外一种替代品是视觉感知系统。1970年之后，随着数字成像技术的发展，相机作为一种传感器开始被广泛研究。因为人可以通过自己的视觉估计视野中物体的位置、距离，而相机的原理模拟了人的双眼，所以研究者们模仿人的特点，利用相机的二维图像反推图像中物体的三维信息。这种和二维图像推算三维信息相关的技术和数学理论发展成了一个独立的学科——计算机视觉，也被称作机器视觉。&/p&&p&视觉感知系统是目前世界上最热门的机器人学和机器视觉领域研究课题。其原理是利用一个或者多个相机构成的视觉传感器系统，采用复杂的算法，通过二维的相机图像推算出视野中物体相对与视觉传感器系统的几何中心的运动信息，如果假设这些物体都是静止的，那么相对运动其实代表了视觉传感器本身的运动。理论上，计算机视觉技术能够单凭一个相机就可以准确测量十五个状态量，但是与其他传感器类似，相机也有很多的缺陷，包括无法恢复尺度、成像质量有限、计算量消耗巨大等等。幸好，我们还可以把视觉感知系统和其他传感器结合起来，互相提高测量精度。&/p&&p&聪明的读者肯定能够想到，把视觉感知系统和之前说的所有组合导航中用到的传感器融合起来，GPS信号质量高的时候用GPS组合导航，没GPS的时候用视觉感知系统替代GPS，不就解决问题了吗。这确实正是目前工程师和科学家们正在努力解决的问题，也是精灵4上初步实现的技术。在介绍精灵4是如何结合视觉感知系统和组合导航技术之前，我们先简单介绍两种已经比较成熟的视觉感知系统：光流测速模块和视觉里程计。&/p&&p&光流测速模块顾名思义，只能测速度。通常一个光流测速模块由一个相机、一个惯性测量元件、一个超声波模块构成，它的主要原理是计算机视觉技术中于1981年被发展出来的“光流追踪”算法。&/p&&p&“光流”的概念最早在1950年代由心理学家和生物学家提出，指的是一个观察者和他在观察的事物发生相对运动时，这些事物在他眼前成的像会产生“运动的模式”，人脑利用这种“运动的模式”能够更灵敏地感知周围什么东西在动。比如下图中，读者一看就可以直观理解“光流”的意义。&/p&&img src=&/ea0a846b9da1b6732ff2b_b.png& data-rawwidth=&763& data-rawheight=&403& class=&origin_image zh-lightbox-thumb& width=&763& data-original=&/ea0a846b9da1b6732ff2b_r.png&&&p&后来计算机科学家布鲁斯-卢卡斯和金出武雄在1981年发明了Lucas-Kanade算法，通过算法计算出连续拍摄的图片上的光流，并证明了光流可以反解出相对运动的速度。虽然三十多年来，Lucas-Kanade算法始终被公认为最好的“光流追踪”算法，但是它有比较大的局限性，它包含很多假设，比如假设连续图片的平均亮度相同，比如假设图片中的物体只发生平面运动等等。另外，光流算法算出的速度是没有尺度的，因为相机图像的单位是像素，所以光流算法只能给出“你现在的速度是10个像素每秒”，但是没法算出10个像素是1厘米还是1米。恢复尺度的方式是增加一个超声波模块测量平面运动离相机的距离，这样就能够把像素运动转换成真实的运动。最后，如果要让光流测速模块在晃来晃去的多旋翼飞行器上也能使用，通过惯性测量元件找出图像所代表的平面也是必不可少的，这一点需要在算法上进行两种传感器很好的配合。&/p&&p&光流算法原理上只可以测三维速度，不能直接测量三维位置。我们同样可以通过把光流测速模块测出的三维速度积分获得三维位置，但是就像惯性测量元件积分会发散一样，光流测速模块积分得到的位置也会发散。好在它不会天马行空地失去控制，和组合导航技术中除了GPS之外的传感器妥善融合之后，它可以做到悬停时测量的位置不发散。因此可以说光流测速模块只在有限的条件下能够替代GPS。&/p&&p&光流测速模块已经形成了非常标准的解决方案。大疆悟以及精灵3上都装载了自主研发的光流测速模块，另外著名的开源飞控产品Pixhawk中包含了一个叫做PX4Flow的光流测速模块，并且开源了所有的代码和硬件方案。所以光流测速模块目前已经广泛出现在了各大厂商的多旋翼飞行器产品上。&/p&&img src=&/fcddce6cf2be62a72c740ebdca8eb91f_b.png& data-rawwidth=&990& data-rawheight=&696& class=&origin_image zh-lightbox-thumb& width=&990& data-original=&/fcddce6cf2be62a72c740ebdca8eb91f_r.png&&&img src=&/eba280c38e_b.png& data-rawwidth=&400& data-rawheight=&367& class=&content_image& width=&400&&&br&&p&视觉里程计相比光流测速模块，增加了直接测量位置的能力，所以才叫“里程计”。视觉里程计比光流测速模块能力更强，性能更好。&/p&&p&读者可能会问，为什么听起来视觉里程计和光流测速模块参与的传感器数量差不多（光流测速模块甚至还多一个超声波模块），但是视觉里程计能力反而更强呢。这里的原因不在于传感器硬件，而在软件算法上。前面已经说到光流追踪算法有很多简化的假设，只能测量平面运动，增加其他传感器硬件一定程度上是为了把那些为了计算方便而简化掉的因素重新弥补起来。&/p&&p&
而视觉里程计算法则复杂得多，它不仅要通过图像反推出视野中物体的平面运动，还要反推出这些物体的三维位置，并且基于这些物体的三维位置做很多次的优化计算，算法复杂度成倍于光流测速模块。有些视觉里程计的算法甚至包含完整的光流追踪的算法，但是仅仅把计算光流作为预处理图像的步骤。&/p&&p&视觉里程计能够直接测量位置，测量值也比较准确，不会像光流测速模块那样发散。通常比较优秀的视觉里程计飞100米之后只会积累十几厘米到几十厘米的误差，这个测量水平比起导弹上几百万的惯性测量元件还是差了不少，但是考虑到视觉里程计的价格极其低廉，对比起来它的性价比非常高。&/p&&p&视觉里程计有几个不同层次的难度，最简单的是两个相机构成的双目立体视觉系统加惯性测量元件，最难的是一个相机构成的单目视觉系统加惯性测量元件。如果视觉里程计和光流测速模块硬件一致，那么这里的视觉里程计采用的是单目视觉系统。目前，双目立体视觉系统加惯性测量元件实现自身状态观测已经是比较完善的技术，而单目视觉系统则是活跃的研究方向，&b&世界上做这个研究方向较好的大学有美国的宾西法尼亚大学、瑞士的苏黎世联邦理工学院、英国的牛津大学、我国的香港科技大学和其他一些欧美院校。&/b&&/p&&p&单目视觉系统和双目立体视觉系统两者对比起来，他们的算法难度差别很大。视觉里程计的算法关键点是前面说的“通过连续的图像反推出视野中物体的三维位置”。对于和人眼结构类似的双目立体视觉系统，这一点比较容易，因为一个物体同时出现在左右两个相机的视野中时左右视野有视差，视差可以帮助解算物体的位置，只需要用简单的几何关系就可以实现，这已经是非常成熟的技术。&/p&&p&但是对于单目视觉系统，只有一个相机就没有视差，没法做简单的几何关系的解算，所以算法必须能智能地在局部范围内同时估计很多个物体的位置，然后在自身移动过程中通过位置移动产生视差，然后进行多个物体的位置的最大似然估计，从而推算出这些物体比较准确的位置。这个过程包括很多个环节，大部分环节在学术界都没有公认最优的方案，因此还没有成熟的技术。&/p&&p&因为原理相对简单，所以双目立体视觉系统构成的视觉里程计在三十年前就开始被研究了。1980年代早期，NASA工程师、著名机器人学家汉斯-莫拉维克就已经制造出了这种状态测量系统。关于汉斯-莫拉维克的另一个故事，我在知乎问题中“&a href=&/question//answer/& class=&internal&&有哪些与控制、机器人等相关的 quotes？ - YY硕的回答&/a&”也有提到。&/p&&br&&p&&img src=&/3fedf5afca253d4b15d5_b.png& data-rawwidth=&500& data-rawheight=&561& class=&origin_image zh-lightbox-thumb& width=&500& data-original=&/3fedf5afca253d4b15d5_r.png&&（上图致敬汉斯-莫拉维克）&/p&&p&在经年累月的优化之后，&b&2004&/b&&b&年，&/b&&b&NASA&/b&&b&成功把视觉里程计和惯性测量元件构成的视觉定位系统装在“机遇号”和“勇气号”火星车主频仅有&/b&&b&20MHz&/b&&b&的特制芯片上，送上了火星&/b&，它可以帮助火星车通过一对双目相机非常准确地记录自己走过的路线。2007年，参与火星探测任务的计算机科学家和工程师们把这个激动人心的过程写成了一篇论文《计算机视觉在火星》（Computer
Vision on Mars），这篇文章吸引了很多计算机视觉研究人员投身视觉里程计的研究，也极大推动了视觉里程计在机器人学中的应用。&/p&&p&&b&&u&4. 精灵4的传感器方案&/u&&/b&&/p&&br&&p&大疆在精灵4上实现了双目立体视觉系统加惯性测量元件构成的视觉里程计，飞机上装了两套双目立体视觉系统，一套向前看，一套向下看，一共是四个相机。&/p&&img src=&/63e8cb01ca6eadbeaf04d5_b.png& data-rawwidth=&266& data-rawheight=&249& class=&content_image& width=&266&&&img src=&/cd80f87f9cf_b.png& data-rawwidth=&1024& data-rawheight=&684& class=&origin_image zh-lightbox-thumb& width=&1024& data-original=&/cd80f87f9cf_r.png&&&p&两套双目立体视觉系统都参与视觉里程计的计算。通常情况下以向下看的双目立体视觉系统为主，如果向下看的相机对着一些特征不明显的环境（比如纯色的地板、海面等等），感受不到什么图像变化，视觉里程计会自动切换到向前看的立体视觉系统做测量计算。虽然精灵4采用的都是较为成熟的机器视觉技术，但是由于精灵4上机载的计算量非常有限，大疆还是下了相当久的苦功去优化算法，并使用了Movidius公司制作的图像算法处理专用芯片，结合Movidius公司的图像处理算法库优化四路图像处理的性能。值得一提的是，不久就会面世的Google
Tango也使用了Movidius公司的这款芯片。不过因为Movidius公司的芯片不包含视觉里程计的算法，所以Google的这款产品中视觉里程计的算法应该与精灵4的算法有较大差别。&/p&&p&两套双目立体视觉系统还带来了视觉里程计之外的两个好处：1.
向下看的一套双目立体视觉系统可以探测下方地面上物体的三维位置，从而知道地面的距离；2.
向前看的一套双目立体视觉系统可以用来探测前方场景中物体的深度，产生深度图进行障碍感知。深度图还可以用于重建一个飞行器周围的局部地图，以进行精细的运动规划，这就是精灵4指点飞行的基础，在这篇文章中不详细介绍了。&/p&&img src=&/190d7d82fda_b.png& data-rawwidth=&428& data-rawheight=&324& class=&origin_image zh-lightbox-thumb& width=&428& data-original=&/190d7d82fda_r.png&&&p&&b&除了增加视觉里程计之外，精灵&/b&&b&4&/b&&b&上还增加了内置的超声波模块。所以精灵&/b&&b&4&/b&&b&上一共有&/b&&b&GPS+&/b&&b&惯性测量元件&/b&&b&+&/b&&b&气压计&/b&&b&+&/b&&b&地磁指南针&/b&&b&+&/b&&b&超声波模块&/b&&b&+&/b&&b&双目视觉系统六种传感器。&/b&其中双目视觉系统有两套，共4个相机；惯性测量元件有两个，实现双冗余备份；地磁指南针也有两个，同样双冗余。当工作中的惯性测量元件或者地磁指南针受到严重干扰的时候，系统会自动进行备份切换，切换到另一个传感器上。这些传感器的数量、功能和特性总结如下表：&/p&&p&&img src=&/373e5a07de765c691a77aa4add242c8d_b.png& data-rawwidth=&653& data-rawheight=&388& class=&origin_image zh-lightbox-thumb& width=&653& data-original=&/373e5a07de765c691a77aa4add242c8d_r.png&&有了这些传感器以后，组合导航系统升级成为了智能导航系统。智能导航技术极大拓展了飞行器可以活动的空间，当有GPS的时候，系统可以通过GPS为主进行十五个状态量的测量，视觉里程计依然可以继续运作，提供额外的速度和位置的测量值进一步提高精度；GPS信号不好的时候，视觉里程计可以接替GPS为整个系统提供稳定的观测。智能导航系统中有三种确定高度的传感器：超声波、气压计、双目立体视觉，这三种传感器几乎可以覆盖所有让传统多旋翼飞行器头疼的定高场景：树丛上方、室内、靠近建筑的位置、大风环境等等。&br&&/p&&p&地磁指南针的冗余设计可以很大程度上减小外部磁干扰带来的指南针故障。另外视觉里程计也能给出航向的观测，两者互补能够提高航向的观测精度。在以前的飞行器上，因为地磁指南针受到干扰造成的炸机问题比较多，在精灵4上因为有了多重保护措施，地磁指南针被干扰导致问题的概率大大降低。&/p&&p&有了智能导航系统之后，还需要有一套强有力的软件系统去组织导航算法和飞行控制算法。精灵4的飞控和最新推出的A3飞控类似，都是大疆第三代飞行控制器。大疆第一代飞控性能已经很不错了，然后飞控组在过去的几年里做了两次比较大的飞控软件系统的重构，以支持更多的传感器和功能。2014年底推出的第二代飞控里加入了光流测速模块支持、SDK、限飞区和新手模式等功能，2016年初开发完成的第三代飞控里加入了冗余传感器、双目立体视觉支持、避障功能和智能返航等功能。因为每一次重构都对整个软件系统做了很大规模的调整，增加了很多的软件模块和新的软件架构，所以分了三代。别人刚开始做飞控的时候，大疆已经自己重构了两次代码，这一点是大疆最引以自豪的地方之一。&/p&&br&&p&智能导航系统让精灵4在任何状态下都可以准确测量自身的三维位置和三维速度，这对实现多种功能都有非常重要的意义。&/p&&p&近年来，业界有很多关于避障应该使用双目立体视觉还是激光雷达传感器等传感器的争论。在大疆内部，选择什么样的传感器放入智能导航系统用来避障，工程师团队也进行了旷日持久的探讨，最后还是选择了双目立体视觉的方案。我相信随着科技的发展，在未来会不断有更多更好的新传感器诞生，很可能会有其他传感器代替双目立体视觉，但是实现稳定避障的关键不在于避障所使用的传感器。&b&避障这个事件发生前后，飞行器机体一定会发生急刹车，整体会经历很大的姿态变化和加速度，在这种状态下，飞行器是否还能稳定地测量出自己的十五个状态量，才是最影响安全性的问题。&/b&&/p&&p&如果系统急刹车之后，整体的位置观测甚至速度观测都发散了，这时候飞行器有可能左右飘出去，还是会发生炸机。就算不炸机，避障之后飞机前后左右摇晃，也会给用户心理上造成不安全的感受，带来很差的用户体验。精灵4在很多严苛的情况下发生避障动作时，飞行器会自动锁定位置、速度迅速减为0的状态，很快就可以从高速机动恢复到完全不动，非常稳定地悬停，避免了在障碍附近不稳定活动引起炸机。&/p&&p&精灵4还能处理很多看似很简单，但是对传感器系统要求非常高的飞行场景。比如在十几层楼的窗口把飞行器从室内飞到室外悬停。这种场景下，从窗口穿出时，向下看的传感器几乎马上全部失效，由于有建筑的遮挡，GPS也不会立刻生效，因此传感器系统不够稳健的飞行器有可能因为失去速度和位置的测量而飘到建筑上造成高空炸机。而精灵4则能够通过前视双目视觉系统的观测，在向下看的传感器都暂时失效时继续运行视觉里程计，及时提供辅助的速度和位置观测，避免造成无法控制速度和位置导致炸机的情况出现。&/p&&p&实际上，由于前面说的过GPS容易被遮挡导致没有足够的信号做观测的情况在航拍的场景中其实常常遇到。比如在树木茂密的峡谷里航拍，经常出现的情况是飞行器放在地面上时接收不到GPS信号，如果稳定飞到几十米的高度就可以接收到了。在这些临界情况下起飞和降落非常危险，如果要保证飞行器在升降过程中都能保持稳定的状态，飞行器必须能够在GPS和视觉里程计之间无缝转换，这样才能让用户放心地起降。如果用户从高处下降到低处GPS突然没有了，而视觉里程计没有及时补上，飞机失去位置和速度观测之后就变得非常难操控，就有可能撞在树丛上。&/p&&p&
读者可能问，在这些情况下光流测速模块效果是不是也一样呢。我们前面说过光流测速模块的算法有很多简化的假设，尤其是被观测的物体必须处于同一个平面这样的假设，使得光流测速模块在树丛上方、地势变化较大的空间上方，都表现非常糟糕，并不能满足户外航拍的需求。虽然视觉里程计计算量庞大，但它是比光流测速模块更加实用有效的方案。&/p&&p&另外值得一提的是，第二代的大疆飞控使用的是遥控器杆量转化成飞行器的加速度指令，而第三代的大疆飞控在精灵4上变成了遥控器杆量转化成飞行器的速度指令。在精灵3、大疆的前代飞行器以及很多无人机产品上，如果你推遥控器满杆前进，飞行器会以一个固定的角度加速飞出去，直到加速度被空气阻力抵消，这样控制并不直观，所以新手很难操作飞行器；而在精灵4上，如果你推遥控器满杆前进，飞行器会自己调整到一个固定的速度上，直接操控速度显得非常直接，非常容易操控。以往，让飞行器保持匀速飞行是只有专业飞手才能做到的事情，现在则真真正正地让普通人也能触手可得。这一个修改看似简单，但是提供了更好的操作手感，而且让飞行器飞行的状态更加稳定。&/p&&p&对于航拍操作手来说，&b&所有的花哨功能都不如悬停得稳、飞得稳这一点重要&/b&，因为飞机晃得太厉害，总会给用户造成一种“我的飞机真的没出问题吗”的感受，用户体验极其不好。我们去西藏青海或者其他很美的地方开车玩，肯定是希望平稳、慢慢地开，这样才能专心看美景；如果开着一部油门轻轻一点就加速到200公里的赛车，坐在车里一会儿被推背，一会儿过弯时左右甩，人还有心情欣赏路上的美景吗？&/p&&p&遥控器杆量改动也显示了大疆对自己智能导航系统提供的稳定的三维速度测量的信心。目前我没有见过其他哪家公司的飞行器控制系统采用的是遥控器杆量转化成飞行器的速度指令。&/p&&p&&b&&u&5. 当我在谈论无人机的时候，我在谈论什么&/u&&/b&&/p&&br&&p&在这篇文章里，到现在我都没有提过&b&“无人机”&/b&三个字。我觉得，就像一辆合格的汽车必须有安全带、安全气囊、后视镜、阻燃内饰、各种仪表盘等等安全措施才能称为汽车一样，&b&一部合格的多旋翼飞行器也必须有惯性测量元件、&/b&&b&GPS&/b&&b&、视觉里程计、避障系统、气压计和超声波等传感器构成的智能导航系统才能被称为无人机。&/b&多旋翼飞行器不是玩具，汽车以高速撞人会造成人体严重的伤害，多旋翼飞行器甚至都不需要高速运动就可以用螺旋桨造成人体严重的伤害，因此多旋翼飞行器传感器必须有很强的安全性和稳定性。&/p&&p&2014年的时候，大疆飞控组有一个白板，上面写着：“竞争对手” 下面只用小字写了几个业内竞争品牌的名字，但是用大大的字写了“波音“。几年来，大疆飞控的梦想都是能让便宜低价的多旋翼飞行器像波音的民航客机那样，只有五百万分之一的致死事故发生率。随着传感器技术的提升和飞行控制品质的提升，截止2016年5月底，精灵4核心传感器出现故障的概率约为两百万分之一。虽然相比起载人的飞行器来说，大疆还有很多地方需要努力，但是在无人的多旋翼飞行器行业中，大疆是行业中飞行器整体故障率最低的企业。很多其他的企业，可能都无法计算出事故概率是百万分之多少，甚至是万分之多少。&br&&/p&&p&很多其他公司也出了不少多旋翼飞行器产品，但是大部分只做了个组合导航的皮毛，加上一个光流测速模块，然后动一些歪脑筋，就开始标榜自己的安全性。就好比造个了汽车，说“啊我这个安全性很好的因为我方向盘手感很好，还装了个车载GPS”，但他车里连安全气囊和后视镜都没有。&/p&&p&还有的公司以飞行器上有新型传感器为卖点。但是一套完整、可靠的传感器系统是一点一滴积累起来的，新传感器必须和已有的组合导航系统在硬件和软件上仔细融合，才能真正发挥作用。面对很多号称采用激光、红外线、“人眼级别的智能”的传感器，读者们只要去问这些厂商：“你的传感器能和GPS无缝切换吗？”“你的传感器解决室内掉高问题吗”“你的传感器在急刹车的时候还能保持位置观测吗”，就可以看出他们都是堆砌出来的空中楼阁。&/p&&p&有些厂商的宣传语是“无人机不是土豪的玩具”。如果把他们所有宣传语中的“无人机”一词换成“汽车”，那么这类宣传逻辑和它们引导的消费观念显得极其错误。对汽车来说，有些汽车价格昂贵是因为提供了更好的倒车雷达和车身周围的传感器系统，这种增加汽车售价的行为提高了驾驶的体验，是理所应当的；另一方面，要求汽车变得更便宜，不应该要求去除这些安全传感器，而是应该从车身材料、内饰等方面去入手降成本。&/p&&p&大疆极其反感这类行为，并不是想打击这些竞争对手以占领市场，而是希望所有厂商能够沉住气，把飞行器的传感器做完善。多旋翼飞行器不是手机一类的消费电子，而是和汽车、客机一样具有一定危险性的载具，不能一味打价格战或者标新立异。我们希望市场上能出现带着全套智能导航系统和算法，依然售价2999的飞行器。我们坚信只有实现了完善的智能导航系统，才能造出真正安全的无人机产品，否则让不达标的飞行器进入市场，损害的是全体厂商的利益，也危害了整个社会的安全。&/p&
2014年的六月，我在知乎“”这个问题下面发布了一篇科普多旋翼飞行器技术的回答，在知乎上至今获得了889个赞同、近10万次浏览，并且被几十家媒体和公众号转发。2014年中正是多旋翼飞行器市场爆发前的风…
&h2&&b&&u&前言&/u&&/b&&/h2&&p&很多朋友私信问我对机器人和人工智能感兴趣，该怎么展开学习。最近稍微有点空，我写写我的看法。&/p&&p&两年前，我在知乎回答&a href=&/question//answer/& class=&internal&&如何定义「机器人」？ - YY硕的回答&/a&中试图给机器人做出一个比较仔细的定义，我觉得机器人和人工智能最大的区别在于是否要和物理世界进行交互。今年初在另一篇知乎回答里&a href=&/question//answer/& class=&internal&&对机器人或人工智能的研究会帮助我们更好的了解人类自己吗？ - YY硕的回答&/a&我说到传感器是和物理世界交互的基础。后来，我又在知乎回答&a href=&/question//answer/& class=&internal&&有哪些与控制、机器人等相关的 quotes？ - YY硕的回答&/a&中提到莫拉维克悖论（&a href=&/?target=https%3A//en.wikipedia.org/wiki/Moravec%2527s_paradox& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Moravec's paradox&i class=&icon-external&&&/i&&/a&），谈到了机器人学里公认的难题是在物理世界中实现类人的活动能力。&/p&&p&把之前的回答再翻出来是为了支持以下观点：机器人学的核心问题是做好和物理世界的交互。现在主流的机器人学分支里，处理与物理世界的交互的学科分为三类：传感器和处理算法（激光雷达，多目视觉，融合算法）；多刚体系统动力学控制（工业机器人动力学控制和接触力控制）；机器人自主移动（locomotion不知道该怎么翻译，轮式、足式、飞行等移动机器人的研究）。我建议对机器人学有兴趣的同学着重在这几个问题上面。&/p&&p&另外，根据世界第一的机器人教育机构卡耐基梅隆大学的机器人学博士的课程分类方式（&a href=&/?target=http%3A//www.ri.cmu.edu/education/COSAug2016.pdf& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&ri.cmu.edu/education/CO&/span&&span class=&invisible&&SAug2016.pdf&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&），机器人学有四个核心领域：&/p&&ol&&li&感知。视觉传感器、图像传感器、触觉和力传感器、惯导等。&br&&/li&&li&认知。人工智能、知识表达、规划、任务调度、机器学习等。&/li&&li&行为。运动学、动力学、控制、manipulation和locomotion等。&/li&&li&数学基础。最优估计、微分几何、计算几何、运筹学等。&/li&&/ol&&p&结合卡耐基梅隆大学的核心课程要求，我觉得我定义的机器人学核心问题算是基本没跑偏的。本文后面谈到的机器人项目都是以上述观点和课程要求为基础。&/p&&p&一些可能有争议性的观点：&/p&&p&1. 机器人学是富人的活动。虽然工业越来越发达，但好的开发板和电机还是非常贵。如果要下定决心学习机器人学并且做出实物，你必须找到做实物出来的资金。要么是自己花钱，要么就得找学校的机器人社团，或者找什么愿意资助年轻人学习的贵人。另外现在没有任何一本完整的书可以教你怎么造一个四旋翼空中机器人或者大狗机器人，你需要参考十几本不同的教科书，这些书不管中文版还是英文版都很贵。&/p&&p&2. 机器人学是屠龙之术。这话是Ninebot创始人说的。虽然最近几年，平衡车、扫地机器人、多旋翼飞行器让机器人学开始进入人们的生活，但是可行的商业应用还是很少，而且已有的机器人和理论都还很难解决好与物理世界交互这件事情。所以一定要确保自己在机器人学这个道路上同时练好了能去其他行当吃饭的技能，比如编程、机械设计和硬件设计。也要做好心理准备，接受自己有可能在学会屠龙之术以后几年都造不出对社会有用的东西的事实。&/p&&p&3. 基于上述所说的观点，如果是已经工作之后才想要学习机器人的话，可能已经太迟了，因为很可能&b&兴趣战胜不了客观限制因素&/b&。如果作为兴趣去学习，只能学到做巡线小车和舵机机械臂什么的，可能也满足不了中二病的创造欲。&/p&&br&&p&个人认为机器人学是一个艰苦的道路，想要成为一个独挡一面的机器人工程师需要多年理论和实践的同步训练。理论学习和动手实践的过程还要互相排好时间表，在做某个实践项目的同时去学习最相关理论往往可以达到事半功倍的效果，但是同时那些不太相关的理论会看起来非常枯燥，因此如何妥善安排自己的实践项目也是很重要的事情。&br&&/p&&p&这篇文章里我计划介绍一个电子工程、机械工程和计算机专业学生从大学一年级到研究生二年级的机器人学习计划，基本是我对自己过去学习方式的一个总结。按照这个方法来学习，能够成为一个能力全面，但是稍微偏软件一点的机器人工程师。这个六年的学习计划，估算下来，全年中每天在上课和完成课程要求之外要投入学习时间6-8个小时，这些时间一方面用于阅读课程知识的英文教材，一方面用于阅读其他学科的教材，一方面用于实践项目。&/p&&p&机器人工程师在大型项目里的定位类似于飞机系统里的总体设计师。和机械工程师、硬件工程师、软件工程师、算法工程师、控制工程师比起来，机器人工程师参与某个具体技术的时间较少，但是能够听得懂所有工程师说的话，能够作为不同模块间的协调人，带领整个团队去攻坚。当然如果机器人工程师能够在一个领域达到那个领域的工程师的优秀水平，肯定更好。&br&&/p&&p&由于时间仓促，再加上个人水平有限，文章中如有纰漏和错误，恭请读者指出，谢谢。如果同学还有什么想知道的内容和教材，也欢迎留言交流。&/p&&br&&h2&&b&&u&大一&/u&&/b&&/h2&&p&刚上大一，你的机器人生涯开始了。先看看学校的校园网能不能翻墙，不能的话自己去买个一年一百多块钱的VPN，先确保自己能上Google，不要心疼VPN的钱，这能让你在之后的职业生涯里节省上万块钱。然后去注册一个gmail账号，再注册stackoverflow账号，再注册github的账号，再注册CSDN账号，注册完登录上去逛逛，暂时先不要问为什么。&/p&&p&英语水平一定程度上会是机器人工程师水平的限制因素，英语是同学们在大学最该努力学的一门课，而且不止要把它当成课，要当成一种技能，当成生活的一部分。当你开始努力学习一些高级的机器人知识以后，有可能会非常难以找到中文的参考资料，这个时候如果啃不下英文的资料，进步速度和眼界就会受到很大影响。因此大一的时候要多看看红宝书，看看美剧。&/p&&p&不管是什么专业背景的同学，大学一年级一定要上好的课是微积分和线性代数。线性代数的重要性需要特别强调。一般来说，&b&优秀的工程师和科学家在职业生涯中要学至少五次线性代数&/b&，大一学一遍、学凸优化的时候学一遍、学线性系统的时候学一遍、学机器学习的时候学一遍……如果在第一遍学的时候就看到对的书，刷到对的题，那么以后的学习会轻松很多。&/p&&p&网上有很多对于如何学好线性代数的讨论，比如知乎问题&a href=&/question/& class=&internal&&如何理解线性代数？ - 数学学习&/a&。Matrix67大神的文章&a href=&/?target=http%3A///blog/archives/4294& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&随记：我们需要怎样的数学教育？&i class=&icon-external&&&/i&&/a&也很有启发。我个人对学习线性代数的建议是两本书，一本叫做《Linear Algebra Done Right》，另一本叫做《Linear Algebra Done Wrong》（&a href=&/?target=https%3A//www.math.brown.edu/%7Etreil/papers/LADW/book.pdf& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://www.&/span&&span class=&visible&&math.brown.edu/~treil/p&/span&&span class=&invisible&&apers/LADW/book.pdf&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&），我比较喜欢的是Done Wrong这本书，第一它是免费的，第二只需要读前6章两百页就够了，第三它页边距很大，打印出来有很多空白做练习题。另外一个较好的教材是&a href=&/?target=http%3A///special/opencourse/daishu.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&麻省理工公开课：线性代数&i class=&icon-external&&&/i&&/a&。不论如何，学线性代数一定要用国外的教材，千万不要用国内的教材。啃英文书很累，但是考虑到之后还要啃更多的英文书，线性代数已经算是很入门的了，一定要啃下来，同时还要刷足够多的课后题。&/p&&p&学完线性代数以后，一个自然而然的问题就是怎么能用计算机自己去计算矩阵的乘法、向量的乘法、向量的内积。因此引入了编程的学习。&/p&&p&不管同学的专业是什么，一定要在大学一年级尽早开始学编程。至于用哪种语言开始学习编程，我推荐Python，比较好的教材是&a href=&/?target=http%3A///special/opencourse/bianchengdaolun.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&麻省理工学院公开课：计算机科学及编程导论&i class=&icon-external&&&/i&&/a&，比较好的Python开发学习环境是Anacoda (&a href=&/?target=http%3A//www.continuum.io/downloads& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&continuum.io/downloads&/span&&span class=&invisible&&&/span&&i class=&icon-external&&&/i&&/a&)。熟悉Python以后，同学就可以开始玩玩Python的数值计算包Numpy，这个时候线性代数题基本上也刷的差不多，可以通过Numpy帮助自己解决线性代数问题了。&/p&&p&对任何人来说，Python是一把瑞士军刀，你可以用他干很多东西，比如自动回复邮件、自动收集信息。但是真要去造机器人，合适的工具并不是瑞士军刀，而是C/C++这样简单粗暴的锤子和螺丝刀般的工具。在学习Python学到一定程度的时候（比如你听说有一种叫做cython的东西），最好开始学习C，而且要强迫自己练习用C的一维数组和指针来实现矩阵的加法、乘法、求逆等操作。之所以有高级的Python或者Java（不要问我Java哪里高级了）这些语言以后我们还需要去学C，是因为机器人上常用的不是完整的电脑，而是计算量有局限的嵌入式系统，嵌入式系统开发基本只能用C或者更低级的语言。&/p&&p&学习C我个人入门用的是清华大学出版的《&a class=& wrap external& href=&/?target=http%3A///8880276.html& target=&_blank& rel=&nofollow noreferrer&&C++语言程序设计&i class=&icon-external&&&/i&&/a&》。虽然这个书标题是C++，但其实没什么太大问题。不过国内的C语言教材都有个巨大的问题是不引导学生去用Linux。近年来更好的一个教材是&a href=&/?target=http%3A///akabook/zh/index.html& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&/akabook&/span&&span class=&invisible&&/zh/index.html&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&，这个网站的教材非常好，因为他教育学生用Linux环境作为程序编译的环境，而且还引入了一些计算机体系结构的介绍。&/p&&p&IT行业的程序员都会争论高级语言和低级语言哪个好，Linux和Windows哪个好，而对于机器人工程师来说，从现在到可预见的未来里，C是最好的语言，Linux是最好的操作系统，这都毋庸置疑。甚至对于Linux的发行版该选哪个，我们都是很少有质疑的：Ubuntu（&a href=&/?target=http%3A///global& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&The leading OS for PC, tablet, phone and cloud&i class=&icon-external&&&/i&&/a&）。原因是机器人操作系统ROS（&a href=&/?target=http%3A//www.ros.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&ROS.org | Powering the world's robots&i class=&icon-external&&&/i&&/a&）是基于Ubuntu开发的，因此在Ubuntu上运行最稳定。注意Ubuntu出了一个中文版叫做Kylin，个人感觉比较坑，建议大家不要装中文版。Ubuntu 作为一个开源操作系统，总是在快速迭代，2016年8月比较稳定的版本是14.04和16.04，建议同学安装14.04。&/p&&p&当你把C学得差不多，开始要学写包含多个头文件的程序时，一定要同时学习makefile的知识。这时候要上网去搜“Makefile详解”（&a href=&/?target=http%3A///p/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Makefile详解（超级好）_mingw吧&i class=&icon-external&&&/i&&/a&）这篇文章看。&/p&&br&&p&我自己在大学一年级的时候还学习了HTML和Javascript，到大一结束的时候已经能够熟练用Javascript手写一些动态页面。我个人觉得HTML和Javascript也是机器人工程师必备的技术，而不只是软件工程师的玩具。这是因为web技术实际上已经渗透到了编程的方方面面，比如json开始是Javascript里的一种object定义的方式，但现在已经成为了一种很标准的数据交互、参数配置的格式。另外AJAX能够帮助初学者理解一定的网络技术原理，而网络技术也是机器人工程师必备的技能。再者，制作GUI（图形用户界面）是常规debug的办法，而近年来一个流行的趋势是用webkit嵌入程序用HTML和Javascript作为图形界面的后端，而在机器人操作系统ROS（&a href=&/?target=http%3A//www.ros.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&ROS.org | Powering the world's robots&i class=&icon-external&&&/i&&/a&）里，通过rosbridge可以非常方便地把机器人程序的数据传递到websocket上，这句话看不懂没关系，反正你知道学学HTML和Javascript很重要就是了。更重要的是，HTML文档背后的DOM (Document Object Model)深刻地体现了面向对象的思想。大学中的面向对象程序设计一般都讲C++，在我看来应该讲HTML和Javascript。这一点不细说了，如果同学们去学习HTML和Javascript，自然会体会到。学习HTML和Javascript比较好的资料是&a href=&/?target=http%3A///& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&/&/span&&span class=&invisible&&&/span&&i class=&icon-external&&&/i&&/a&，把网站左侧的“Learn HTML”、“Learn CSS”、“Learn Javascript”和“Learn JQuery”学完就行，别的部分还有很多花哨的技术，没有必要去学了。为了培养自己对Javascript的兴趣，可以上&a href=&/?target=http%3A//threejs.org/examples/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&three.js / examples&i class=&icon-external&&&/i&&/a&跪着看看热闹。&br&&/p&&p&以上介绍的这些知识点、书和资料应该在大一期间就全部看完，然后利用大一的暑假好好巩固这些知识。比如开始用HTML和Javascript做一个自己的个人主页，刷一刷编程的题目，学用Python的奇技淫巧（比方说做一个自己的个人主页）。另外还可以抽时间学学数学知识，比如开始看看代数和离散数学。我大一的时候看到了两篇文章，认识到了数学的重要性，一个是MIT的CV大牛林达华写的&a href=&/?target=https%3A///group/topic//& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&[转]MIT牛人解说数学体系&i class=&icon-external&&&/i&&/a&，另一个是前Goolge研究员吴军博士写的《数学之美》（&a href=&/?target=https%3A///subject//& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&数学之美 (豆瓣)&i class=&icon-external&&&/i&&/a&）。当时林达华还在MIT读博士，而《数学之美》还没有成书。两篇文章看完以后我感觉自己整个人对数学的认识上了一个新的层次，此后一直在注意提高自己的数学水平，几年下来觉得收益很大。在之后的介绍里我还会多次强调需要学的数学知识和对应的教材。&/p&&br&&h2&&b&&u&大二&/u&&/b&&/h2&&p&上大二的时候，你已经会了基本的编程知识和基本的数学知识。大二这一年应该投入在嵌入式系统的学习中，同时继续拓展自己多方面的能力。学校的机器人社团，比如做Robocon，RoboMasters的团队应该在招新了，赶快去加入，有了学长学姐的指导以及同辈朋友的鞭策，应该会进步的快一点。&/p&&p&大二应该掌握的技能：Solidworks画基本的机械图，基本的数字电路知识、数模转换，51单片机、AVR单片机、STM32单片机原理，UART、SPI、I2C、CAN等协议的原理和数据收发，STM32开发板的使用，电机转动和驱动的原理，PID的原理，调试四轮机器人底盘的移动，基本的传感器如陀螺仪、码盘、红外线、超声波的原理和读取方式，网络知识如配置IP配置路由器等，微电子焊接，金工技术。我在知乎回答&a href=&/question//answer/& class=&internal&&如果程序员每天都浅尝辄止地学一些不同的新技术，长久以往，人会变成什么样子呢？ - YY硕的回答&/a&里谈过机器人工程师需要的技能数量是IT行业全栈工程师技能数量的三倍以上，这些技能的基础都应该在大二开始积累。&/p&&p&如果同学们的专业是机械工程相关，那么大二的时候要深入学习solidworks做图，买机械加工手册学习各种机械的奇技淫巧。你的专业知识还不足以让你进行缜密的受力分析，不过你可以尽量多做一些机械结构出来感受它们的乐趣。&/p&&p&如果同学们的专业是硬件、电路相关，那么大二的时候要深入学习Altium Designer做图、制板、焊板。你要从现在开始，就给自己积累一个工作记录，可以就是简单的txt文件，记录你做过所有板子的bug、解决方案、学到的原理图、PCB layout的注意事项等等。积累很多年以后，你的这个工作记录会值很多钱。&/p&&p&学习这些技能的最好的方式，就是参加自己学校机器人社团的训练和方案设计。一般来说，学校的机器人社团招新之后会有训练和测试，让新人分组去做机器人，这个过程中如果愿意努力学，提高得会很快。如果你所在的大学是机器人比赛强校，比如西安交通大学，电子科技大学，哈尔滨工业大学，华中科技大学，东北大学等等（排名不分先后，没有提到你们学校名字的话我表示抱歉），那么你很幸运，你们学校的机器人社团有很好的积淀，有很多资源可以帮助你学习。基本上只要天天泡实验室，保证自己每天只睡6-7个小时（但还是要多去跑步、游泳保持身体健康），勤于向学长学姐请教，那么一定会提高得很快。&/p&&p&大二阶段特别要强调的是对动手能力的培养，包括机械材料的加工、电路焊接、制作导线和接头、连接路由器、配置网络、做网线等等。机械加工的工具有螺丝刀、锯、钻、锤子、车床、铣床、钻床，进阶选手可以学一下氧焊，这个比较危险，我没尝试过；电路焊接的工具有焊机、焊锡、洗板水、松香、吸锡器；制作导线的工具有剪子、剥线钳、夹头钳、网线钳各种钳；网络配置就是连连路由器插插网线，但是Linux系统下配置网络有时会非常麻烦，一定要多积累这方面的知识，因为将来你造的机器人多半会顶着一个无线路由器跑来跑去，甚至有的机器人上各个模块自己就能组起一个小局域网。这些技能的熟练掌握需要你花很多时间去做真正能用的机器人来练手。&/p&&p&对于该选择造一个怎么样的“真正能用的机器人”练手，最好的选择肯定是机器人比赛中的机器人。如果参加Robocon，你会跟着学长学姐们学着造有人那么高的巨大机械；如果参加RoboMasters，你会学着造比汽车还要灵活的机器人以及快速发弹的机构。其他一些小型的比赛比如飞思卡尔智能车，也是很好的训练，因为飞思卡尔智能车已经发展得很成熟，参加这个比赛的参赛资料就够学一阵子的，学完以后能够获得比较多的机器人技能。&/p&&p&如果没有太多学校机器人社团的资源，同学们还有一些小型的比赛比如挑战杯、大创比赛等等可以选择，以三五个人的小团队参与这些比赛。如果同学所在的学校连这些比赛都不组织大家参与，那就只好自己花钱了。国内开源机器人社区有很多资源可以利用来学习，比如自己买&a href=&/?target=http%3A///& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Arduino STEM educational Robot kits Building Platform&i class=&icon-external&&&/i&&/a&的各种开发套件做简单的机器人。Arduino的开发环境可能有些人不喜欢，因为它对硬件做了一级封装，如果更希望接触到单片机的本质，可以自己买STM32开发板学习。俗话说，没有什么嵌入式系统是一块STM32实现不了的，如果有，就用两块。STM32是ARM Cortex-M家族中最为广泛应用的一款单片机，在网上也有很多的教材和开发板可供选择。在国内著名的电子论坛&a href=&/?target=http%3A///forum-3020-1.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&STM32/8 分论坛帖子清单 (amoBBS 阿莫电子论坛)&i class=&icon-external&&&/i&&/a&上，有很多参考资料，有问题也可以在这里和大家讨论学习。&br&&/p&&p&如果你很想参加机器人比赛，身边也恰好有一些志同道合的小伙伴，但是学校不支持。没关系，来找我，我尽量通过大疆的关系说服你们学校支持你们参加RoboMasters。&/p&&p&虽然你是以机器人比赛为主线在探索机器人技术，但是要时刻记得，机器人比赛给你的理论方面的训练很差，还会让你养成一些坏习惯，比如凡事都希望用一些糙猛快的办法来解决。由于通常整个团队都没有太多的项目管理经验，到比赛前一段时间才会加紧功夫去做机器人，很多时候就会用“山寨”的办法去处理机器人的故障。比如说某个承重结构用久了会弯，为了赶比赛的进度，就拿锤子敲直了、再加一条辅助的结构在旁边继续用，而没有细致地去做建模、受力分析，思考是什么原因导致承重结构会变形。再比如说调PID参数就是生调乱改，而没有基于机器人的动力学模型去估测参数的大概范围。&/p&&p&大二的暑假，有可能你跟着学校的机器人队参加了一些机器人比赛。这是一个反思总结的好时机，为什么机器人队取得了这样那样的成绩？整个团队怎样才能更有效率？明年如何继续招新？暑假要把时间花在技术积累上面，这个时候可以回头思考思考之前准备比赛时用糙猛快的办法解决的问题如何能够细致地去解决。&/p&&p&如果大二的暑假没有参加机器人比赛，可以做一个舵机机器人，比如6条腿的蜘蛛，比如码垛机器人。舵机是机器人工程师的好朋友，一定要好好掌握。&/p&&p&另外你其他方面的能力也不能落下。大二结束的时候，你的Linux应该用的很熟练了，除了makefile，你也用起了cmake。你也应该开始理解Github存在的意义，因为你已经上去读了很多别人的代码，你也把自己的一些课程设计和小项目放在了Github上面。另外大二基本上了本专业一些比较难的基础课程，比如自动控制原理、机器学习、概率统计、材料和力学等课程，同学们会看到这些课程里又用到了线性代数和微积分的知识，以及建模的知识。这时候可以把大一的物理、线性代数和微积分再翻出来看看。&/p&&p&同学的学校应该给大二到大三的学生有开设面向对象的程序设计，一般用Java或C++教授。在面向对象的程序课里面，一定要积累3000行左右的代码的开发经验。经典的面向对象程序设计的练习通常是写游戏，比如俄罗斯方块，吃豆人等等，一定要自己能够做到完全手写一个完整的项目出来。&/p&&p&另外你可以开始学习Matlab当中的神器Simulink了。在大二这一年的学习中，你可能在不少课程里多多少少用到了Matlab。假设你已经在我的推荐下喜欢上了Python，你可能会觉得Matlab的计算工具没有比Python强多少；假设你自己在别人的推荐下喜欢上了mathematica（&a href=&/question/& class=&internal&&Mathematica 到底有多厉害？ - Wolfram Mathematica&/a&），你可能会觉得和Mathematica这种神一样的语言比起来，Matlab弱爆了。但是要注意的是，Matlab最强大的工具是Simulink，通过它你几乎可以仿真一切的物理系统和控制系统。我建议同学可以通过Simulink实现一个倒立摆，然后理解Matlab的强大之处。对此我强烈推荐一个很好的教材（&a href=&/?target=http%3A//ctms.engin.umich.edu/CTMS/index.php%3Fexample%3DIntroduction%26section%3DSimulinkControl& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&http://ctms.engin.umich.edu/CTMS/index.php?example=Introduction§ion=SimulinkControl&i class=&icon-external&&&/i&&/a&），它详细介绍了一些经典的控制系统如何分析以及用Simulink实现。然后我再强烈推荐一个讲Simulink里面一个更加和物理仿真贴近的工具Simscape（&a href=&/?target=http%3A///help/control/examples/control-of-an-inverted-pendulum-on-a-cart.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Control of an Inverted Pendulum on a Cart&i class=&icon-external&&&/i&&/a&）的文章。阅读并实现了这两篇文章里的内容，同学应该会对倒立摆有了比较深刻的认识。倒立摆是机器人学中一个非常重要的模型，因为火箭、导弹、双足机器人、四足机器人，基本都是倒立摆的变形。你自己实现出来的simulink模型一定要存好，以后可能还会再拿出来仔细看。&/p&&p&如果你按照我之前说的方法探索了一些HTML和Javascript的技术，那么JQuery，bootstrap，AngularJS你已经多多少少知道是怎么回事了。web后端的技术，比如PHP和MySQL，也可以了解一下，LAMP要学会怎么配置。如果有同学找你帮忙写小网站，尽量去帮个忙，帮别人做网站是提高自己系统编程能力的好练习。在做网站的过程中你可能还会顺便学一学如何用Photoshop和Illustrator让网站显得更漂亮。这些技能有最好，没空学也没关系。&/p&&h2&&b&&u&大三&/u&&/b&&/h2&&p&大三开始的时候，你可以在学校的机器人队里担任重要角色了，或者能够带领一个小团队参加小型的机器人比赛。你在系里甚至院里都小有名气了，可能有的人叫你大神，有的人觉得你技术还不错。但是一定要记得你现在的水平放到别的地方应该不算什么。每年我都往大疆的RoboMasters夏令营招进100个和你现在的水平相当的同学。&/p&&br&&p&大三一定要培养出自己一个人独立造出一个完整机器人的能力，比如一个Robocon水平的机器人，或者一个RoboMasters的战车，或者一个四旋翼飞行器。&/p&&br&&p&Robocon水平的机器人，涉及大量的机械设计，单片机开发，电机驱动的开发，码盘和超声波等传感器的读取，底盘运动学的计算，PID调试，任务调度逻辑的调试，舵机控制。RoboMasters的战车的机械部分简单一些，但是还需要进行云台的控制、发弹系统的控制、功率控制等方面的知识，另外你也可以不搞这些部分，学习学习视觉识别和自动打击，那么就要开始研究OpenCV（&a href=&/?target=http%3A//opencv.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&OpenCV | OpenCV&i class=&icon-external&&&/i&&/a&）了。&/p&&p&四旋翼飞行器的机械部分最简单，但是算法比较复杂。对于大三学生来说，从零开始一步到位写一个稳定的飞控比较困难，因为飞控里面有很多细小的知识点要注意。目前我没有发现什么比较好的书籍推荐，已有的一些关于四旋翼系统的书要么太浅（上来就教你焊电路），要么太深（上来就教你state estimation），听说 &a href=&/people/liu-top& class=&internal&&@Liu Top&/a&的exbot小组在写一个教材，我是非常期待的。学习四旋翼飞行器有下面几个步骤：&/p&&br&第一步：自己调一个小四轴飞起来&br&现在开源社区的人言必pixhawk，其实我觉得从学习的角度来说，pixhawk太贵，而且不适合学习，我比较推荐的是 &a href=&/?target=https%3A///& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&首页-第七实验室&i class=&icon-external&&&/i&&/a& 这家淘宝店卖的STM32F405飞控，买回来以后自己再随便买个机架（比如大疆F450）、接收机和遥控，就能按照飞控板附带的学习资料、调试软件飞起来。&br&&br&第二步：看硬件图、读代码&br&chiplab7的飞控板附带一大堆学习资料，对加速度计、陀螺和磁感计都有很仔细的解释，硬件链路图也很详细。chiplab7淘宝掌柜的又很认真负责，我学用的时候，发现代码有bug和看不懂的地方，都可以直接找掌柜问。&br&&br&看完代码以后，对一个飞控系统的基本模块：姿态解算、控制解算、混控输出、遥控器处理、嵌入式处理就很明白了。然而这里面有很多技术是需要另外学习的。除了基本的嵌入式编程以外，还有要把大二大三学的信号处理方面的知识再捡起来看看。因为飞行器在空中有振动，会让加速度计产生噪声，为了把这些噪声去除掉，需要对加速度计给出的信号做低通滤波处理，如何选择滤波器的参数呢？如果滤波滤得太狠，延迟就会比较大，对控制的表现会有影响；如果滤波滤得不够，可能会有一些低频的噪声偶尔会出现，导致加速度计的观测不能用。另外最重要的是要理解姿态解算和控制解算这两块知识。chiplab7的飞控板的代码采用的是最简单的互补滤波算法做为姿态解算模块，然后控制解算是对欧拉角的三个角度做闭环PID控制，基本都是基础的基础了。&br&&br&第三步：小修小改加深理解&br&chiplab7的飞控是靠气压计定高的，飞行效果非常奔放。这时候可以淘宝买个20块钱的超声波模块，然后自己写个高度环去稳定飞控的定高表现。&br&&br&我觉得这个过程至关重要，因为高度控制相对来说是个比较直观理解PID控制的方式，而且chiplab7的飞控加高度控制非常好加。工作量不大，因为改善效果很显著，所以可以让人很有成就感，加深继续学习的乐趣。&br&&br&第四步：理解核心的数学和控制知识&br&这一部分大三是肯定来不及学的，但是我还是在这里列出来，因为这些知识你之后都需要慢慢学，我也会在之后不断重复提到这些知识点。&br&姿态解算和控制解算涉及的知识有：&br&1. 刚体姿态的表示、运动学方程和动力学方程。主要是对牛顿-欧拉方程的认识和理解、刚体姿态的欧拉角表示法、姿态与角速度的关系等等。&br&这部分说复杂不复杂，说简单也不简单，我同样是没有找到一本完整的书全都介绍过的，是学了好几个不同的书和论文以后搞明白的。现在看起来是从维基百科入手比较靠谱。&br&2. 自动控制原理。讲PID的书和文章就多了去了，没有太多复杂的书。&br&3. 线性估计基本原理。其实就是互补滤波：&a href=&/?target=http%3A//www./node/11& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Reading a IMU Without Kalman: The Complementary Filter&i class=&icon-external&&&/i&&/a& 。拿这个关键词百度各种搜就会了。&br&第五步：重头开始造轮子&br&知乎著名网友vczh曾经说过，学习要抱着勇于造轮子的心态才能进步。所以在熟悉了别人飞控基础上，可以自己重头造一个飞控的轮子。可以自己从芯片开始重新画一个飞控板，读读STM32的芯片手册、读读各种传感器的芯片手册，自己手画一个飞控的原理图、做PCB layout、制板自己焊元件，全套花不了1000块钱，能够加深很多对硬件的理解。这一部分如果大三没空，也可以不搞了。&br&&br&&p&制造整个机器人的过程中要特别重视文档的积累。在你大三末期，你可能随着学校的机器人队备战比赛，你可能主力负责一台机器人。你应该自己列一个excel表格，把机器人用了几颗螺丝，几根导线，每个零件的规格是什么，都列出来。这个表格一方面可以用来帮助团队管理机器人的物料，一方面也是你自己的经验技术积累，将来你做的其他机器人可能多多少少都是Robocon、RoboMasters机器人的变形。&/p&&p&另一个积累是建一个自己的buglist，buglist包括什么呢，可以像冷大这样：&a href=&/question//answer/?from=profile_answer_card& class=&internal&&做控制、机器人等算法工程师是怎样一种体验？ - 冷哲的回答&/a&，就简单把一些自己的发生过的问题和最后的解决办法罗列下来。比如说“杜邦线接插位不稳固容易脱开，接好后应该用电工胶布再裹一圈”，“外发给淘宝加工的机械图纸，要特别注意和加工商沟通有没有漏掉一些细节，如沉头螺丝孔，关键的倒角”等等。你也可以帮其他机器人的问题也做这样的记录。buglist可以就是一个简单的文本文件，如果你一直往里面积累自己工作中的记录，等你将来工作了，这个文件可能会值很多钱。&/p&&br&&p&大三的时候学校应该会开设软件工程的课程。不管你是不是这个专业，上不上这门课，都应该主动去听一听，甚至跟着课程的设计作业一起做一做。软件工程我觉得是机器人工程师必须具备的意识，因为一个机器人系统里涉及大量的硬件系统和软件功能，软件的部分往往还会涉及不同的语言、不同的编译环境、不同的开发工具链。几个人合作的话，大家的专业背景、编程习惯都不相同，这就导致不同的代码和模块之间的协议沟通非常复杂，必须尽早用UML和其他软件工程的工具帮助团队理解和互相沟通。&/p&&p&大三的时候学校应该还会开设操作系统原理和嵌入式系统原理的课程，而大二的时候讲过计算机组成原理（所谓的微机原理）。从大三开始同学需要开始体会实时操作系统和非实时操作系统的区别、原理以及使用时需要注意的地方。这是一个比较杂的知识点，我目前没有找到很好的教材去介绍。在STM32上，有freeRTOS，uCOS，Vxworks这么几种实时操作系统；Linux是一种非实时操作系统，但是可以通过打补丁变成实时操作系统。这些操作系统的细节在机器人开发中都会多多少少被涉及到，同学们可以随时上Google和CSDN去查大神们的介绍。&/p&&p&另外特别重要的一点是机器人系统里的嵌入式平台都有烧坏的可能性，有可能在某个嵌入式Linux平台上面辛辛苦苦写了一个多月代码，这个平台突然烧坏了，代码也就丢了。因此你的机器人如果有嵌入式Linux系统在里面，一定要尽早顶起来路由器，代码定时提交SVN或者git。&/p&&p&大三的暑假你可能会作为学校机器人队的主力去参赛了。备战比赛和参赛是一件磨练心性的事情。我在学生时代体会过和胜利擦肩而过的痛苦，体会过没机会再来一年的遗憾；也在负责大疆RoboMasters比赛的过程中被那些痛苦和遗憾的学生当做发泄的对象，非常有感触。我觉得参加机器人比赛，很努力，然后失败了，是一件让人快速成长的事情。同学如果有机会，一定应该参加至少一届机器人比赛。&/p&&p&大三的暑假你也可以选择来参加大疆的RoboMasters夏令营，关于夏令营大家可以看这个知乎问答了解更多：&a href=&/question/& class=&internal&&参加Robomasters 2016夏令营是怎样一种体验? - DJI 大疆创新&/a&。每年我们都在全国范围内寻找有一定技术基础的学生，让他们一起分组做一个自动机器人的挑战。这个夏令营，作为组织负责人，不谦虚地说，我觉得应该是全世界范围内最好的技术类夏令营。&/p&&p&大三的暑假有一件很重要的事情就是思考自己大四应该干什么。一般来说，你现在的能力保本校研究生肯定没有问题，当然你也可以选择考其他学校的研究生或者出国留学。虽然说你现在能力已经很全面了，但是你还需要2-3年的时间全面提升自己更多的能力，才能迈向卓越之路。不管是出国还是保研，最重要的目的是给自己争取到未来2-3年能够在一个优秀的环境中安心提升自己，有比较好的学习资源，能够参与到一些不错的项目中去。可能其他有些行当，出国留学始终是比在国内待着更好的选择，但是机器人行业并不是这样。我们国家这两年在机器人方面提高也很快，而且我们国家现在比较有钱。就像我开始说的那样，机器人是富人的活动，现在你在国内也能找到一些很有钱的实验室可以造比较牛逼的机器人。另外国外很多比较强的机器人公司也都在做比较敏感的军方项目，去找实习可能比较受限制。&/p&&p&出国去学机器人学方面的知识你有很多不错的选择，比如世界第一的机器人研究院卡耐基梅隆大学，或者麻省理工学院的CSAIL实验室。北美传统计算机四大名校（麻省理工学院，卡耐基梅隆大学，斯坦福大学，加州大学伯克利分校）里，除了斯坦福大学热火朝天在搞人工智能以外，其他几个学校的机器人研究都很不错。除了四大名校，你还有很多其他的选择，就像我开始说的那样，机器人是富人的活动，如果想接触到最好的机器人资源，你要选择有钱的实验室，而不是有名的实验室。&/p&&p&另外你还需要在大三的尾巴上选定自己将来的细分研究方向，而且开始往这个方向深挖，也就是我在文章开始提到的感知、认知、行为几个方向。当然同时你也不能放松其他方面的知识，尤其是数学基础。我在大三的暑假专门找数学系的同学给我开了个数学小讲座，学习了一点抽象代数的知识，对我后来学习密码学帮助很大。同时我也读了一些拓扑方面的教材（有一本很神奇的书叫做Topopogy Without Tears &a href=&/?target=http%3A//www.topologywithouttears.net/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&topologywithouttears.net&/span&&span class=&invisible&&/&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&），这样才理解了为什么数学分析要用奇怪的符号去解释一些看起来很浅显的道理。&/p&&p&大三阶段的机器人工程师该学什么基础数学是众说纷纭的，在我看来，你要基本掌握“群是什么”，能够用代数的眼光去证明&det(AB) = det(A)det(B)&，还要能理解“用一张纸就可以变出克莱因瓶”（当然是在四维空间里）。另外，你这个时候也要能够意识到自己需要再学一遍线性代数。&/p&&br&&h2&&b&&u&大四&/u&&/b&&/h2&&p&大四开始了，你可以开始深挖自己的研究方向，同时也要开始学一些高级一点的通用技术和理论，这时候你和一般的机械、电子、计算机学生就不太一样了，你虽然也在狂编程，但也在狂学习物理和数学。通用技术包括ROS，simulink，gazebo和Vrep等工具。通用理论包括，再学一遍线性代数，学学凸优化、数值计算、旋转表示法等方面的知识。这些知识你在大四仅仅只能开一个头，因为你的大四要实习、毕业、考研、毕设，你会非常地忙。有些人会在大四进实验室和老师发论文，我个人觉得发论文这件事没必要操之过急。你的整个大学期间应该用在广泛涉猎各种各样的知识上面，而不是深入某一个细小的研究问题。&/p&&p&大四可以开始读一些著名入门书籍，我把这些书不分先后地列出来，你没有必要全部去读，而且每本书先读前几章就够了，能读多少尽量读多少。&/p&&p&1. 概率机器人学，&a href=&/?target=https%3A///Probabilistic-Robotics-Intelligent-Autonomous-Agents/dp/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://www.&/span&&span class=&visible&&/Probabilisti&/span&&span class=&invisible&&c-Robotics-Intelligent-Autonomous-Agents/dp/&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&p&2. 凸优化，&a href=&/?target=https%3A//web.stanford.edu/%7Eboyd/cvxbook/bv_cvxbook.pdf& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&web.stanford.edu/~boyd/&/span&&span class=&invisible&&cvxbook/bv_cvxbook.pdf&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&p&3. 线性系统理论，&a href=&/?target=https%3A///Linear-System-Electrical-Computer-Engineering/dp/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://www.&/span&&span class=&visible&&/Linear-Syste&/span&&span class=&invisible&&m-Electrical-Computer-Engineering/dp/&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&p&4. Multiple View Geometry in Computer Vision，&a href=&/?target=http%3A//www.robots.ox.ac.uk/%7Evgg/hzbook/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Multiple View Geometry in Computer Vision&i class=&icon-external&&&/i&&/a&&/p&&p&5. 线性估计，&a href=&/?target=https%3A///Linear-Estimation-Thomas-Kailath/dp/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://www.&/span&&span class=&visible&&/Linear-Estim&/span&&span class=&invisible&&ation-Thomas-Kailath/dp/&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&p&6. 《机器学习》，周志华老师的书。&/p&&p&7. An Invitation to 3-D Vision，&a href=&/?target=https%3A//www.eecis.udel.edu/%7Ecer/arv/readings/old_mkss.pdf& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://www.&/span&&span class=&visible&&eecis.udel.edu/~cer/arv&/span&&span class=&invisible&&/readings/old_mkss.pdf&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&p&8. Modern Control Systems，&a href=&/?target=https%3A///Modern-Control-Systems-12th-Richard/dp/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://www.&/span&&span class=&visible&&/Modern-Contr&/span&&span class=&invisible&&ol-Systems-12th-Richard/dp/&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&p&9. Rigid Body Dynamics，&a href=&/?target=http%3A//authors.library.caltech.edu/25023/1/Housner-HudsonDyn80.pdf& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&authors.library.caltech.edu&/span&&span class=&invisible&&/25023/1/Housner-HudsonDyn80.pdf&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&。说实话刚体动力学理论我没有找到特别好的书。但是刚体动力学理论很重要。&/p&&p&10. Feedback Systems: An Introduction for Scientists and Engineers，&a href=&/?target=http%3A//www.cds.caltech.edu/%7Emurray/amwiki/index.php/Main_Page& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&FBSwiki&i class=&icon-external&&&/i&&/a&&/p&&br&&p&就像我开始说的那样，这些书，大部分特别贵，还好有一些业界良心的作者放出了他们书的电子版。当然你也可以去一些名字都不能说的网站去找影印版。&/p&&p&在读上面这些书的时候，matlab，python都要放在手边，然后把书里面的知识尽量实践出来。很多教科书里都会在章节后面的习题里放一些写明是用matlab做的习题，要尽量多做一些这样的题。&/p&&br&&p&你可能早就听说了ROS的大名，但是最好不要在大四之前去碰它。因为ROS用了很多操作系统和网络的底层技术。我在知乎回答&a href=&/question//answer/& class=&internal&&高手可以谈谈ROS机器人操作平台开发的一些经验吗？ - YY硕的回答&/a&里有简单的介绍。ROS的设计目标是把机器人的控制和传感器处理的软件和它的硬件隔离开，用上ROS以后，你可以方便地用到很多能直接跑的软件代码。但是ROS从入门到精通需要至少一年以上的时间，你必须不断地用，不断地尝试新的代码和硬件，才能对它熟悉起来。&/p&&p&ROS的可视化工具Rviz里面对于机器人旋转的表示用的是四元数，而在你之前研究四旋翼飞行器时，里面的代码表示旋转用的是欧拉角，做姿态解算用的可能是四元数。这个时候要开始有意识地去学习旋转表示法之间的区别和联系。&/p&&p&要重视大四期间的实习和毕业设计。很多大四的学生毕业设计都会非常颓地做一下，我觉得是不好的。要把做毕业设计的过程看做一个正式的项目。这个项目除了做好技术方面的工作，也要做好展示方面的工作。中国工程师的一大特点是，不会表达自己，可能做的东西水平很高，但是做出PPT就会犯字体花哨不正式、一页上面字太多，图文没有联系等表达上的问题。通过PPT介绍、展示自己的成果在工程师的职业生涯的任何一个阶段都非常重要，它甚至也一定程度上限制了机器人工程师能够达到的高度。只有能够把自己的成果清晰地表达给自己的团队，才能获得其他人的反馈、通过沟通提高团队的整体凝聚力和知识水平，这样自己在团队能够获得更多的认可，有助于团队整体工作效率的提高。我每年去参加几次学术会议，都在会议上感觉到一些中国的科研人员走到国际上以后，演讲能力很差就会导致他们的科研成果不受重视。当然其他国家的科研人员也是这样。&/p&&p&为了写出美观的技术报告和毕业论文，你可以开始学习Latex。Latex作为国际国内第一写作神器，学习资料在网上有很多。Latex的学习和使用同样也是需要不断地熟能生巧，多写多练就熟悉了。写毕业论文有个问题是怎么做出精美的矢量图，我推荐&a href=&/?target=https%3A//inkscape.org/en/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Draw Freely | Inkscape&i class=&icon-external&&&/i&&/a&，一个比Illustrator更轻量化、但是有些功能反而更强大的免费软件。&/p&&p&对于那些想申请出国留学的同学，你要做一个自己个人的成果展示，用网页的形式呈现比较好。把自己Github链接（如果你按我说的，大学第一天就申请Github账号，现在已经是一个三年的老油条了）、做过的机器人视频、写过的技术报告和文章（最好是英文的）放在上面。&/p&&p&关于毕业设计的选题，我推荐这么几个：&/p&&p&1. 手写双目视觉里程计。涉及到图像处理、特征匹配、位置解算、空间变换等等。&/p&&p&2. 手写四旋翼飞行器基于GPS的轨迹规划。涉及到深挖四旋翼飞行器的运动原理、IMU原理、轨迹生成和优化等。&/p&&p&3. 造一个被推了也不会倒的双足舵机机器人。涉及到舵机控制、倒立摆建模、动力学分析、PID控制、IMU原理等。&/p&&p&4. 深度学习训练一个小车追人跑。涉及到深度学习工具包使用、数据集采集、数据集分析、小车控制等。&/p&&p&5. 机械臂给人端茶倒水。这个相对来说土豪一点，因为能直接拿来用的机械臂都很贵，这个要看实验室有没有条件了。涉及到多自由度机械臂原理的学习、工具包的使用、轨迹规划等等。&/p&&p&这几个项目要做好，都要持续投入三个月以上的时间以及一定的资金，每一个都是理论多于实践。当然同学们自己也可以自己选择自己的毕业设计题目，但是最好还是选做出来能跑能飞的东西，同时避免选择需要花大量时间去拧螺丝、焊板子的题目，尽量买现成的电机、开发板、3D打印结构，大四要多给自己留时间去看书和写代码。&/p&&br&&p&大四到研究生之前的暑假，最好去一些比较不错的机器人公司实习一下，比如说大疆。当然你也可以继续做机器人比赛，比如RoboMasters和大疆的飞行器比赛。&/p&&h2&&b&&u&研究生一年级&/u&&/b&&/h2&&p&研究生的时候，你的目标比较清晰了，就是做一种机器人至少两年时间，并从中发掘出可以发表论文的知识点。上面我给出的书单里面，你要开始精读里面的几本。&/p&&p&如果做机器人视觉定位、传感器融合方面的研究，1、4、5、7四本书一定要精读。&/p&&p&如果做控制系统的研究，3、8、9、10一定要精读。&/p&&p&如果做规划算法的研究，那么还要读其他偏CS一些的书，比如讲A* search，random forest，图论方面知识的教材。由于我在这方面造诣不深，就不托大了。&/p&&p&如果学习随机系统的控制和最优控制，除了1、2、3，还要读一本神书Stochastic models estimation and control（&a href=&/?target=https%3A//www.cs.unc.edu/%7Ewelch/kalman/media/pdf/maybeck_ch1.pdf& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://www.&/span&&span class=&visible&&cs.unc.edu/~welch/kalma&/span&&span class=&invisible&&n/media/pdf/maybeck_ch1.pdf&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&）。&/p&&p&如果研究机器人视觉定位，几种常用的定位算法：PTAM（&a href=&/?target=http%3A//www.robots.ox.ac.uk/%7Egk/PTAM/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Parallel Tracking and Mapping for Small AR Workspaces (PTAM)&i class=&icon-external&&&/i&&/a&），ROS的标配VO（&a href=&/?target=http%3A//wiki.ros.org/viso2_ros& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&viso2_ros - ROS Wiki&i class=&icon-external&&&/i&&/a&），SVO（&a href=&/?target=https%3A///uzh-rpg/rpg_svo& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&GitHub - uzh-rpg/rpg_svo: Semi-direct Visual Odometry&i class=&icon-external&&&/i&&/a&），LSD-SLAM（&a href=&/?target=http%3A//vision.in.tum.de/research/vslam/lsdslam& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&vision.in.tum.de/resear&/span&&span class=&invisible&&ch/vslam/lsdslam&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&）ORB-SLAM（&a href=&/?target=https%3A///raulmur/ORB_SLAM2& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&GitHub - raulmur/ORB_SLAM2: Real-Time SLAM for Monocular, Stereo and RGB-D Cameras, with Loop Detection and Relocalization Capabil}