设计和实现用于机器人感知的全方位视觉系统
设计和实现用于机器人感知的全方位视觉系统
为了满足人形机器人的周围检测的需求，我们开发了具有5度自由度（DOF）的机器人感知（OVROP）的全方位视觉系统。
OVROP具有模块化设计，主要由三部分组成：硬件，控制架构和可视处理部分（全向视觉和立体视觉）。由于OVROP配备了通用的硬件和软件接口，因此可以应用于各种类型的机器人。我们的性能评估证明OVROP可以准确地检测和跟踪360°视场（FOV）的物体。此外，可以通过校准单目和立体相机来实现环境的无失真的全向感知。此外，我们的初步实验结果表明OVROP可以在大多数情况下在160毫秒内感知所需的对象。因此，OVROP可以提供关于全范围和实时机器人感知的周围环境的详细信息。
机器人;机电一体化系统;全向视觉;立体视觉
视觉反馈在提示机器人的感测能力方面起着重要的作用。许多视觉系统，例如视觉引导行走（KHR-2）[1]，立体视觉跟踪[2]和远程会议[3]已被应用于研究类人机器人。然而，这些定向感知系统仅提供有限的视场（FOV），其通常不超过120°。类人机器人不能通过这些系统获得环境的全向信息，但是这种全景感知信息在检测机器人后面的未知情况中起重要作用。此外，全向视觉可以提供全面的视图，并允许更准确的导航移动机器人[4]。高分辨率全向成像和建模方法[5]，基于全向图像的控制律[6]，采用旋转估计的初步3D重建[7]已被广泛研究用于移动机器人的导航。随着先进技术的快速发展，已经为机器人开发了许多紧凑且高性能的LIDAR。例如，称为VLP-16（Velodyne
LiDAR，Japan）的LIDAR可以检测具有360°FOV的障碍物，并且它是紧凑的并且可以获得3D距离。但与照相机相比，激光雷达通常以高成本构建，并且仅提供有限分辨率的灰度图像。
为了实现机器人的全景感知，已经出现并广泛使用各种商业相机，例如半球相机Q25（MOBOTIX，德国）和Ladybug（Point
Grey，加拿大）[10]。
Q25的紧凑型设计允许仅使用一台摄像机进行完整的房间监控。但它只能感觉到锥形范围，其顶点是相机的固定位置（例如，Q25安装在房子的天花板上）。因此，Q25不容易直接获得机器人的360°观察信息。安装6台小型相机，瓢虫系列产品几乎可以完全监控他们的周围环境。以瓢虫3为例，由于5个摄像机位于一个平面的光学中心，其余的摄像机点在法线方向平面，6个摄像机可以轻松获得全向图像[11]。然而，瓢虫3劫掠图像（≤15FPS）的低帧率使得难以实时感知。此外，瓢虫相机不能提供立体视觉的详细的感知。
许多以前的研究尝试使用反射折射全景立体视觉来解决这些问题[12,13]，[14]，[15]，[16]，[17]和[18]。反射折射相机可以获取包含360°FOV信息的单个全景图像。然而，由反折射透镜捕获的图像易于失真，并且这种问题尤其发生在3D重建中[18]。然后使用高分辨率透镜来减少由严重失真引起的信息损失，但是低帧速率阻碍实时感知。此外，反射折射全景立体视觉系统的FOV被反射镜约束，因此系统上方的场景不能被看见（或被显着失真）。
为了克服这些限制，在这项研究中，我们建议使用多个分布式摄像机，而不是反射折射摄像机的机器人感知。我们开发了一个全方位的视觉系统的机器人感知（OVROP）。
OVROP包括三个单目相机和一个立体相机。通常，每个单目相机用于检测和跟踪周围物体（目标或障碍物），而立体相机用于定位期望的目标并且在3D图像处理的帮助下获取更详细的信息。因此，OVROP具有全向视觉和立体视觉的优点，并提供周围环境的详细信息。配备自己的驱动和控制系统，OVROP是一个完全独立的设备。此外，模块化设计的硬件和软件使OVROP能够与各种类型的机器人兼容。关于实时感知要求，我们考虑5FPS（处理时间：200ms）作为基于许多机器人应用的我们的系统的最小帧速率[19]和[20]。此外，人类反应时间约0.25秒，意味着大于4
FPS的感知足以检测对机器人动作的反应[21]。
我们以前的会议文件[22]描述了OVROP的初始原型和初步性能评估。在本文中，我们遵循科学方法，进行全向感知和跟踪的实验测试，以及详细的校准程序。此外，我们通过细分法和优化的3D重建算法提高了感知性能。提出的系统的主要优点如下：（a）周围环境的无畸变全景感知;
（b）具有立体视觉的实时3D重建;
（c）灵活应用于各种机器人。更具体地，本系统能够通过集成所有分布式相机来获得独特的图像特征和捕获视频序列。它扩大了感知范围，因为每个摄像机可以单独移动。立体视觉有助于详细提取特定目标的3D特征和深度信息。此外，我们计划设计通用的硬件和软件接口，使这个可视设备与更多的机器人兼容。
本文的其余部分安排如下。第2节介绍OVROP的硬件设计和感知过程。第3节描述了单眼和立体摄像机的校准过程。在第4节中，我们通过实验和分析研究OVROP的感知能力。最后一节提出了本文的结论。
2.系统描述
如图1所示。
1，OVROP由控制板，五个电机和四个摄像头组成。控制板用于初始图像处理和驱动电机。一个电机用于驱动整个设备，另外四个分别驱动四个摄像机的俯仰旋转。臂控制板用于控制单元和摄像机之间的图像预处理和数据传输。主计算机（如工业计算机）处理图像处理，并向臂控制板发送有效信息。
许多以前的研究尝试使用反射折射全景立体视觉来解决这些问题[12,13]，[14]，[15]，[16]，[17]和[18]。反射折射相机可以获取包含360°FOV信息的单个全景图像。然而，由反折射透镜捕获的图像易于失真，并且这种问题尤其发生在3D重建中[18]。然后使用高分辨率透镜来减少由严重失真引起的信息损失，但是低帧速率阻碍实时感知。此外，反射折射全景立体视觉系统的FOV被反射镜约束，因此系统上方的场景不能被看见（或被显着失真）。
为了克服这些限制，在这项研究中，我们建议使用多个分布式摄像机，而不是反射折射摄像机的机器人感知。我们开发了一个全方位的视觉系统的机器人感知（OVROP）。
OVROP包括三个单目相机和一个立体相机。通常，每个单目相机用于检测和跟踪周围物体（目标或障碍物），而立体相机用于定位期望的目标并且在3D图像处理的帮助下获取更详细的信息。因此，OVROP具有全向视觉和立体视觉的优点，并提供周围环境的详细信息。配备自己的驱动和控制系统，OVROP是一个完全独立的设备。此外，模块化设计的硬件和软件使OVROP能够与各种类型的机器人兼容。关于实时感知要求，我们考虑5FPS（处理时间：200ms）作为基于许多机器人应用的我们的系统的最小帧速率[19]和[20]。此外，人类反应时间约0.25秒，意味着大于4
FPS的感知足以检测对机器人动作的反应[21]。
我们以前的会议文件[22]描述了OVROP的初始原型和初步性能评估。在本文中，我们遵循科学方法，进行全向感知和跟踪的实验测试，以及详细的校准程序。此外，我们通过细分法和优化的3D重建算法提高了感知性能。提出的系统的主要优点如下：（a）周围环境的无畸变全景感知;
（b）具有立体视觉的实时3D重建;
（c）灵活应用于各种机器人。更具体地，本系统能够通过集成所有分布式相机来获得独特的图像特征和捕获视频序列。它扩大了感知范围，因为每个摄像机可以单独移动。立体视觉有助于详细提取特定目标的3D特征和深度信息。此外，我们计划设计通用的硬件和软件接口，使这个可视设备与更多的机器人兼容。
本文的其余部分安排如下。第2节介绍OVROP的硬件设计和感知过程。第3节描述了单眼和立体摄像机的校准过程。在第4节中，我们通过实验和分析研究OVROP的感知能力。最后一节提出了本文的结论。
2.系统描述
如图1所示。
1，OVROP由控制板，五个电机和四个摄像头组成。控制板用于初始图像处理和驱动电机。一个电机用于驱动整个设备，另外四个分别驱动四个摄像机的俯仰旋转。臂控制板用于控制单元和摄像机之间的图像预处理和数据传输。主计算机（如工业计算机）处理图像处理，并向臂控制板发送有效信息。
1。由主计算机通过WIFI控制的OVROP由臂控制板，五个步进电机和四个照相机（三个单眼照相机：M1，M2，M3和一个立体照相机：S）组成。
四个步进电机用于致动四个摄像机M1，M2，M3和S，而第五电机被板隐藏，并且用于旋转OVROP的整个主体。
2.1。硬件设计<span TITLE="The mechanical structure of OVROP mainly consists of two parts: device and connection interface (Fig.&2).">OVROP的机械结构主要由两部分组成：器件和连接接口（图2）。<span TITLE="The device ( Diameter & Height: 200&mm & 50&mm) is composed of one plate (radius: 90& mm) and five holders for installing motors and cameras.">装置（直径&高度：200mm&50mm）由一个板（半径：90mm）和用于安装电动机和照相机的五个保持器组成。四个摄像机安装在板上彼此成90°，这使OVROP能为机器人提供全景。<span TITLE="Driven by a motor, the whole device is rotated around the yaw axis (θb &).">由电机驱动，整个设备围绕偏航轴（θb）旋转。每个摄像机由围绕俯仰轴（θs，θm1，θm2，θm3）的电机单独驱动，并且每个电机的移动范围在-20°?40°?20°?40°之间。连接部件用于将设备与其他平台（诸如类人机器人或移动机器人）固定。<span TITLE="To the first prototype, we have designed a hat-shaped (Radius of the maximum : 230& Height: 145& mm) appearance to connect a humanoid robot head.">对于第一个原型，我们设计了一个帽状（半径最大：230毫米;高度：145毫米）外观连接一个人形机器人头。此外，连接部被设计为柔性的，以使用四个螺栓连接各种其它类型的机器人。
图。 2。OVROP的机械结构：器件（左）和连接接口（右）。
这里，θb表示绕偏转轴的全身的旋转角度; θs表示立体相机绕俯仰轴的旋转角度; &img
height="21" border="0" style="vertical-align:bottom" width="48"
alt="View the MathML source" title="View the MathML source"
src="http://origin-ars./content/image/1-s2.0-S1453-和&img
height="21" border="0" style="vertical-align:bottom" width="19"
alt="View the MathML source" title="View the MathML source"
src="http://origin-ars./content/image/1-s2.0-S1453-si2.gif"&g
分别表示三个单目摄像机绕俯仰轴的旋转角度
关于电机启动四个摄像机，步进电机由于其低成本和高可靠性而被选择。
给定脉冲频率f，步进角φ和细分倍数x，步进电机的输出转矩To可以从等式 （1）和（2）。
由于To与f成反比，较小的脉冲频率允许步进电机的较大的输出转矩。 选择具有高输出转矩（To = 0.06N·mTo =
0.06N·m）的紧凑步进电机：PG15S-D20（NMB，美国）用于OVROP。
此外，使用等式1计算使照相机旋转的最大所需扭矩为Tm = 0.043N·mTm = 0.043N·m。 （3）。 显然To&
Tm，所选步进电机满足系统要求。
p=k·To·n
其中n是轴承的速度，k是常数系数，p是输出功率，kl是负载系数，lb
是胡须负载，&img
height="16" border="0" style="vertical-align:bottom" width="17"
alt="View the MathML source" title="View the MathML source"
src="http://origin-ars./content/image/1-s2.0-S1453-si27.gif"&g是轴承的平均直径，kb
是轴承系数，v是运动粘度。
关于电机转动OVROP的整个装置，高速和输出转矩是关键参数。
DC电动机的最大输出转矩应当能够驱动OVROP以理想的角速度（例如，2π
这意味着它应该满足以下等式
其中Pb是电动机的旋转整个装置的输出功率，Tb所需的扭矩，ω角速度。在本研究中，我们选择直流电机：EC-i40（Maxon，瑞典），其高转速和高扭矩驱动整个设备。
本研究中使用的手臂控制板主要是指名为PcDuino的迷你PC平台。<span TITLE="As shown in Table&1, a CPU of 1& GHz and a DRAM of 1 GB provide sufficient speed and capacity for data transmission and initial image processing.">如表1所示，1GHz的CPU和1GB的DRAM为数据传输和初始图像处理提供了足够的速度和容量。网络接口（以太网或WIFI）用于在PcDuino和主计算机之间传输图像数据。臂控制板的以太网或WIFI接口可以方便地与多个机器人的主控制器（例如工业控制计算机）通信，增强了OVROP的兼容性。
PcDuino有14个GPIO端口（包括5个PWM通道），并且每个都可以根据需要定义为IN或OUT端口。步进电机由驱动板用两种信号驱动：旋转方向和速度振幅。速度通过PWM信号的频率变化来调节。
表格1。PcDUINO参数。
Parameters
Specifications
1& GHz ARM Cortex A10
Onboard storage
4 GB flash
Network interface
10/100 Mpbs
Ethernet connection or WIFI
14 ports including 5 PWM channels
单目摄像机使用广角镜头（矫正FOV：120°），立体摄像机还组合两个一般镜头（矫正FOV：90°）。
每个透镜的图像分辨率为像素，并且每个相机的帧速率为30fps。 所有摄像机由手臂控制板通过USB接口通信控制。
立体相机实际上可以分为两个单个单目相机。 因此，OVROP具有总共五个单目相机作为如图3所示的全向感知装置一起工作。
图。 3。OVROP的第一个原型包括三个单目相机和一个立体相机。
所有摄像机由手臂控制板通过USB接口通信控制。
2.2。感知程序OVROP的主要功能之一是检测机器人要跟踪或避免的对象。对象可以是机器人需要抓取（例如，乒乓）或接近（例如，人）的目标。相反，对象也可以是机器人应该避免的障碍（例如，桌子）。如图1所示。如图4所示，当没有检测到物体时，以每个单眼摄像机同时以60°的范围内围绕俯仰轴以恒定的低速旋转的方式进行全向感知。只要通过任何单眼照相机检测到物体，则将通过主计算机（CPU：i7;
RAM：8G）执行检测和跟踪算法。之后，如果需要，立体相机绕偏转轴旋转以瞄准对象，并且其可以通过3D图像处理获得整个场景的详细信息（映射，定位或识别）。此外，OVROP可以回到全向感知的过程，如果突然物体从其FOV消失。
图。 4。OVROP的感知图。
通常，每个相机以恒定的低速围绕俯仰轴旋转以找到期望的对象。
当OVROP安装在机器人上时，其从俯视图的感知可以在图1中示出。
在全向感知过程期间，一旦目标被单目相机（例如，M2）之一检测到，如图5所示。
如图5（a）所示，OVROP将快速旋转其身体以调整立体相机S以定位目标（图5（b））。
S可以为机器人提供目标的特定位置。
同时，OVROP可以检测和定位周围障碍物（图5（c）中的蓝色和绿色对象）。
通过从OVROP收集这些信息，机器人然后生成接近目标的最佳轨迹。
因此，OVROP可以提供用于识别目标或障碍物的信息，这对于多种机器人是非常重要的。
5。从顶视图安装在机器人上的OVROP的感知概念。 （a）单眼相机（以M2为例）在全向过程中检测目标;
（b）立体相机快速旋转以指向目标。 （c）在从OVROP获得两个目标和周围障碍物的特定位置之后，机器人产生最佳轨迹。
这里t0表示开始时间，ti表示过程期间的某个时间，tn表示结束时间。
黄色箭头表示OVROP检测到目标，而蓝色和绿色箭头表示OVROP分别检测到障碍物＃1和＃2。
（对于该图例中对颜色的引用的解释，读者参考本文的网络版本。）
当将相机用于真实世界应用时，校准是一个重要步骤。
它使得能够使用许多计算机视觉工具用于现实的任务，例如3D重建。
在本节中，我们首先介绍每个单眼相机的校准程序。
随后，描述立体相机的校准处理。
3.1。 单目相机校准
由于广角镜头用于本研究中的每个单眼相机，径向变形非常强烈[11]。
径向变形发生，因为离透镜中心越远，光线的曲折度越大[23]。
可以基于以下等式导出图像上的点的径向位置：
其中（x，y）是畸变点的原始位置，r2 = x2 +
y2，（xc，yc）是校正位置，k1，k2，k3是畸变系数。
第二大共同失真是切向失真，并且这是因为来自透镜的制造缺陷不能精确地平行于成像平面。
用于切向失真的校正方程可以通过添加两个参数p1, p2从以下等式导出。
因此，需要为单目相机校准计算五个失真参数[k1, k2,
我们首先通过使用OpenCV库（开源计算机视觉库）[23]估计三个单目相机的内在参数。
给定在不同位置和取向获取的平面网格（通常为棋盘格）的多个镜头，我们通过[24]中给出的方法基于每个视图计算如表2所述的[k1,
p2]T，[25]和[26]。
每个单眼摄像机的平均校准误差大约为0.5像素，这对于实际应用是足够准确的。
表2。单眼摄像机的失真参数。
Distortion
parameters
3.2。 立体相机校准
两个单目摄像机的校准是3D图像处理从2D图像中提取度量信息的基础[24]。
在前面的小节中描述的模型分别用于校准立体相机的左和右单目相机。
类似地，我们计算S的两个单目相机的五个失真参数[k1, k2,
p2]T（表3）。校准精度非常高，因为左和右相机的平均误差都不是
大于0.4像素，如表3所示。
表3。立体摄像机的失真参数。
Distortion
parameters
我们通过计算从右侧相机到左侧相机的旋转矩阵R和平移矢量T来进行立体声校准。
具体地，R和T可以通过如在[23]中描述的以下等式导出。
其中R1和T1（或Rr和Lr）表示从相机到左（或右）相机的3D点的旋转和平移矢量。<span TITLE="As a result, the mean error of stereo calibration is 0.4071&pixel.&#10;&#10;">结果，立体声校准的平均误差为0.4071像素。
4.实验和分析首先，我们通过评估其全向感知和跟踪性能来获得OVROP的感知能力。因此，采用细分方法来旋转立体相机以指向对象。最后，我们通过执行3D图像处理来获得对象的详细信息，评估OVROP的立体感知性能。
4.1。全向感知和跟踪
<span TITLE="To prove its ability of omnidirectional perception, OVROP was installed on a 0.5&m high stage in a room.">为了证明其全向感知的能力，将OVROP安装在房间中的0.5m高的舞台上。选择舞台高度以获得房间中周围物体的更好场景。如图1所示。如图6所示，通过OVROP的所有相机获得全向图像。<span TITLE="Since all cameras could rotate around the pitch direction as described in Section&2.1, the FOV of OVROP could be further enlarged.">由于所有的摄像机可以围绕俯仰方向旋转，如第2.1节所述，OVROP的FOV可以进一步放大。我们同时分别以40°，20°，0°和-20°?20°的角度在俯仰方向上旋转OVROP的S，M3，M2，M1。<span TITLE="The processing time to grab an image of 360° FOV was approximately 30&ms (that is 30 fps), which implied that OVROP allowed rapid omnidirectional perception of surrounding environment.">抓取360°FOV的图像的处理时间约为30ms（即30fps），这意味着OVROP允许对周围环境的快速全向感知。此外，房间中乒乓的全方位跟踪评估如图所示。模板匹配用于通过提取颜色和形状的特征来跟踪乒乓球。我们将每个摄像机的图像重新缩放为半角，以显着降低计算负载。我们已经实施了10个5分钟的试验，每个试验，OVROP的跟踪能力实现了很少的时间（≤30毫秒）。此外，乒乓可以识别成功率超过95％。
6。从顶部到底部的周围环境的全方向感知，分别具有40°，20°，0°，-20°-40°，20°，0°，-20°周围的旋转。
对于每个全向图像，从左到右的四个子图像分别通过S，M3，M2，M1获得。
7。从顶部到底部的乒乓的全方向跟踪分别通过S，M3，M2，M1获得。
4.2。细分法如图1所示。如图4所示，OVROP偶尔需要其立体相机对由单眼相机之一检测到的对象执行3D构造。在这种情况下，我们应该首先旋转OVROP以保持其立体摄像机捕获对象。
在这项研究中，采用细分方法来确定旋转立体相机聚焦在目标上所需的特定旋转角度（θb）。如图1所示。如图8（a）所示，由每个照相机抓取的图像被分成三个区域：左，中心和右，并且它们分别用下标l，c和r表示。每个中心区域是相机的独立部分，而每个相机的左/右区域与其相邻相机的右/左区域重叠。一旦只有一个摄像机检测到对象，则认为该对象在该摄像机的中心区域。在图1所示的情况下。如图8（b）所示，仅在M1的FOV中检测到物体（黄色框内的人）。因此，人出现的区域被指定为M1c。基于查找表，OVROP应逆时针旋转90°，以使立体相机直接感知此人。当通过两个照相机检测到对象时，认为该对象在这两个照相机的重叠区域中。在图1所示的情况下。如图8（c）所示，在M1的左侧和M2的右侧都检测到黄色框内的人，因此指定区域是M1l&M2r。相应地，OVROP应该基于查找表逆时针旋转135°。根据该原理，如图1所示，在图8（a）中，我们可以确定所有捕获图像的三个区域的OVROP的特定旋转角度。
图。 8。细分方法示意图。
（a）每个图像被分成三个区域：左，中心，右，它们分别由下标l，c和r表示。每个区域对应于区域Sc
θb=45&#8728;
中的旋转角θb，具体地θb=
0°，区域M2c,
θb=&135&#8728;
，θb= 90°中θb=
45°区域M2c中的区域M2l-M3r中的，区域M2c中的区域M2l-M3r，θb=180，区域M2c中的θbM3l&Sr,M3l&Sr,θb=90&#8728;θb=90&#8728;
区域M1c中的区域M1l-M2r，θb= -90°，以及区域S1-M1r中的θb=
-45°。这里加号表示顺时针旋转，减号表示逆时针旋转。 （b）黄色框内的人仅被M1检测到，即M1c。
（c）在M1的左侧和M2的右侧，即区域M1l-M2r检测到黄色框内的人。
（对于该图例中对颜色的引用的解释，读者参考本文的网络版本。）
进行实验以验证细分方法并评估OVROP的采样率。 我们首先在一个单眼相机M1 /
M2 / M3前面放一个黄色的球。 一旦基于4.1节中提到的感知跟踪，M1 / M2 /
M3检测到黄色球，OVROP就快速旋转S，其分割方法确定的角度指向黄色球。
对于每个旋转角度，我们测试了10次。
S实现了在测试中找到黄色球的成功率为100％。
此外，我们记录每个实验试验中花费的总时间（tm）。 从平均花费的时间，如图1所示。
在图9中，S最多花费100ms来找到检测到的对象。
9。通过旋转立体摄像机指向对象所花费的时间（tm）。
我们可以发现，立体相机找到对象的最大时间不超过100毫秒。
.3。 3D图像处理
应用单目图像处理以检测和跟踪具有其全部范围的环境的对象，而由立体相机执行3D图像处理以进一步理解检测到的对象。
给定在3.2节中计算的旋转矩阵R和平移矢量T，Bouguet的算法用于立体声整流，因为它可以最小化图像重投影失真[23]和[24]。在立体非失真和矫正之后，通过使用块匹配算法来计算立体对应（匹配两个不同相机中的3D点）以获得3D深度测量。该方法使用绝对差和（SAD）窗口来找到左右立体声整流图像之间的强匹配点[27]。
SAD窗口的大小影响匹配精度，并且特定值由图像中的目标的像素确定。
立体对应的概念是在两个视图之间找到高纹理点。因此，纹理的特性是正确匹配这两个图像的关键。通常，房间具有大量相似的纹理，因为如图1所示的墙壁和地面。图10（a）。相反，在外景的情况下纹理在大范围内变化（图10（b））。纹理相似性可以由直方图中的峰值区域反映。具有陡峭直方图的图像具有大的纹理相似性，而低纹理相似性反映平坦的直方图。通过利用这个特征，我们实现后过滤以成功地防止错误匹配并且在不同环境条件下去除噪声，如图10所示。
10。在（a）室内和（b）室外环境下捕获的两个视频序列的disparity图像的屏幕截图。
对于两个视频序列，顶部示出由左相机捕获的图像，而底部示出相应的深度图像。 （c）颜色条给出了从物体到相机的相对距离。
深红色表示场景中最近的对象，深蓝色表示最远的对象。
（对于该图例中对颜色的引用的解释，读者参考本文的网络版本。）
如图1所示。
如图11（a）所示，我们首先校正图像，以确保每行成为左右摄像机的核线。
基于如图1所示的整流图像获得深度图像。 图11（b）。
提供立体相机和对象之间的现实水平距离以直观地理解深度图像。
如图1所示重建3D图像。 11，其清晰地再现了原始图像的3D特性。
测试用于3D重建的时间小于50ms。 考虑到tm，如图1所示。
9和相机的帧速率（30 fps），总处理时间为110?180 ms。
当应用于机器人时，在大多数情况下，OVROP的旋转角度不大于135度，因此基于图1所示的结果，感知时间为110至160ms。
因此，所提出的系统满足第1节中描述的实时感知的要求。
图。 11。3D深度图像和重建图像的屏幕截图。 （a）由S的两个照相机校正的原始图像;
（b）深度图像;
（c）重建图像。
总之，我们开发了一个OVROP，包括三个单眼相机和一个立体相机。所有单眼摄像机使OVROP能够全方位感知，而立体摄像机通过3D图像处理获取更详细的信息。实验结果表明，OVROP实时提供了全范围的周围环境的详细信息。配备有自己的驱动和控制系统，OVROP是一个独立的系统，具有模块化设计的硬件和软件，因此它可以应用于和兼容各种机器人。关于未来的工作，我们的系统仍然可以改进，更实际的在更复杂的环境中的现实应用。
这项工作得到了中国国家自然科学基金（NSFC）部分支持，授予号。
，北京市机器人仿生学与功能研究重点实验室开放研究基金项目，教育部归来的华侨华人学者科研项目，北京诺瓦计划。
References
J.-Y. Kim, I.-W. Park, J. Lee, J.-H. Oh
Experiments of vision guided walking of humanoid robot,
Proceedings of the 5th IEEE-RAS international conference on
humanoid robots (2005), pp. 135&140
A. Rajpar, Q. Huang, Y. Pang, Y. Tian, K.
Location and tracking of robot end-effector based on stereo
Proceedings of the IEEE international conference on robotics and
biomimetics. ROBIO ’06 (2006), pp.
T. Morita, K. Mase, Y. Hirano, S. Kajita
Reciprocal attentive communication in remote meeting with a
humanoid robot
Proceedings of the 9th international conference on multimodal
interfaces, ICMI ’07 (2007), pp. 228&235
G. Adorni, M. Mordonini, S. Cagnoni, A.
Omnidirectional stereo systems for robot navigation
Proceedings of the conference on computer vision and pattern
recognition workshop. CVPRW ’037 (2003)
Y. Yagi, M. Yachida
Real-time omnidirectional image sensors
Int J Comput Vis, 58 (3) (2004), pp. 173&207
G.L. Mariottini, D. Prattichizzo
Image-based visual servoing with central catadioptric
Int J Rob Res, 27 (1) (2008), pp. 41&56
J.-C. Bazin, C. Demonceaux, P. Vasseur, I.
Rotation estimation and vanishing point extraction by
omnidirectional vision in urban environment
Int J Rob Res, 31 (1) (2012), pp. 63&81
Available online:
19 March 2016].
Hemispheric q25
Available online:
21 December 2015].
Spherical vision
Available online: [accessed
21 December 2015].
J. Bosch, N. Gracias, P. Ridao, D. Ribas
Omnidirectional underwater camera design and calibration
Sensors, 15 (3) (2015), p. 6033
C. Geyer, K. Daniilidis
Catadioptric projective geometry
Int J Comput Vis, 45 (3) (2001), pp. 223&243
C. Salinas, H. Montes, G. Fernandez, P. Gonzalez
de Santos, M. Armada
Catadioptric panoramic stereovision for humanoid robots
Robotica, 30 (2012), pp. 799&811
M. Schnbein, H. Rapp, M. Lauer
Panoramic 3D reconstruction with three catadioptric cameras
,in: S. Lee, H. Cho, K.-J. Yoon, J. Lee (Eds.), Intelligent
autonomous systems 12, Advances in intelligent systems and
computing, 193 (2013), pp. 345&353
D. Paredes, P. Rodriguez, N. Ragot
Catadioptric omnidirectional image in painting via a multi-scale
approach and image unwrapping
Proceedings of the IEEE international symposium on robotic and
sensors environments (ROSE) (2013), pp. 67&72
S. Yi, N. Ahuja
An omnidirectional stereo vision system using a single
Proceedings of the 18th international conference on pattern
recognition. ICPR 2), pp. 861&865
A.-E. Nagy, I. Szakats, T. Marita, S.
Development of an omnidirectional stereo vision system
Proceedings of the IEEE international conference on intelligent
computer communication and processing (ICCP) (2013), pp. 235&242
Y. Tang, Y. Li, S.S. Ge, J. Luo, H. Ren
Distortion invariant joint-feature for visual tracking in
catadioptric omnidirectional vision
Proceedings of the IEEE international conference on robotics and
automation (ICRA) (2015), pp.
H. Zhang, C. Reardon, L.E. Parker
Real-time multiple human perception with color-depth cameras on
a mobile robot
IEEE Trans Cybern, 43 (5) (2013), pp.
B. Jung, G.S. Sukhatme
Real-time motion tracking from a mobile robot
Int J Soc Robot, 2 (1) (2009), pp. 63&78
J.T. Eckner, J.S. Kutcher, J.K. Richardson
Pilot evaluation of a novel clinical test of reaction time in
national collegiate athletic association division I football
J Athl Train, 45 (4) (2010), pp. 327&332
Y. Song, Q. Shi, Q. Huang, T. Fukuda
Development of an omnidirectional vision system for environment
perception
Proceedings of the IEEE international conference on robotics and
biomimetics (2015), pp. 695&700
G. Bradski, A. Kaehler
Learning opencv, O’Reilly Media, Sebastopol, California, United
States (2008)
A flexible new technique for camera calibration
IEEE Trans Pattern Anal Mach Intell, 22 (11) (2000), pp.
J. Kannala, S.S. Brandt
A generic camera model and calibration method for conventional,
wide-angle, and fish-eye lenses
IEEE Trans Pattern Anal Mach Intell, 28 (-1335
J. Bouguet
Matlab camera calibration toolbox
Available online: [accessed
21 December 2015].
H. Hirschmller, P. Innocent, J. Garibaldi
Real-time correlation-based stereo vision with reduced border
Int J Comput Vis, 47 (1&3) (2002), pp. 229&246
, February 2017, Pages 58&66
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。}