机器人定位技术|移动机器人全局定位技术与方法( 四 )

如何解决这三个挑战？
先谈一下大尺度的挑战。解决方法之一，就是通过对图像中俄特征点进行筛选。这是因为在完成特征点匹配时，不是所有的特征点都有效。在我2011年完成的一件工作中，证明了大尺度的角点或者特征点检匹配率是很高，我们可以用这个特点对提取出来的特征进行筛选，去除占比例非常高的小尺度特征点，提高整幅图像匹配效率。

还可以利用有效的数据结构来加速完成匹配这件事，比如说用树结构存储特征来完成匹配，用图结构来存储地图里面所有的局部角点，以完成观察到图像中的角点和地图图像中的角点的快速匹配。另外一种方法是通过查表方法，在所有的搜索引擎里，百度和谷歌在搜索网页的时候，给几个关键词就能迅速把互联网中相关的网页找到，就是通过查表的方法。同样的方法可以利用到图像特征匹配，以完成全局定位这件工作。
以上讲的是如何利用局部特征描述视觉图像，解决全局定位的问题。我们也可以通过全局描述符、全景描述符的方法来对一幅图像进行刻画，完成全局定位的工作。我们在2012年提出了一种全局描述符的算法。如何对一副图像进行描述呢？首先把它分成若干个块，每一个网格用滤波器进行处理，每一个区域都有若干个反应量，把所有反应量叠加在一起就形成了对整幅图像的描述符，描述图的维度不是很高，所以，我们就可以利用描述图进行图像匹配，以完成全局定位的目的。

随着深度学习的发展，近几年有很多基于深度学习完成移动机器人全局定位的算法出现，我们也做过这方面的工作。深度学习很成功的研究方向之一就是图像分类，如图是其中一个比较流行的网络，它的输入层是一幅图像，输出用来分类，我们可以把神经网络的中间层想象成是对输入图像的刻画，即任何一个中间层都是输入图像的描述幅。利用中间层产生出来的向量描述符，完成图像匹配和全局定位这件工作。

我们在2015年的时候做了这件工作，下图左边是不同的深度神经网络在做图像匹配工作的表现，曲线越高表现越好。右边这幅图介绍了神经网络产生出来的描述符，天蓝色和棕色都是深度神经网络产生的描述符，比传统的手工完成的描述符方法更好，以证明深度学习/深度神经网络是产生全景描述符很好的方法。

这些年这个方向也有了很快的发展，最近趋势可以通过下面这件工作来了解。首先是对一副图像更细的处理，检测和描述图像中的物体。框图左边和右边是类似的过程。进行图像中的物体检测后，再对每一个检测出的物体用神经网络进行描述，图像和图像之间匹配的工作可以通过匹配刻画物体的特征向量来完成，这个工作在全局定位算法中有最好的表现。

基于上述的全局定位的框架，我的另外一个学生在2018年完成了对这个框架的加速，下图中右上部分代表我们方法保留了现有框架的精度；下图右下的绿色和红色是我们提出的方法，运行的速度比其他方法要快很多，从绝对数量来说，几十毫秒就能完成在有2.1万张图像地图中的全局定位。

最后介绍的工作是为了解决全局定位中最难的情况，做甚至不可思议的事情，就是极端变化条件下完成全局定位。这个照片代表着白天拍下一张黄色汽车从左往右行驶的照片，下面的图片是在晚上汽车拍下从右向左行驶时的照片。

从位置角度看，汽车到达了同一地点，但图像获取的方向和光照条件完全不一样，在这种极度变化条件下如何完成这两组图像匹配？上图右上面的两张图是机器人拍下来的。解决方案分两步走：
1、粗匹配，对图像进行语义分割，分割出来的每一类做描述符，通过图像之间的描述符进行匹配之后初步的筛选。
2、对每幅图像的特征点精匹配，最后达到全局定位。
最后介绍两篇基于传感信息融合的全局定位方法。下图中的方法中，第一步通过视觉信息完成，第二步通过激光雷达完成。