摘 要 视频跟踪是计算机视觉领域的基础问题之一，受到世界各地学者们的高度关注，已经有了大量的跟踪算法。本文提出一种简单通用的基于肤色信息的手部跟踪算法。实验证明，该算法能够较为准确地再现手部运动轨迹。
【关键词】视频跟踪 手部识别
1 引言
计算机从诞生至今，其输入设备从最初的机电开关，逐渐发展为打孔纸带、磁带，再到今天的键盘、鼠标和游戏手柄，向计算机输入数据的效率越来越高，但方法的本质并未改变，都要将自然信息通过机械式方式输入计算机。这些方式都是基于2D的图形界面，将用户的操作限制于特定的外部设备上，无法实现自然而随意的人机交互。长时间使用，会使用户感到疲惫，导致用户体验下降。
对于用户来说，人的语音、手势等可以说是最为自然、最为方便的交流手段，同时手势在3D环境中意义明确、方向精确，是极好的人机交互手段。许多大型互联网公司与游戏公司早就对此进行了探索。微软，索尼，任天堂等公司有着自己研发的外部设备，如游戏手套和传感器等，以此来捕捉并记录手部的运动轨迹，实现特定的操作乃至体感游戏。但这类外部设备的缺陷也是很明显的：这类设备一般为机械传感器式或光纤传感器式，带有传感器、机械部件甚至用来与主机连接的电缆等，沉重、累赘、不灵活；且通常价格昂贵、极易损坏，用户体验不佳；更重要的是限制于特定平台，不具备通用性，普及度不高。
若能实现基于计算机视觉技术的手势识别及操作系统，不仅可以将我们的双手从特定外部设备上解放出来，使操作更加轻松、随意，还能获得更好的人机交互体验，推动“虚拟现实”的研究。目前已经有了大量的跟踪算法和相关设别，如微软的Kinect摄像头及最新发布的Hololens头盔已经能达到很好的效果，但都较为复杂。因此本文研究一种简单通用的基于计算机视觉的手部跟踪算法。
2 手部区域提取
2.1 样本采集
为了保证研究的顺利进行，首先需要采集手部样本图片。为保证实验结果的准确性，样本图片数量最好在100张以上，并记录不同姿态，其中男性样本和女性样本的数量保持相等。
2.2 肤色信息分析
肤色信息近似为皮肤的颜色信息，物体表面的颜色即表面色是因光照而呈现的颜色[6]。我们采用RGB颜色模型对手部表面肤色进行分析，发现肤色处于某个范围之内。方法如下：手动提取样本图像中的手部，对其进行RGB颜色分量统计，得到各分量直方图。由于各分量直方图上手部体现为一个近似波峰，所以可取波峰的半峰全宽（Full Width at Half Maxium）作为手部的肤色阈值。
根据肤色阈值提取手部，设HandSkin表示肤色阈值范围，RGB（m， n）表示点（m， n）处的颜色信息，而bw（m， n）代表该点是否是手部，则：
2.3 模式识别
通过肤色信息初步提取手部后，可能会有孤立的局部点集出现。为此，统计所有互相连接的点集，提取点集对应的几何特征，建立规则来选取符合手部的点集。
几何特征一般包括面积、周长、重心等。而手部可以分为手掌和手指部分，手掌形状近似于椭圆，手指为细长的柱体，因此整个手部的周长面积比会与其他物体有所区分，所以根据周长面积比将手部从背景中提取出来：
面积：指物体区域包含的像素数，用符号s表示。
周长：物体轮廓线上像素间距离之和，用符号c表示。在进行周长计算时，需根据像素间的连接方式，分别计算距离。像素间距离可分为并列连接像素与倾斜连接像素。并列有上下左右四个方向，像素间距离为1；倾斜方向有左上、左下、右上、右下，其像素间距离等于单位正方体的对角线长度。本文中先获取二值图像的边缘信息，再使用8向链码求周长。
周长面积比：用r表示，r = c/s。
求得所有样本的面积周长比后，通过统计建立规则，并排除异常数据。设h表示点集，hand表示手部，handrule表示手部点集所必需满足的规则，noise表示噪声，s.t.表示满足，则最终的手部点集为：
3 手部跟踪
基于计算机视觉的手部跟踪算法具体步骤：
步骤1：第一帧图像预处理。根据上文所述方法进行第一帧的初始化。通过肤色信息和面积周长比特征提取出第一帧图像中的手。为了方便描述手的运动轨迹，用几何图形来近似表示手部区域，本文选用包围手部区域的最小椭圆来表示手部，该椭圆的中心O1表示手部中心点。
步骤2：依次扫描视频的每一帧。对于第n帧，由于相邻帧的时间相隔较短，手部不会有太大位移。根据上一帧手部区域的位置，设置该帧的扫描范围。通过第2章方法，得出当前帧手部的中心点On。不断重复算法直至视频结束。
步骤3：描绘运动轨迹。从视频最后一帧的中心点On开始，逆序依次连接On与On-1，直至视频第一帧的中心点O1，得到完整的手部运动轨迹。
4 结论
本文所提出的以手部肤色信息为基础的手部跟踪算法，工程实现上较为简答，算法效率高，经试验测试，能够较为准确地再现手部运动轨迹。同时，该种方法也具有缺点，在手部快速移动或做复杂运动时，算法所描绘的运动轨迹可能会出现断裂，且该算法对光照敏感，在过强或过弱光照条件下，算法的准确性都会受到影响。今后的工作将继续完善本算法，将尝试以HSI颜色模型进行分析，考虑引入手部纹理与边缘信息，减弱算法的光照敏感性，采用专家系统、智能优化、神经网络、特征降维等高级技术。
参考文献
[1]俞烈彬，孟凡文.武器装备系统中的人机交互新技术[J].电子世界，2013（12）： 164-165.
[2]孟艳丽，郭建.二语演讲中手势功能的实证分析[J].河南科技大学学报（社会科学版），2014，32（3）：62-67.
[3]刘晋钢，刘卫斌，刘晋霞.Kinect与Unity3D数据整合技术在体感游戏中的应用研究[J].电脑开发与应用，2014， 27（11）：7-14.
[4]张蓬，王晓冲，陈建义.多自由度机械臂的虚拟现实仿真实现[J].机械设计与制造，2015（01）：128-134.
[5]闫庆森，李临生，徐晓峰，等.视频跟踪算法研究综述[J].计算机科学，2013， 40（6A）：204-209.
[6]奚吉，赵晓铃，张煜东.改进的沃尔什滤波的图像插值算法[J].计算机工程， 2010，36（22）：211-213.
[7]张煜东，吴乐南，王水花.专家系统发展综述[J].计算机工程与应用，2010， 46（19）：43-47.
[8]王水花，张煜东，吉根林.群智能算法的理论及应用综述[J].南京师范大学学报（工程技术版），2014，14（4）：31-38.
[9]张煜东，吴乐南，韦耿.神经网络泛化增强技术研究[J].科学技术与工程，2009（17）：4997-5002.
[10]张煜东，霍元铠，吴乐南，等.降维技术与方法综述[J].四川兵工学报，2010， 31（10）：1-7.
作者简介
罗伟，男，江西省景德镇市人。现供职于南京师范大学计算机科学与技术学院。研究方向为手势跟踪。
通讯作者
张煜东，男，江苏省南京市人。博士学位。现为南京师范大学计算机科学与技术学院教授。研究方向为图像处理。
作者单位
1.南京师范大学计算机科学与技术学院 江苏省南京市 210023
2.江苏省三维打印装备与制造重点实验室 江苏省南京市 210042