读懂人体形态,这个集成方法比其他的更好更出色!

   自动化那些事        

利用骨骼数据进行人体姿态识别是人机交互领域的一个重要研究课题。为了提高人体姿态识别的准确性,提出了一种基于多特征和规则学习的姿态识别算法。


首先,定义了包含角度特征和距离特征的219维向量。根据关节的局部关系和关节的全局空间位置来定义关节的角度和距离特征。创建不同的样本和特征,提高子分类器对不同样本的分类性能。


最后,在四个人体姿态数据集上评估了算法的性能。实验结果表明,该算法能够有效地识别多种人体姿态,并且与传统机器学习方法和网络神经网络相比,基于规则的学习方法获得的结果具有更高的可解释性。本文以“Human posture recognition based on multiple features and rule learning”为题于2020年6月2日发布于《International Journal of Machine Learning and Cybernetics》杂志上。

读懂人体形态,这个集成方法比其他的更好更出色!


研究背景


近年来,利用骨骼数据进行人体姿态识别已成为计算机视觉领域的一个热门研究课题。该技术在人机交互、康复医学、多媒体应用、虚拟现实、机器人控制等领域具有良好的应用前景。一般来说,姿势不同于动作,前者是静态的,后者是动态的。


人体姿态是动作的基础,在各种动作识别算法中经常被作为关键帧。此外,在一些领域,如体育训练,康复训练和手语交流,一个人的姿势比一个动作更重要。在嘈杂的车间和危险的工作环境中,姿态识别作为一种人机交互方式,其交互更加准确、高效、自然,远优于按键控制和语音交互。


姿态识别主要有几种方法。一是使用可穿戴传感器,如穿戴加速度计和压力传感器。另一种是基于单目摄像机。但是,它容易受到光照和背景干扰,在复杂的条件下识别精度和鲁棒性都不理想。随着深度图像传感器的日益低成本,基于RGB-D图像的姿态和动作识别已成为人机交互领域的重要研究热点。


研究人员可以很容易地获得人体的颜色和深度图像以及骨骼数据。许多使用从Kinect获得的骨骼数据的姿态识别算法被提出。这些算法不仅避免了光照的影响,而且消除了复杂背景下的分割、目标检测等预处理的需要,大大提高了算法的精度。


然而,现有的作品大多侧重于动作识别而非姿态识别,越来越多地关注日常动作。此外,基于姿态识别的数据集和算法的可用性仍然有限。因此,在该研究中研究者提出了一种人体姿态识别方法,该方法在融合多个包含大量姿态的数据集的同时,实现了更精确的姿态识别。


该研究提出的人体姿态识别方法基于从Kinect传感器中提取的骨架信息。图形说明了这种方法所涉及的各个阶段。首先,定义了多个特征,包括角度特征和关节间距离特征。然后采用套袋法和随机子空间法,在开膛手规则学习算法的基础上,建立规则集,训练100个规则集,组成规则集合,通过多数投票进行最终分类。

读懂人体形态,这个集成方法比其他的更好更出色!


图为拟议方法概述

读懂人体形态,这个集成方法比其他的更好更出色!


图为每个连接点的标签

读懂人体形态,这个集成方法比其他的更好更出色!


图为包装程序


研究者使用四个数据集对研究者提出的方法进行了广泛的评价。前三个数据集是从公共行动数据库MSR-Action3D、MicrosoftMSRC-12和UTKinect-Action中提取的。第四个数据集,叫做“八段锦姿势”,是研究者用Kinect传感器建立的。


MSR-Action3D数据集共收集20种动作:高臂波、横臂波、锤子、手接、前拳、高掷、抽签x、抽签、画圈、拍手、双手波、侧拳、弯曲、前踢、侧踢、慢跑、网球挥杆、网球发球、高尔夫球挥杆、拾球和投掷。一共有10个实验对象,每个被试执行2到3次动作。研究者从MSR-Action3D数据集中提取20个姿势来构建包含3224帧的MSR-Action3D姿态数据集。

读懂人体形态,这个集成方法比其他的更好更出色!


图为三维姿态深度图像

读懂人体形态,这个集成方法比其他的更好更出色!


图为Msrc-12姿态rgb图像

读懂人体形态,这个集成方法比其他的更好更出色!


图为UTKinect动作姿态RGB图像

读懂人体形态,这个集成方法比其他的更好更出色!


图为八段锦动作姿势RGB图像


本实验建立在KNIME分析平台上,使算法的集成更加方便,数据的操作和可视化更加方便。研究者使用了打包节点(Weka插件的一部分),其中每个包的大小(训练数据大小的一个百分比)被设置为100,计算出包的按钮被设置为false。


在实验中,研究者利用该研究提出的角度特征和距离特征进行姿态识别。如图中所示的MSR-动作三维姿态数据集图所示。该数据集包含几组相似的姿势,例如从挥手动作中提取的第一姿势和从高扔动作中提取的第六姿势;从水平滑动、抓取和侧划中获得的第二、第四和第十二姿势在三组姿势中也是相似的。这些相似的姿势给姿势识别带来了很大的困难。

读懂人体形态,这个集成方法比其他的更好更出色!


图为研究者提出的算法与支持向量机算法的对比矩阵


实验结果表明,该方法在识别精度方面优于使用默认参数设置的对比度算法。类似姿势的分类也很好。


将每一次分类的结果保存在10次分类中,并利用skLearning工具箱中的微平均法生成精度和召回率(PR)曲线和ROC曲线。不同数据集的ROC曲线和PR曲线如图所示。

读懂人体形态,这个集成方法比其他的更好更出色!


图为不同方法的Roc曲线

读懂人体形态,这个集成方法比其他的更好更出色!


图为不同方法的查准率和召回曲线


研究者的方法比CNN具有更好的性能,对于AUC和AP值,研究者的方法在所有数据集上都处于顶端。


研究结论与未来展望


该研究提出了一种基于多特征的人体姿态识别规则集成方法。该方法采用Bagging方法对训练数据进行随机采样,采用random Subspace方法对特征子集进行随机选择。这允许使用RIPPER规则学习算法来训练不同的基于规则的分类器,从而创建一个高性能的集成。


在特征提取方面,研究者设法提取了多个特征,包括角度特征和关节之间的距离特征。研究者使用三个公共行动数据集和研究者自己建立的一个数据集,将研究者提出的方法与五种流行的学习方法进行了比较。实验结果表明,研究者提出的方法优于其他学习方法。


在未来,研究者将研究颗粒计算技术,用于提取多个粒度级别的特征,并融合不同的特征,以降低特征集的维数和稀疏性。研究如何通过提取多个特征来提高不同特征集或学习算法训练的分类器之间的多样性,从而进一步提高人体姿态识别的性能也是至关重要的。


参考文献:Weili Ding, Bo Hu, Han Liu, Xinming Wang & Xiangsheng Huang Human posture recognition based on multiple features and rule learning  International Journal of Machine Learning and Cybernetics2529–2540(2020)



最新评论(0)条评论
不吐不快,我来说两句

还没有人评论哦,抢沙发吧~

相关新闻推荐