在人工智能领域,人体行为骨架识别是智能监控、人机交互、机器人等诸多应用的一项关键技术,以老人智能看护为例,判断老人是否正常吃饭、服药、是否有异常行动出现(例如摔倒);在人机交互系统,猜测对方的“心思”,预测用户的意图;医院的康复训练,评估恢复程度以提供更好的康复指导等。
检信智能骨架识别建模结构主网络(Main LSTM Network根据对特征进行提取、时域相关性利用和最终的分类),时域注意力 (Temporal Attention)和空域注意力两个子组成。主网络同时引入时域注意力(TA)和空域注意力(SA)网络后,加上联合分类回归的设计,联合分类和回归循环网络(JCR-RNN)实现了快速准确骨架行为检测,检信ALLEOMTION骨架识别的精度实现了大幅提升。
人体的运动通过15个关节点的移动来描述,关键节点的组合与追踪便能形成对诸多行为例如跳舞、走路、跑步等的刻画,做到通过人体关键节点的运动来识别行为。计算机想要得到到“察言观色”的技能并不那么容易。识别系统不仅需要判断行为动作的类型,也需要定位行为动作发生的位置,即进行行为动作检测。其关键在于两个方面:一方面是如何设计鲁棒和有强判别性的特征,另一方面是如何利用时域相关性来对行为动作的动态变化进行建模。
基于骨架的行为识别技术,检信智能采用基于LSTM(Long-Short Term Memory)的循环神经网络(RNN)来搭建基础框架,用于学习有效的特征并且对时域的动态过程建模,实现端到端(End-to-End)的行为识别及检测。
人体骨架由15个关节点的坐标位置表示。“挥拳”行为动作序列示例,行为动作要经历不同的阶段(比如靠近、高潮、结束),涉及到不同的具有判别力的关节点子集合。注意力模型(Attention Model)其方案就是模拟人类对事物的认知,将更多的注意力放在信息量更大的部分。