融合手势识别和终端用户评估的交互控制
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

贵州省科学技术基金(黔科合基础[2020]1Y262); 贵州省教育厅青年科技人才成长项目(黔教合KY字[2018]112)


Interactive Control Based on Gesture Recognition and End User Evaluation
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 增强出版
  • |
  • 文章评论
    摘要:

    基于RGB图像的手势识别因其对设备要求低、采集数据方便等在人机交互领域得到广泛的应用. 在RGB图像的手势识别与交互过程中, 一方面由于RGB的手势图像在采集过程中存在光照影响导致利用肤色信息进行手势分割的效率较低, 另一方面用户对交互手势的认知与设计师设计的手势有差异, 导致用户交互体验反馈较差. 针对这两个问题我们进行了系统性的优化: 首先把用户的认知与交互手势设计原则联系起来建立手势共识集; 其次进行手势图像的色彩平衡处理, 利用椭圆肤色模型分割手势区域; 然后将二值化手势图像输入到MobileNet-V2轻量化卷积神经网络进行手势识别率的计算. 手势的终端用户主观评价与手势识别技术结合可以较系统地为交互任务进行手势设计, 减少用户在实际交互过程中的认知偏差, 提高交互系统的可用性和效率.

    Abstract:

    Gesture recognition based on RGB images is widely used in the field of human-computer interaction because of its low requirements for equipment and convenient data collection. In the process of gesture recognition and interaction of RGB images, on the one hand, the efficiency of gesture segmentation based on skin color information is low due to the illumination influence of RGB gesture images during collection; on the other hand, the interactive gestures cognized by users are different from those designed by designers, which leads to poor feedback of users’ interaction experience. In this study, we systematically optimize the above two problems. Firstly, users’ cognition is linked with the interactive gesture design principles to establish a gesture consensus set. Secondly, the gesture image is subjected to color balancing, and an elliptical skin color model is used to segment the gesture area. Then, the binarized gesture images are input into a MobileNet-V2 lightweight convolutional neural network to calculate the gesture recognition rate. The combination of end-user subjective evaluation of gestures and gesture recognition technology can systematically design gestures for interactive tasks, reduce the cognitive deviation of users in the actual interaction process, and improve the usability and efficiency of interactive systems.

    参考文献
    相似文献
    引证文献
引用本文

张宁,王卫星,胡宁峰.融合手势识别和终端用户评估的交互控制.计算机系统应用,,():1-8

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2021-12-26
  • 最后修改日期:2022-01-29
  • 录用日期:
  • 在线发布日期: 2022-06-16
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号