基于多视图立体深度学习的堆叠工件三维重建
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

“兴辽英才计划”产业高端人才项目(XLYC2207077); “兴沈英才计划”高水平技术创新人才项目; 沈阳市中青年科技创新人才支持计划(RC210475)


3D Reconstruction of Stacked Workpieces Based on Multi-view Stereo Deep Learning
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    随着工业自动化的不断发展, 工件的三维重建技术在制造业中扮演着越来越重要的角色. 在实际的工作环境下, 工件普遍存在堆叠问题, 对后续的机器人识别抓取等工作存在较大影响. 目前三维重建技术对于一些具有弱纹理区域的工件重建, 仍存在图像特征点提取难度大、特征配准精度低的问题. 针对以上问题, 本文提出了一种基于多视图立体匹配深度学习的堆叠工件三维重建方法. 首先, 输入多张不同视角的图像经过融合DCNv2的特征金字塔网络, 进行特征提取; 然后, 进行单应性变换构建代价体, 再使用方差聚合为一个统一的代价体; 接着在代价体正则化部分, 引入SE通道注意力机制模块来提高网络的特征表达能力, 增强模型的性能和泛化能力; 此方法在DTU (Danish Technical University)数据集上具有较好的表现, 并且运用该方法生成的堆叠工件点云模型对以后的工业自动化开展具有重要意义.

    Abstract:

    With the continuous development of industrial automation, the three-dimensional reconstruction technology of workpieces is playing an increasingly important role in the manufacturing industry. In actual working environments, there is a common problem of stacking workpieces, which significantly impacts subsequent work including robot recognition and grasping. Currently, it is hard for 3D reconstruction to extract image feature points and achieve accurate feature registration in workpieces with weak textures. To address the above issues, this study proposes a 3D reconstruction method for stacked workpieces based on deep learning with multi-view stereo matching. Firstly, multiple images from different perspectives are input through a DCNv2-based feature pyramid network for feature extraction. Then, homography transformation is performed to construct cost volumes, and a unified cost volume is obtained through variance aggregation. In the regularization section of the cost volume, an SE channel attention module is introduced to improve the feature expression ability of the network and enhance the performance and generalization ability of the model. This method exhibits good performance on the Danish Technical University (DTU) dataset. The point cloud model of stacked workpieces generated by this method is of great significance for future applications of industrial automation.

    参考文献
    相似文献
    引证文献
引用本文

姬田杰,郑飂默,曹克让,王诗宇,周淞杰.基于多视图立体深度学习的堆叠工件三维重建.计算机系统应用,2024,33(12):153-160

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2024-04-18
  • 最后修改日期:2024-05-20
  • 录用日期:
  • 在线发布日期: 2024-10-25
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号