计算机系统应用  2020, Vol. 29 Issue (11): 266-270   PDF    
基于zSpace的岩心钻机虚拟拆装系统
刘庆涛1,2, 赵权1,2, 文国军1,2, 王玉丹1,2, 桑明琪1     
1. 中国地质大学(武汉) 机械与电子信息学院, 武汉 430074;
2. 湖北省智能地质装备工程技术研究中心, 武汉 430074
摘要:提高虚拟拆装系统的交互性和立体显示效果, 对虚拟仿真项目的实际应用具有积极意义. 以地质工程中的关键设备岩心钻机为对象, 利用Unity3D和zSpace软硬件平台, 开发一套岩心钻机虚拟拆装系统. 系统拆装模块主要利用六自由度触控笔, 对岩心钻机整机和分动箱、回转器等重要部件, 实现抓取、缩放、爆炸、模型重置等交互操作. 通过zView插件包, 实现拆装过程的增强现实显示效果. 添加配套的钻机简介、工艺流程、安全规范等理论知识模块, 完善虚拟实训体系. 实践表明, 该系统具有交互性强, 显示效果佳的特点, 在实践教学中取得了较好的效果.
关键词: 虚拟拆装    岩心钻机    zSpace    增强现实    实践教学    
Virtual Disassembly System for Core Drill Based on zSpace
LIU Qing-Tao1,2, ZHAO Quan1,2, WEN Guo-Jun1,2, WANG Yu-Dan1,2, SANG Ming-Qi1     
1. School of Mechanical Engineering and Electrical Information, China University of Geosciences (Wuhan), Wuhan 430074, China;
2. Hubei Intelligent Geological Equipment Engineering Technology Research Center, Wuhan 430074, China
Foundation item: Year 2019, Experiment Technique Innovation Group of China University of Geosciences (Wuhan) (SJCQ-201902); Year 2017, Under Graduates Teaching of China University of Geosciences Innovation (ZL201756); Year 2019, Innovation Training Program for Students (S2019104191199)
Abstract: Improving the interactivity and stereoscopic display effect of the virtual disassembly system has positive significance for the practical application of virtual simulation projects. A core drill for geological engineering is used as an object, and a set of core drill virtual disassembly system is developed using Unity3D and zSpace platforms. The system disassembly module mainly uses the six-degree-of-freedom stylus to realize interactive operations such as grasping, scaling, exploding, and resetting on the core drilling machine and other important components such as the dividing box, rotary. Through the zView plug-in package, the augmented reality display effect of the disassembly process is realized. The knowledge structure of the virtual training system is improved by adding the matching theoretical knowledge modules such as rig introduction, process flow and safety specification. The practice shows that the system has the characteristics of strong interaction and good display effect, and has achieved good results in practice teaching.
Key words: virtual disassembly     core drill     zSpace     augmented reality     practice teaching    

以交互性好、逼真度高、沉浸感强为特征, 同时引入具有人工智能的虚拟现实技术, 已逐步应用于农机装备、地质装备虚拟实训等领域[1-3]. 随着资源开采向地球深部进军, 地质钻探过程复杂性提高, 对地质钻探装备的性能及操作人员的业务水平要求越来越高[4]. 操作人员通过对岩心钻机的拆装实训, 能够对其产生感性认识, 有利于掌握岩心钻机的结构原理、装配工艺等知识, 从而提高实际操作和维修保养能力.

岩心钻探工程实践教学中普遍存在高成本、高风险、不能及、周期长等困难, 许多高校建立了虚拟仿真实验教学平台, 并取得了不错的教学效果[5]. 但目前这些平台多集中在真实场景模拟及钻探工艺上, 而缺少装备本体结构的虚拟仿真教学.

虚拟现实技术早已应用于各种零部件及整机拆装上, 如减速器[6]、发动机[7]、鄂式破碎机[8]等, 但主要交互手段主要还是通过鼠标、手柄等, 交互性上还有待提高. zSpace作为近年来新兴的虚拟现实教学设备, 以其良好的交互性、增强现实观察模式等特点, 迅速在医学手术[9]、地理教学[10]、机床仿真[11,12]等领域上得到应用.

鉴于此, 本文以岩心钻机为对象, 结合zSpace、Unity3D软硬件平台, 开发一套岩心钻机虚拟拆装实训系统, 以六自由度触控笔为主要交互工具, 实现岩心钻机主要部件及整机的拆装及相关理论知识学习, 以提高地质钻探实践教学的效果.

1 zSpace平台简介

zSpace是一款整合现实世界工作环境的桌面虚拟现实平台, 可以通过虚拟现实环境改变人们探索、研究和设计事物的方式, 加深数字化学习体验深度. 图1描述了zSpace硬件及3个坐标系之间的空间关系, 硬件系统主要包括3D显示器、3D追踪眼镜和触控笔, 其主要特点有: (1)高保真的立体效果, 图像可以随着眼镜在跟踪区域内的位置变化而自动调节; (2)在立体三维空间与物体进行360°旋转移动等交互操作; (3)增强现实显示效果, 通过zView软件, 虚拟画面“挣脱”屏幕, 融入现实环境之中.

图 1 zSpace硬件系统与空间坐标

zSpace利用3D眼镜产生视差来实现高保真的立体效果. 根据视差值的不同, 视差又可分为正视差、负视差和零视差. 当用户在观看时, 正视差使人产生物体深入屏幕的感觉: 负视差使人产生物体悬浮于屏幕外的感觉: 零视差是正视差和负视差的分界, 物体刚好被投射到屏幕上. 另外, 为了准确描述3D眼镜和触笔的位置, zSpace利用红外追踪技术判断眼镜和触笔的空间位置, 在显示器上建立了一个固定坐标系xyz, 在3D眼镜和触笔上分别建立了运动坐标系x'y'z'x"y"z", 通过坐标变换描述运动坐标系在固定坐标系中的位姿, 从而实现对3D眼镜和触笔空间位置的描述.

2 岩心钻机模型的建立与渲染

随着社会需求不同及技术进步, 我国岩心钻机发展呈现出小批量、多品种的特点. 本文以国内岩心钻机典型产品XY-4型为对象, 具有普遍意义. XY-4型岩心钻机实物如图2所示, 是一种机械传动、液压给进、滑轨行走的立轴式岩心钻机, 虚拟拆装系统主要针对其机械结构部分. 该钻机机械系统主要由电机、减速器、分动箱、卷扬机、回转器、油压卡盘及机壳等部件组成, 利用SolidWorks软件进行零部件建模、装配直至整机装配, 最终三维模型如图3所示.

图 2 XY-4型岩心钻机实物图

为提高三维模型真实感, 在几何模型基础上需要进行贴图渲染. 3DMax具有强大的外观美化功能, 对钻机模型进行贴图后, 钻机模型更加逼真, 真实感更强, 图4展示了钻机渲染后的效果.

3 基于zSpace的项目开发

(1) 项目开发流程

依托硬件平台进行虚拟现实项目开发, 通常需要借助硬件厂商配套提供的软件开发包. zSpace除硬件设备外, 还为软件开发提供了相应的SDK开发包、zCore和zView两个Unity3D插件包以及帮助开发文档. 结合Unity3D软件和zSpace, 项目开发流程如图5所示.

本系统开发以zSpace330型一体机为硬件平台, 结合Unity 3D虚拟引擎. 首先利用SolidWorks进行三维几何建模, 将建好的模型导入到3DMax软件中进行渲染, 并进行格式转换, 最终导入到Unity3D软件中进行系统开发. 在系统开发的过程中, 须在zSpace公司提供的开发网站上下载并安装好zSpace SDK, 并将zSpace提供的zCore和zView两个插件包导入到Unity3D中, 结合Unity3D提供的开发引擎进行开发, 最后将开发出来的系统在zSpace平台上进行测试.

(2) 交互及立体显示

zSpace打破传统的交互方式, 使用具有六自由度的触笔代替了传统只能在二维平面移动的鼠标, 使人机交互的方式更加自然, 贴合实际. 基于此, zSpace的一大核心功能就是使用触笔代替人手与虚拟世界的模型进行交互, 模拟人抓取并移动物体的过程. 实现这个功能要解决抓取时机和被抓物体移动这两个问题.

图 3 岩心钻机装配图

图 4 三维模型渲染效果图

图 5 项目开发流程

对于抓取时机, 主要通过射线与待拾取物体包围盒碰撞检测的方式来实现, 其中主要使用的函数是zCore插件包中提供的GetTargetPose (targetType, coordinateSpace) (获取射线发射位置、方向)和Unity3D软件提供的Raycast(origin, direction, hitInfo) (检测是否碰撞). 针对被抓物体移动的问题, 要想达到“抓取”的效果, 必须让物体随着触笔移动而移动同样使用GetTargetPose函数获取射线发射位置和方向, 再经坐标变换求取射线末端的位置和方向, 将射线末端的位置和方向作为物体的位姿, 物体就会随着触笔位姿的变化而变化, 从而达到“抓取”的效果. 另外, 触笔还内置了按键、LED和简单的力反馈设备, 通过相应的程序定义, 可以提高用户的交互感受和效率. 图6为实现抓取功能的算法流程图.

增强现实技术可以让虚拟世界与现实世界融合在一起, 增强视觉效果. 为提高开发产品的真实感, zSpace为开发人员提供了专门的开发插件zView和增强现实显示软件, 大大降低了增强现实功能的开发难度. 增强现实视图的实现依赖外接摄像头, 主要使用的函数有GetCurrentActiveConnection() (获取当前链接)、ConnectToDefaultViewer() (连接到显示软件)、以及SetConnectionMode() (设置连接模式). 处于增强现实模式下, 模型可以“挣脱”显示屏的束缚, 跑到屏幕之外和现实世界融为一体, 便于360°观察虚拟物体.

图 6 抓取功能算法流程图

4 岩心钻机虚拟拆装系统实现

(1) 系统框架

为了使岩心钻机虚拟拆装系统更加完善, 更加适合学生学习岩心钻机的知识, 系统除了开发拆装模块, 还包括系统管理模块和钻机理论知识模块, 图7为系统功能框架图.

系统管理模块让系统结构更加完整, 使用户对系统的操作更容易上手, 对系统的框架结构更容易掌握, 有效地避免了繁琐复杂的操作流程: 钻机理论知识模块的设置解决单方面对钻机进行拆装而对钻机基础知识掌握不足的问题. 拆装模块是系统的核心模块, 在该模块中设置了5个拆装对象, 分别是钻机整体、分动箱、卷扬机、减速器以及回转器, 这样的设置能够让用户从整体到局部对钻机结构进行认知. 系统管理模块、钻机理论知识模块和拆装模块, 这3个模块有机结合成一体, 使得系统更加完整.

图 7 系统功能模块图

(2) 功能实现

为了使拆装系统具备良好的交互性, 增强用户的拆装体验感, 系统除了在zSpace基础上开发了拆装功能和增强现实外, 还开发了缩放模型、爆炸动画、重置模型、切换模型等几种功能. 图8展示了系统交互功能框架.

图 8 系统功能框架图

在拆卸装配体之后, 由于显示器屏幕空间有限, 对各个零部件进行观察学习时可能会遇到零件尺寸太小不便于观察的问题, 所以在系统中设计了模型缩放的功能, 通过该改变模型的Scale属性实现这个功能. 当需要对模型进行缩放时, 让触笔发出的射线与模型发生碰撞, 按下触笔上的一个按键, 拖动触笔即可完成缩放.

爆炸动画是了解钻机结构的另一手段. 系统使用Unity3D的动画系统制作了钻机及其重要零部件的爆炸动画, 对要制作动画的模型的每一个零部件设置预定动作, 使用动画状态机设置动画逻辑, 在程序中使用anima. SetBool(“anima_name”,true)对动画进行播放控制, 从而实现模型爆炸的效果. 重置模型可以将拆乱的模型恢复成原始摸样, 切换模型可以让学生对多种模型进行拆装.

这些功能之间相互配合, 使得用户在拆装系统上的操作更加自然, 激发学生学习兴趣, 达到“以娱促教”的效果.

在虚拟拆装系统中的UI设计, 主要包括界面、字体、色彩等视觉设计以及按钮、文本框等UI控件设计, 这些可视化方面的设计与改良创造了用户与虚拟环境间良好的交互媒介, 使用户进入虚拟世界进行输入操作以及得到反馈的过程更加流畅与自然, 从而实现了一套完整而连续的交互系统. 图9~图11为界面及功能的效果图.

图 9 学习模块选择界面

图 10 拆装界面及拆装效果图

图 11 增强现实模式

5 结语

熟练掌握岩心钻机结构及相关理论知识, 对提高地质钻探人员业务水平具有重要意义. 通过对岩心钻机虚拟实训需求分析, 开发了一套包含虚拟拆装和理论知识介绍的虚拟实训系统. 系统采用Solidworks软件建立钻机模型后, 联合Unity3D和zSpace软硬件平台, 以触控笔为主要交互工具实现了对岩心钻机部件及整机进行拆装演示, 利用zView资源包实现了拆装过程的增强现实显示效果. 本系统已应用于《工程机械设计》等课程的实践教学环节, 并凭借交互方式灵活、AR显示等优势, 激发了学习热情, 提高了虚拟实训的效果. 本系统开发所采用的方法, 对工程机械等复杂装备的虚拟拆装也具有一定的指导意义.

参考文献
[1]
赵沁平, 周彬, 李甲, 等. 虚拟现实技术研究进展. 科技导报, 2016, 34(14): 71-75.
[2]
雷文, 陈清奎, 朱肖龙, 等. 基于VR的“农业机械学”仿真教学系统. 计算机系统应用, 2018, 27(4): 76-81. DOI:10.15888/j.cnki.csa.006274
[3]
Wang J, Wen G J, Liu J, et al. Updated VR-based HDD rig operating training system. Proceedings of International Conference on Pipelines and Trenchless Technology. Xi’an, China. 2013. 1098–1107.
[4]
张金昌. 地质钻探技术与装备21世纪新进展. 探矿工程(岩土钻掘工程), 2016, 43(4): 10-17.
[5]
陈晨, 孙友宏, 赵富章, 等. 基于虚拟仿真技术的钻探工艺实验平台研究. 实验室研究与探索, 2017, 36(9): 132-135, 148. DOI:10.3969/j.issn.1006-7167.2017.09.032
[6]
朱文华, 蔡宝, 石坤举, 等. 虚实结合的减速器拆装的研究. 实验室研究与探索, 2017, 36(11): 98-102. DOI:10.3969/j.issn.1006-7167.2017.11.025
[7]
刘树峰, 张广玲, 李光提, 等. 虚实结合汽车发动机拆装实训教学模式研究. 实验室科学, 2018, 21(5): 111-114. DOI:10.3969/j.issn.1672-4305.2018.05.031
[8]
吴飞, 黄威. 基于Unity3D的颚式破碎机虚拟拆装实验教学系统开发. 教育现代化, 2019, 6(69): 95-98.
[9]
Kellermann K, Salah Z, Mönch J, et al. Improved spine surgery and intervention with virtual training and augmented reality. Proceedings of International Workshop on Digital Engineering 2011. Magdeburg, Germany. 2011.
[10]
张欣. 基于zSpace的虚拟现实技术在地理教学中的应用. 教学研究, 2019, 42(3): 92-95. DOI:10.3969/j.issn.1005-4634.2019.03.017
[11]
蔡宝, 石坤举, 朱文华. 基于虚拟现实技术的车床仿真系统. 计算机系统应用, 2018, 27(5): 86-90. DOI:10.15888/j.cnki.csa.006342
[12]
吴金栋, 任光辉, 黄东键, 等. 基于虚拟仿真技术开展实践教学改革的研究与实践. 实验室研究与探索, 2018, 37(5): 240-244.