2020, Vol. 29
基于Unity3D的药用植物学实训虚拟仿真系统
引用本文
胡芳睿, 赵梦, 邱鹏, 魏德健, 刘静, 魏国辉, 曹慧. 基于Unity3D的药用植物学实训虚拟仿真系统. 计算机系统应用, 2020, 29(1): 266-270.http://www.c-s-a.org.cn/1003-3254/7221.html
Hu FR, Zhao M, Qiu P, Wei DJ, Liu J, Wei GH, Cao H. Medicinal Botany Training Virtual Simulation System Based on Unity3D. Computer Systems and Applications, 2020, 29(1): 266-270(in Chinese).http://www.c-s-a.org.cn/1003-3254/7221.html
基于Unity3D的药用植物学实训虚拟仿真系统
1. 山东中医药大学 理工学院, 济南 250355;
2. 山东中医药大学 药学院, 济南 250355
2. 山东中医药大学 药学院, 济南 250355
摘要：分析药用植物学实训的难点以及局限性, 调查研究中医药院校师生及中医药爱好者对实训的建议, 结合虚拟现实技术, 使用Unity3D模拟再现真实的药用植物实训场景. 实现跨时空学习中药的性味归经、功效主治、配伍禁忌等, 认识中药的植物学特征, 了解道地药材的生长环境, 辨别道地药材及鉴别其特征, 采摘中药全株或入药部位. 为增强学习的趣味性, 加入四季变化, 昼夜交替及不同天气等元素, 优化环境. 另外不同环境可发布任务, 以游戏的形式完成任务获得奖励. 将虚拟现实应用到实际教学培训中, 提高学习效率, 增加专业知识, 培养自救能力, 有效锻炼使用者的安全意识, 减少安全事故的发生.
关键词:
虚拟现实 药用植物学 仿真教学 趣味性 安全意识
Medicinal Botany Training Virtual Simulation System Based on Unity3D
1. College of Technology, Shandong University of Traditional Chinese Medicine, Jinan 250355, China;
2. College of Pharmaceutical Science, Shandong University of Traditional Chinese Medicine, Jinan 250355, China
2. College of Pharmaceutical Science, Shandong University of Traditional Chinese Medicine, Jinan 250355, China
Foundation item: Major Science and Technology Research and Development Plan of Shandong Province (2018GSF118105); Postgraduate Tutor Guidance Ability Improvement Project of Shandong Province (SDYY17119); High Quality Curriculum Construction Project of Graduate Education in Shandong Province (SDYKC17065)
Abstract:
This work analyzes the difficulties and limitations of medical plant training, investigates and studies the suggestions of the teachers and students of traditional Chinese medicine colleges and universities and Chinese medicine lovers on the practical training, combining with virtual reality technology, using Unity3D simulation to reproduce the real medical plant training scene, to realize the intertemporal and temporal learning of the function and taste of traditional Chinese medicine, to understand the characteristics of traditional Chinese medicine, to understand the growth environment of medicinal materials, to distinguish the characteristics of medicinal materials and to identify their characteristics, and to collect the whole strains of traditional Chinese medicine or the sites of medicine. In order to enhance the interest of learning, four-season variation, diurnal alternation, and different weather are added to optimize the environment. In addition, different environments can publish tasks and complete tasks in the form of games for reward. Applying virtual reality to practical teaching training can improve learning efficiency, increase professional knowledge, cultivate self-rescue ability, effectively exercise the safety consciousness of users, and reduce the occurrence of safety accidents.
Key words:
virtual reality
medicinal botany
simulation teaching
interest in taste
safety consciousness
中药学是中医药各相关专业的核心基础课程, 是联系中医基础理论与临床应用的枢纽[1]. 中药学课程的学习不仅要求学生有良好的中医基础理论和中医诊断学知识, 还需具备方剂学及临床学科的知识[2,3]. 由于中药数量众多、药效多样、药味相似但存在细微差别、与基础理论与临床知识联系紧密等, 都给学生熟练掌握此课程知识造成困难.
虚拟现实是新一代的信息和通信技术, 包含近眼显示、感知交互、渲染处理、网络传输和内容制作等, 以构建新的业务类型、跨越云端、满足用户现场体验需求等, 有利于促进信息消费的扩大和升级以及传统产业的整合和创新. 专业与创新结合, 传统中医药与现代科技结合已成为大势所趋[4], 在调查中(如图1)发现, 有64.29%的受访者对中医药与虚拟现实相结合的系统较为感兴趣并且愿意安装和体验.
|
图 1 用户体验反馈 |
1 系统必要性分析
(1)模拟登山采药过程摔伤、中毒、恶劣天气等情况, 提高使用者对突发状况的应急反应能力, 预防实训中潜在的危险[5].
(2)将中医药与虚拟现实技术相结合, 加入中医、食品等要素, 在学、识、寻、辨、采的基础上, 加入中医药方剂、经方验方、药膳、药用性质、药用价值等相关知识, 以拓展中医药知识面, 而非局限于对中药的简单介绍[6].
(3)利用人工智能技术、人机交互应用、高分辨显示技术等, 突破时间和空间的限制, 增强用户在进行药用植物学实训过程中的真实感与体验感. 加入演示、探索、辨别、知识拓展等教学环节, 增添趣味性.
(4)传统的辅助教学方法学生主要通过观看平面化、不可控制的视频学习, 结合虚拟现实技术后则可提供给学生三维立体的实践学习环境[7]丰富学生感性认知, 加深其对教学内容的理解, 弥补传统教学的不足.
(5)仿真系统分为教学、考核与娱乐3个模块, 让体验者掌握学、识、寻、辨、采的步骤技巧与注意事项, 在考核中作为医药类考试等考核成绩的一部分, 在娱乐方面开发成游戏, 更广泛地传播中医药知识与文化.
(6)本系统具有可视化数据管理中心. 系统管理平台可以对虚拟环境中各道地药材生长状态及使用者操作的实时动态数据进行监控, 使用者操作过程所有数据都可以实现三维可视化, 或将虚拟现实技术集成到系统中, 通过HTC VIVE虚拟现实眼镜来查看所有数据.
2 功能划分 2.1 药材寻访模块该模块通过在虚拟现实系统中构建药材所在地到山脚下的一条道路, 用户通过系统中UI指示, 以及道路指引到达药材所在的大概位置. 本系统在药材周边种植该环境所应该拥有的其他植物, 用户通过给定的设备, 辨认出应寻植物, 进行点击碰撞, 辨识成功则给出相应植物知识点介绍. 该模块是模拟现实药用植物实训课程, 可以较为方便地进行虚拟实训, 因而增加了学生实践操作的机会, 实现医药类学生有条件在教室指导下从灌输式被动学习到主动学习到主动积极灵活学习的转移[8].
2.2 药物知识展示模块该模块填补了药用植物学实训的短板. 当用户在系统中找到并触碰该药物植物时, 该植物周边会分布其临床应用、药材质量分辨、经方验方、药膳药理等知识的UI. 该方式为培养高水平的医务人员提供了平台, 为教师创新教学理念、丰富教学内容和教学形式提供了手段[9].
2.3 突发情况应急处理模块考虑到药用植物实训中所可能出现的各种突发状况, 此模块为用户提供应对措施, 训练用户急救能力. 此模块将建立第三人称视角下的虚拟人物, 设计并加入病理状况, 不定时不定点的分配安置在寻访药材的道路上, 一旦用户发现生病虚拟人物, 可进行查看疾病原因、选择治疗方案及查看相应急救措施UI介绍等一系列操作, 以应对突发状况. 此模块可训练学生对药材的灵活运用能力以及对突发事故的处理能力, 为实际登山寻药奠定坚实的基础.
3 面向对象 3.1 中医药院校辅助中医药院校学生更系统的进行中药学相关专业的学习.
3.2 中医药爱好者为中医药爱好者了解相关知识提供更多便利, 普及中医药文化.
4 系统构建方案利用Unity3D引擎搭建三维虚拟采药环境. 基于药用植物的性味归经、药用价值等专业知识, 在系统中为药用植物添加临床应用、药物处方等相关拓展知识. 依附于HTC VIVE协同Unity3D引擎, 使用C#语言对虚拟环境进行模块交互开发[10,11], 增添用户交互方式. 搭建用户使用平台, 保证用户初步使用和学习[12]. 并进一步增加药材数量、用户交互方式及突发事件数目, 完善各模块功能, 提高用户体验. 图2是系统开发流程图.
|
图 2 系统开发流程 |
5 系统实现 5.1 建立模型
利用犀牛(Rhino), MAYA作为主要的建模工具, 对所涉及到的场景及药材进行建模. 药材叶片, 根茎和果实分别采用犀牛(Rhino)软件中的偏移曲线, 圆柱管和多边形编辑指令完成建模; 中毒, 中暑等突发情形的人物动画使用MAYA编辑关键帧展现以及山地模型均采用MAYA制作. 建模完毕, 将贴图材质及动画随模型导出.FBX格式并导入Unity3D.
5.2 场景搭建使用Unity3D自带的UGUI系统, 搭建UI界面; 导入Unity3D标准资源包Environment和SkySerie Freebie为地形模型种植相应的花草树木渲染场景; 导入WeatherMaker和AVProvideo插件实现天气变化、四季交替及场景切换过渡的功能[13];
由于环境较大, 须采用异步加载的方式切换场景, API为SceneManager.LoadSceneAsync(); 具体实现代码如图3.
|
图 3 场景加载代码 |
5.3 系统核心功能 5.3.1 扩充药材库
在背包图鉴药材的基础上, 添加中药材数量, 比如灵芝、山楂、芦荟等中药, 完善药材库.
用户首先在“背包图鉴”环境中选择想要探寻并学习的中药材, 点击中药材图片按钮即可出现药材的三维立体模型. 然后点击“穿梭”按钮即可进行场景穿梭转换进入所选药材的道地产区.
5.3.2 手柄交互菜单进入所选药材的道地产区虚拟场景后, 就能进行寻药采药的实训. 在手柄UI菜单中设置“昼夜”“四季”“天气”“突发状况”等选择项, 如图4所示, 用户点击“天气”中的“雾霾”、“雷电”、“暴雪”等即可出现寻药采药过程中的天气状况.
5.3.3 急救功能面对如中毒, 中暑, 摔伤等突发状况, 用户可采用系统设定的正规急救方式, 锻炼其急救能力. 当遇见危险时, 用户可轻触手柄圆盘, 选中“急救包”即可出现对应的急救物品, 如图5所示.
|
图 4 恶劣天气菜单 |
|
图 5 急救功能菜单 |
5.3.4 自动导航功能
为减少药物实训过程中所带来的各种不可控因素, 方便用户寻找, 加入带有AI寻路功能的小精灵指引用户前进.
自动导航就是提供目标点, 根据障碍物自动计算出最近路径, 使用Unity3D自带解决方案Navigation, 首先将地形设置为Navigation Static[14–16], 因在虚拟世界中使用手柄可以实现瞬移, 所以将Back面板中的Max Slope修改为最大坡度, 最终参数设置如图6所示.
为避免寻药过程乏味, 系统不会设置小地图, 完全由用户自由寻找, 点击想要寻找的目标药材, 主相机(Camera)上拉到上帝视角, 通过动画演示小精灵经最短路径寻找到目标点的全过程[17].
用户可利用小精灵提供的寻药路径, 寻找药材. 找到药材后, 点击药材上方的按钮如图7, 即可出现该药材的三维立体模型与“药材介绍”以及“中药方剂”等药物信息, 用户可自行选择了解.
6 结语药用植物学实训虚拟仿真系统有助于广大中医药爱好者更系统、直观地学习中医药知识, 了解中药的生长环境, 明确中药的性味特点、主治功效、鉴别方法等相关知识, 同时将中药学与中医、食品相结合, 介绍中医药方剂、临床应用、经方验方、药膳等专业知识[18], 帮助使用者构建完整的中医药知识体系框架.
该系统能跨越时空, 提高中药学类专业学生的实践能力, 弥补传统实地采药教学模式的缺陷. 借助三维技术和游戏模式, 使学生能够在虚拟自然环境中, 全面观察药用植物的三维形态和生长环境, 在愉快的气氛中掌握识别技能, 有效提高学习效果.
|
图 6 自动导航参数设置 |
|
图 7 药材介绍 |
参考文献
| [1] |
李耿, 吴庆光. 广州中医药大学" 中药学”实践教学法探究. 中国医药导报, 2012, 9(23): 150-152. DOI:10.3969/j.issn.1673-7210.2012.23.067 |
| [2] |
孙稚颖. " 三位一体”优化药用植物学教学体系. 中国医药导报, 2016, 13(25): 154-156. |
| [3] |
王镤宇. 基于虚拟现实技术的计算机辅助教学研究. 信息记录材料, 2017, 18(9): 136-137. |
| [4] |
白贞芳, 刘春生, 石晋丽, 等. 药用植物学实践教学课程探究与实践. 中医教育, 2013, 32(6): 80-82. |
| [5] |
姚卫峰, 包贝华, 张丽, 等. 中药学类虚拟仿真实验教学体系的构建与实践. 药学教育, 2015, 31(6): 39-43. |
| [6] |
景永帅, 张瑞娟, 李建晨, 等. 现代信息化技术在药用植物学与生药学课程中的应用探索. 广东化工, 2018, 45(12): 254-255. DOI:10.3969/j.issn.1007-1865.2018.12.117 |
| [7] |
蒋玉想. 虚拟现实技术在工业领域中的多种应用. 中国科技信息, 2014(13): 151-152. DOI:10.3969/j.issn.1001-8972.2014.13.054 |
| [8] |
陈沙, 刘平安, 刘慧萍, 等. 虚拟仿真实验室在医学教学中的应用. 中国高等医学教育, 2017(1): 13-14. DOI:10.3969/j.issn.1002-1701.2017.01.007 |
| [9] |
马丽亚, 张大伟. 中医药虚拟仿真实验教学中心的建立与应用. 中医药管理杂志, 2016, 24(10): 19-22. |
| [10] |
陈帼鸾, 陆雷敏, 何灵辉, 等. 基于HTC VIVE虚拟校园漫步系统——以中山职业技术学院为例. 中国科技信息, 2017(10): 63-64. DOI:10.3969/j.issn.1001-8972.2017.10.026 |
| [11] |
朱安庆, 胡安超. 基于Unity 3D的船舶制造虚拟仿真教学系统构建. 实验室研究与探索, 2018, 37(6): 117-120. DOI:10.3969/j.issn.1006-7167.2018.06.028 |
| [12] |
朱惠娟. 基于Unity 3D的虚拟漫游系统. 计算机系统应用, 2012, 21(10): 36-39. DOI:10.3969/j.issn.1003-3254.2012.10.009 |
| [13] |
徐秀梅. 基于Unity 3D和虚拟现实技术的体感应用研究与实现[硕士学位论文]. 北京: 北京印刷学院, 2018.
|
| [14] |
Brewer D. Tactical pathfinding on a navMesh. Game AI Pro: Collected Wisdom of Game AI Professionals, 2013. 361.
|
| [15] |
Saupin G, Roussel O, Le Garrec J. Robust and scalable navMesh generation with multiple levels and stairs support. WSCG 2013: Full Papers Proceedings: 21st International Conference in Central Europe on Computer Graphics. 2013. 161–170.
|
| [16] |
Oliva R, Pelechano N. Automatic generation of suboptimal navmeshes. Allbeck J M, Faloutsos P. Motion in Games. Berlin Heidelberg: Springer. 2011.
|
| [17] |
Yamashita A, Sato K, Sato S, et al. Pedestrian navigation system for visually impaired people using hololens and RFID//2017 Conference on Technologies and Applications of Artificial Intelligence (TAAI). Taipei, China. 2017. 130–135.
|
| [18] |
马莉. 基于药性组合的中医药个性化健康服务平台的构建[硕士学位论文]. 北京: 北京中医药大学, 2014.
|