随着计算机仿真技术的进步、头戴式显示器(head-mounted display, HMD)的普及, 虚拟现实(virtual reality, VR)已成为当前研究的重点, 被广泛应用在外科、机舱安全程序安全培训、先进制造系统、可用性评估等领域. 用户使用VR系统时出现的视觉眩晕、物体认知误差等问题也逐渐得到当前研究者的关注.
人在虚拟环境中的空间认知能力比在现实环境中弱, 这阻碍其获得良好的交互体验. 研究表明, 人们在现实世界中的距离判断是准确的, 但是在VR中尤其是HMD界面中却倾向于低估距离[1]. 有效的交互需要准确的空间认知, 为解决虚拟环境中使用者距离认知低估问题, 相关学者尝试从交互任务[2]与非视觉刺激[3]两个角度进行了实验, 并取得了较好的成果. 空间环境提供的视觉线索已被证实对虚拟环境中的空间维度认知具有改善作用, 这表明将任务环境设计特征用于改善距离认知具有可行性[4]. 通过调整视差和瞳孔间距[5]、像素化周边帧[1]可改善虚拟环境中使用者的距离判断. Knapp等使用HMD对比了视野受限和视野无限制两种视野范围, 实验结果显示, 参与者的视野是否受限并不能对被试的距离认知产生影响[6]. Hornsey等研究了单目视觉和双目视觉下用户的虚拟环境距离认知差异[7]. Vienne等研究了VR系统中屏幕距离对感知深度的影响[8]. Li等的研究表明, 人在VR中的运动方式对其距离认知没有显著影响[9]. 多种交互方式及距离判断方法已被运用到距离认知准确性的研究中[10]. 一些研究者采用不同显示设备对比了人在VR、增强现实和混合现实中距离认知的差异[11]. 近期有研究表明, 人在虚拟环境中对于目标物体尺寸的认知也存在低估问题[12].
以上研究通过交互任务设计、任务环境布置等手段改善了VR环境中的空间认知准确性, 但均未考虑到指点光标类型与自我中心距离认知的关系, 且未结合三维指点任务进行研究. 本文从三维指点任务的角度出发, 通过分析被试的自我中心距离认知准确度及目标指点速度, 研究指点光标类型、自我中心距离以及三维指点任务的设计准则. 探讨HMD界面下指点光标、自我中心距离和三维指点任务设计对自我中心距离认知、目标指点速度的影响.
1 VR中的自我中心距离认知随着VR界面交互性的增强以及HMD的普及, 用户与界面的交互已经由视觉发展到三维空间上的操控, 因此, 准确认知自我中心距离、选择合适的指点光标、设计合理的三维指点任务尤为重要.
自我中心距离是指以观察者自身位置为中心到外部某一物体之间的深度距离, 人在虚拟环境中对自我中心距离的认知存在低估问题[13], 如图1所示, 前人将此归因于测量方法与技术[14]、图形质量低[15]等问题. 且有研究证明, 自我中心距离越长, 距离认知准确度越低, 距离低估越显著[14]. 已有研究者将自我中心距离认知区域划分为以人为中心的3个圆形区域: 个人空间(150 cm以内), 动作空间(150 cm至3 000 cm)和远景空间(超过3 000 cm)[16]. 当前VR应用程序多围绕个人空间构建[17], 因此本文研究的距离范围为个人空间. 自我中心距离认知通常可在人的额、侧、横向3个平面进行实验, 但由于额平面在虚拟环境中的应用更为重要[18], 本研究主要针对额平面考察自我中心距离的认知.
VR技术的发展丰富了用户在虚拟环境中的交互方式, 光标交互的广泛运用为自我中心距离的研究提供了新的可能. 光标交互是VR应用程序中常用的交互手段, 用户通过控制鼠标、手柄、手写笔等物理控件, 在虚拟环境中操作光标并执行特定任务. 随着VR技术的发展, 三维光标已逐渐替代传统平面光标被运用到虚拟环境中的交互研究[19], 例如有研究者将虚拟仿真手光标、虚拟偏移光标、虚拟射线光标等用于目标指点[20]、远程拖动[21]实验, 并针对任务执行准确率、目标指点速度的差异性进行了虚拟手光标和虚拟偏移光标的对比实验[20]. 指点是图形用户界面中最基本的任务之一, 用户在与目标进行其他交互前必须先执行目标指点[19]. 当前研究已验证了三维光标在VR中的指点、拖动等操作性能, 但将其用于自我中心距离认知并针对指点光标类型进行对比的研究较少. 本研究将选取典型的指点光标进行对比实验, 验证指点光标类型与自我中心距离认知的关系.
费茨定律作为一维及二维指点任务心理预测模型得到了广泛认可, 已有研究者将其运用到VR中的指点定位、拖动操作任务[22]及按键布局[23]等方面. Fu等[24]研究了VR中多感官协同定位对费茨指点任务绩效的影响. 费茨定律指出目标大小、起点与目标间距离影响使用者进行目标指点所需时间, 目标越大、起点与目标间距离越小, 目标指点所需时间越短[25]. Murata等[26]将目标方位角引入费茨定律, 并指出相较于一维和二维指点任务, 三维指点任务的目标指点时间更容易受目标方位角的影响. 已有研究结合费茨定律二维指点任务中的因素, 研究了VR中目标大小、起点与目标间距离对自我中心距离认知、目标指点速度的影响[27]. 本文基于Murata等[26]对费茨定律的扩展研究, 重点关注三维指点任务中目标方位角、目标大小对VR中自我中心距离认知及目标指点速度的影响, 并验证该研究在VR中对三维指点任务预测的有效性.
2 虚拟空间指点交互实验 2.1 实验假设实验将围绕VR中个人空间的自我中心距离认知、指点光标设计并结合费茨定律在三维指点任务中的拓展进行研究, 通过设定自我中心距离、指点光标、目标大小与方位角4种变量因素, 探讨自我中心距离认知准确度及目标指点速度的变化规律.
基于已有研究, 本文提出6点假设, 如表1所示.
2.2 实验设计 2.2.1 实验变量及取值本研究共4个变量因素: 两种虚拟三维指点光标、3个自我中心距离、3种目标大小及5种目标方位角, 如表2所示.
(1)指点光标: Dang将三维指点光标分为基于点的光标和基于线的光标[19], 本实验中基于点的光标采用虚拟手光标, 基于线的光标采用虚拟指杆光标, 如图2所示. 依据我国成年人人体主要尺寸标准[28], 选取女性第五百分位的标准上臂长加前臂长并减去手柄部分误差, 将最终长度均分为3份(10 cm、20 cm、30 cm)作为不同自我中心距离条件下的虚拟指杆长度. 虚拟手光标则调整至最还原现实中被试的手掌大小及位置.
(2)自我中心距离: 本实验主要研究个人空间中的自我中心距离认知, 即以被试为圆心半径为150 cm的圆形区域[16]. 以被试所在位置为原点, 将HMD显示位置至额平面150 cm处均分为5个距离, 排除最近和最远端距离, 选取45 cm、80 cm、115 cm为主要研究距离, 如图3所示.
(3)目标大小及方位角: 参考已有实验范式, 以直径为7 cm、5 cm、3 cm的圆形为目标, 并将目标方位角按照正弦值分为0、0.7、−0.7、1、−1共5个水平[26, 27]. 目标排列方式如图4所示.
2.2.2 评价指标
本研究中评价指标为目标指点的准确度及时间.
(1)目标指点准确度(accuracy, AC). 本研究中主要评价指标为目标指点AC. 已有研究表明[29], 可将三维指点任务中目标指点位置视为被试认知的目标位置, 因此目标指点AC可作为被试自我中心距离认知准确度的衡量标准. 目标指点AC (如式(1)所示) 即认知值与实际值的接近程度, AC值越接近于1代表自我中心距离认知越准确. 此前已有Lin等[27]采用式(1) 衡量自我中心距离的认知.
$ AC = \left( {1 - \left| {\frac{{De - Da}}{{Da}}} \right|} \right) $ | (1) |
其中, De为被试认知到的自我中心距离, Da为实际自我中心距离.
(2)目标指点移动时间(movement time, MT). 目标指点MT指被试将虚拟光标尖端从指定起点移动至虚拟目标所用时间. 在三维指点任务中, 目标指点MT越短, 代表目标指点速度越快[26].
2.2.3 实验设置与流程实验设计为2×3×3×5 (指点光标×自我中心距离×目标大小×目标方位角)的被试内重复测量设计方案. 将3种大小的红色虚拟目标按照设定的自我中心距离及角度投射至额平面, 目标高度均依据被试肩高进行调整, 如图5所示. 依据我国人机工程标准, 人眼对红色的色觉视野为45°[28], 对应实验中最小自我中心距离45 cm处额平面宽度为37.2 cm, 为保持目标间距离一致, 所有目标最远中心距均设定为37.2 cm, 如图3.
实验按照指点光标(虚拟指杆光标、虚拟手光标)分为两组, 每组实验都分为预实验与正式实验两部分, 正式实验进行前被试需阅读显示器上的实验须知、熟悉佩戴HMD、调整显示器瞳距并通过预实验练习实验具体操作流程, 随后进行正式实验. 为将记忆效果及肌肉疲劳的影响最小化, 将两组实验分为两天进行, 如图6.
如图5所示, 每次仅在一个自我中心距离上随机显示一个目标. 被试通过操控手柄控制光标, 首先在起点处叩击手柄扳机(起点与所有目标的中心在同一水平高度, 且位于显示器正下方), 此时目标出现并开始计时, 指点目标时再次叩击手柄扳机, 同时计时结束, 当前试次完成. 随后光标归位于起点, 被试开始下一试次.
所有被试均采用两种指点光标执行指点任务: (1)虚拟指杆光标指点: 被试以虚拟指杆尖端迅速指点当前显示的目标, 每个自我中心距离均对应不同长度的指杆. (2)虚拟手光标指点: 被试通过虚拟手食指指尖指点出现的目标.
被试将虚拟指杆尖端或虚拟手指尖移动至目标位置并扣下手柄上的扳机即视为完成当前试次的自我中心距离认知及虚拟指杆光标/虚拟手光标指点任务. 被试在任务执行过程中, 若目标距离较远则可单脚迈出一步, 每个试次结束后均需回到原位.
2.3 被试与实验环境实验共邀请了15名被试, 其中8名男性、7名女性. 所有被试均为18–25岁的在校学生, 30%来自设计相关专业, 70%来自计算机相关专业. 所有被试视力均为正常或通过矫正达到正常水平, 惯用手均为右手.
实验通过Unreal Engine 4完成实验平台搭建及任务开发. 采用 HTC Vive作为输入设备, 如图7所示, 可提供110°视场角, 双眼像素分辨率为2880×1600. 被试通过操控手柄移动虚拟光标, 手柄输出的点击位置坐标及时间由系统自动记录. 任务环境为一个无边际单一光源的黑色环境, 避免其他因素对被试的距离认知造成影响, 地面始终显示一个三角形标志以提示被试站立位置及方向.
2.4 数据处理
使用IBM SPSS Statistics 26对实验数据进行重复测量方差分析, P<0.05则视为数据差异具有统计学意义. 使用Matlab R2019b对实验数据进行线性拟合, 并建立回归模型.
3 实验结果与分析 3.1 目标指点AC的差异性比较对AC数据进行重复测量方差分析, 结果如下.
不同指点光标的目标指点AC有显著性差异 (
不同自我中心距离的目标指点AC无显著性差异(
另外, 本研究发现, 目标大小对目标指点AC有显著性影响(
如图8中A区所示, 指点光标与自我中心距离对目标指点AC有双向交互效应(
D1条件下虚拟手光标的目标指点AC显著高于虚拟指杆光标(
D2条件下虚拟指杆光标的目标指点AC显著高于虚拟手光标(
在D3条件下虚拟手光标的目标指点AC显著高于虚拟指杆光标 (
另外, 交互光标类型与目标大小(
由以上实验分析可知, 在VR三维指点任务设计对自我中心距离准确度要求较高的情况下, 应将目标放置于被试自我中心距离45 cm、115 cm处, 并选择虚拟手光标进行交互; 或将目标放置于被试自我中心距离80 cm左右的区域, 并采用虚拟指杆光标进行交互. 减小目标尺寸可以提高被试的自我中心距离认知准确度; 改变目标方位角对被试的自我中心距离认知准确度没有显著影响.
3.2 目标指点MT的差异性比较对MT数据进行重复测量方差分析, 结果如下.
不同指点光标类型的目标指点MT有显著性差异(
不同自我中心距离的目标指点MT有显著性差异(
不同目标方位角的目标指点MT有显著性差异(
如图9中B区所示, 指点光标类型与自我中心距离对目标指点MT有双向交互效应(
D1条件下虚拟手光标的目标指点MT显著低于虚拟指杆光标(
D3条件下虚拟手光标的目标指点MT显著大于虚拟指杆光标(
另外, 交互光标类型与目标大小(
根据上述实验分析可知, 在VR三维指点任务对目标指点速度要求较高的情况下, 应将目标放置于被试自我中心距离80 cm、115 cm处, 并使用虚拟指杆光标进行交互; 或将目标放置于被试自我中心距离45 cm左右的区域, 并采用虚拟手光标交互. 增加目标尺寸、减小自我中心距离可以提高目标指点速度; 使目标与起点、用户肩高在同一水平高度或将目标置于起点下方可以提高目标指点速度
3.3 基于费茨定律的拟合度评价根据Murata等对费茨定律的扩展研究, d与s的比值、
$ {\textit{ID}} = {\log _2}(d/s + 1.0)c\sin \theta $ | (2) |
$ MT = a + b{\textit{ID}} $ | (3) |
其中, d为任务中起点与目标间轨迹距离, s为目标大小, θ为目标方位角, a和b为经验参数.
建立各指点光标目标指点MT与ID的线性回归模型, 如图10所示. 两种指点光标用于三维指点任务的目标指点MT与ID均为显著线性正相关(虚拟手:
各自我中心距离下虚拟手光标的目标指点MT与ID的拟合优度分别为:
线性回归拟合线的斜率反映了ID增加导致的MT变化率, 即吞吐量. 结合图10可知, 虚拟手光标的目标指点MT随ID增大而增长的速率较快, 即虚拟手光标的吞吐量相较于虚拟指杆光标更大. 各自我中心距离下虚拟手光标/虚拟指杆光标与ID的拟合线如图11. D1、D2条件下, 虚拟手光标的拟合线斜率高于虚拟指杆光标, 可见目标位于被试自我中心距离45 cm、80 cm处时, 虚拟手光标的目标指点MT随ID增大而增长的速率较快. D3条件下, 虚拟手光标/虚拟指杆光标的拟合线斜率差异不大, 即目标位于被试自我中心距离115 cm处时, 使用虚拟手光标或虚拟指杆光标指点目标, MT随ID增大而增长的速率差异不大.
因此, 若需在VR个人空间中改变三维指点任务的ID以显著影响使用者的目标指点MT, 应使用虚拟手光标作为指点光标; 若需在同一自我中心距离下改变三维指点任务的ID以显著影响使用者的目标指点MT, 则应将目标设置在被试自我中心距离45 cm、80 cm左右的区域, 并使用虚拟手光标作为指点光标.
4 总结本文得出以下结论:
(1) VR中, 指点光标类型、目标大小对自我中心距离认知准确度有显著影响; 随着自我中心距离的变化, 不同指点光标对自我中心距离认知准确性的影响有所不同. 目标位于被试个人空间中自我中心距离较近或较远的区域时, 被试使用虚拟手光标进行目标指点获得的自我中心距离认知较为准确; 若目标位于被试个人空间中自我中心距离中等的区域, 则被试使用虚拟指杆光标进行目标指点获得的自我中心距离认知准确度较高; 若想提高被试的自我中心距离认知准确度, 应尽量缩减目标大小.
(2) VR中, 指点光标类型、自我中心距离、目标大小、目标方位角对目标指点速度有显著影响, 随着自我中心距离的变化, 不同指点光标对目标指点速度的影响有所不同. 目标位于被试个人空间中自我中心距离较近的区域时, 被试使用虚拟手光标进行目标指点的速度较快; 目标位于被试个人空间中自我中心距离中等或较远的区域时, 被试使用虚拟指杆光标进行目标指点的速度较快; 若想提高被试的目标指点速度, 应尽量增加目标大小, 并将目标设置在方位角0°、180°或起点下方的位置.
(3) VR中, 两种指点光标的目标指点MT均基本符合费茨定律在三维指点任务中的扩展模型. 整体个人空间中, 使用虚拟手光标进行目标指点的MT受任务ID的影响较大; 目标位于被试个人空间中自我中心距离较近或中等的区域时, 使用虚拟手光标进行目标指点的MT受任务ID的影响较大.
[1] |
Li BC. Distance perception in virtual environment through head-mounted displays [Master’s Thesis]. Michigan: Michigan Technological University, 2017.
|
[2] |
Siegel ZD. Improving distance perception in virtual reality [Master’s Thesis]. Ames: Iowa State University, 2015.
|
[3] |
Liu D, Rau PLP. Spatially incongruent sounds affect visual localization in virtual environments. Attention, Perception, & Psychophysics, 2020, 82(4): 2067-2075. DOI:10.3758/s13414-019-01929-8 |
[4] |
Loyola M. The influence of the availability of visual cues on the accurate perception of spatial dimensions in architectural virtual environments. Virtual Reality, 2018, 22(3): 235-243. DOI:10.1007/s10055-017-0331-2 |
[5] |
Woldegiorgis BH, Lin CJ, Liang WZ. Impact of parallax and interpupillary distance on size judgment performances of virtual objects in stereoscopic displays. Ergonomics, 2019, 62(1): 76-87. DOI:10.1080/00140139.2018.1526328 |
[6] |
Knapp JM, Loomis JM. Limited field of view of head-mounted displays is not the cause of distance underestimation in virtual environments. Presence, 2004, 13(5): 572-577. DOI:10.1162/1054746042545238 |
[7] |
Hornsey RL, Hibbard PB. Contributions of pictorial and binocular cues to the perception of distance in virtual reality. Virtual Reality, 2021.
|
[8] |
Vienne C, Masfrand S, Bourdin C, et al. Depth perception in virtual reality systems: Effect of screen distance, environment richness and display factors. IEEE Access, 2020, 8: 29099-29110. DOI:10.1109/ACCESS.2020.2972122 |
[9] |
Li HS, Mavros P, Krukar J, et al. The effect of navigation method and visual display on distance perception in a large-scale virtual building. Cognitive Processing, 2021, 22(2): 239-259. DOI:10.1007/s10339-020-01011-4 |
[10] |
Lin CJ, Woldegiorgis BH. Interaction and visual performance in stereoscopic displays: A review. Journal of the Society for Information Display, 2015, 23(7): 319-332. DOI:10.1002/jsid.378 |
[11] |
El Jamiy F, Marsh R. Survey on depth perception in head mounted displays: Distance estimation in virtual reality, augmented reality, and mixed reality. IET Image Processing, 2019, 13(5): 707-712. DOI:10.1049/iet-ipr.2018.5920 |
[12] |
Kelly JW, Hammel W, Sjolund LA, et al. Frontal extents in virtual environments are not immune to underperception. Attention, Perception, & Psychophysics, 2015, 77(6): 1848-1853. DOI:10.3758/s13414-015-0948-8 |
[13] |
Wu B, Ooi TL, He ZJ. Perceiving distance accurately by a directional process of integrating ground information. Nature, 2004, 428(6978): 73-77. DOI:10.1038/nature02350 |
[14] |
Renner RS, Velichkovsky BM, Helmert JR. The perception of egocentric distances in virtual environments—A review. ACM Computing Surveys, 2013, 46(2): 1-40. DOI:10.1145/2543581.2543590 |
[15] |
Kunz BR, Wouters L, Smith D, et al. Revisiting the effect of quality of graphics on distance judgments in virtual environments: A comparison of verbal reports and blind walking. Attention, Perception, & Psychophysics, 2009, 71(6): 1284-1293. DOI:10.3758/APP.71.6.1284 |
[16] |
Cutting JE, Vishton PM. Perceiving layout and knowing distances: The integration, relative potency, and contextual use of different information about depth. In: Epstein W, Rogers S, eds. Perception of Space and Motion. San Diego: Academic Press, 1995. 69–117.
|
[17] |
Lin CJ, Abreham BT, Caesaron D, et al. Exocentric distance judgment and accuracy of head-mounted and stereoscopic widescreen displays in frontal planes. Applied Sciences, 2020, 10(4): 1427. DOI:10.3390/app10041427 |
[18] |
Wartenberg C, Wiborg P. Precision of exocentric distance judgments in desktop and cube presentation. Presence, 2003, 12(2): 196-206. DOI:10.1162/105474603321640941 |
[19] |
Dang NT. A survey and classification of 3D pointing techniques. Proceedings of 2007 IEEE International Conference on Research, Innovation and Vision for the Future. Hanoi: IEEE, 2007. 71–80.
|
[20] |
Bruder G, Steinicke F, Stürzlinger W. Effects of visual conflicts on 3D selection task performance in stereoscopic display environments. Proceedings of 2013 IEEE Symposium on 3D User Interfaces. Orlando: IEEE, 2013. 115–118.
|
[21] |
Deng CL, Geng P, Hu YF, et al. Beyond Fitts’s law: A three-phase model predicts movement time to position an object in an immersive 3D virtual environment. Human Factors: The Journal of the Human Factors and Ergonomics Society, 2019, 61(6): 879-894. DOI:10.1177/0018720819831517 |
[22] |
张彤, 杨文虎, 郑锡宁. 图形用户界面环境中的鼠标操作活动分析. 应用心理学, 2003, 9(3): 14-19, 13. DOI:10.3969/j.issn.1006-6020.2003.03.003 |
[23] |
何灿群. 基于拇指操作的中文手机键盘布局的工效学研究[博士学位论文]. 杭州: 浙江大学, 2009.
|
[24] |
Fu MJ, Hershberger AD, Sano K, et al. Effect of visuo-haptic co-location on 3D Fitts’ task performance. Proceedings of 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems. San Francisco: IEEE, 2011. 3460–3467.
|
[25] |
Fitts PM. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology, 1992, 121(3): 262-269. DOI:10.1037/0096-3445.121.3.262 |
[26] |
Murata A, Iwase H. Extending Fitts’ law to a three-dimensional pointing task. Human Movement Science, 2001, 20(6): 791-805. DOI:10.1016/S0167-9457(01)00058-6 |
[27] |
Lin CJ, Woldegiorgis BH. Egocentric distance perception and performance of direct pointing in stereoscopic displays. Applied Ergonomics, 2017, 64: 66-74. DOI:10.1016/j.apergo.2017.05.007 |
[28] |
丁玉兰, 程国萍. 人因工程学. 北京: 北京理工大学出版社, 2013. |
[29] |
Naceri A, Chellali R, Dionnet F, et al. Depth perception within virtual environments: Comparison between two display technologies. International Journal on Advances in Intelligent Systems, 2010, 3(1–2): 51-64. |
[30] |
Hale KS, Stanney KM. Effects of low stereo acuity on performance, presence and sickness within a virtual environment. Applied Ergonomics, 2006, 37(3): 329-339. DOI:10.1016/j.apergo.2005.06.009 |
[31] |
Mohler BJ, Creem-Regehr SH, Thompson WB, et al. The effect of viewing a self-avatar on distance judgments in an HMD-based virtual environment. Presence, 2010, 19(3): 230-242. DOI:10.1162/pres.19.3.230 |
[32] |
Bruder G, Argelaguet F, Olivier AH, et al. CAVE Size matters: Effects of screen distance and parallax on distance estimation in large immersive display setups. Presence, 2016, 25(1): 1-16. DOI:10.1162/PRES_a_00241 |
[33] |
Hoffman DM, Girshick AR, Akeley K, et al. Vergence—Accommodation conflicts hinder visual performance and cause visual fatigue. Journal of Vision, 2008, 8(3): 33. DOI:10.1167/8.3.33 |
[34] |
阮晓钢, 张晓平, 武璇, 等. 基于学习自动机的具有内发动机的感知运动系统的建立. 控制与决策, 2016, 31(2): 303-309. |
[35] |
任红格, 史涛, 张瑞成. 基于操作条件反射机制的感觉运动系统认知模型的建立. 机器人, 2012, 34(3): 292-298. |
[36] |
Bridgeman B, Gemmer A, Forsman T, et al. Processing spatial information in the sensorimotor branch of the visual system. Vision Research, 2000, 40(25): 3539-3552. DOI:10.1016/S0042-6989(00)00193-0 |