为解决现有课堂过程管理手段比较落后, 系统功能比较单一的问题, 本文设计了一种集课堂考勤、课堂行为识别和管理、自主学习管理于一体的智能课堂管理系统. 该系统以深度视觉传感器Kinect V2为数据采集设备, 以LabVIEW为软件开发平台, 实现了基于人脸识别和移动设备定位相结合的课堂考勤功能, 基于骨架特征提取和SVM分类器的课堂行为识别和分析功能, 基于MyEclipse和MySQL数据库的学生自主学习管理功能. 实验表明, 该系统人脸识别签到的识别准确率达到97%; 课堂行为识别精度达到95%以上; 数据库设计合理完善, 自主学习功能灵活可靠.
To solve the problems that the existing classroom process management method is backward and that the functions of the current classroom management system are limited, this study designs an intelligent management system that integrates classroom attendance checking, classroom behavior recognition and management, and autonomous learning management. The system uses the depth vision sensor Kinect V2 as its data acquisition device and LabVIEW as its software development platform. It fulfills a classroom attendance checking function based on the combination of face recognition and mobile device positioning, a classroom behavior recognition and analysis function based on skeleton feature extraction and the support vector machine (SVM) classifier, and a student autonomous learning management function based on MyEclipse and MySQL database. The experimental results show that the recognition accuracy of the system for face recognition sign-in reaches 97% and its accuracy of classroom behavior recognition is more than 95%. The database design is reasonable and well established, and the autonomous learning function is flexible and reliable.
随着社会的发展和教育改革的不断推进, 我国的教育事业取得了巨大的进步, 但是在教学管理过程中仍然存在明显的不足[
目前, 已经出现了一些应用于课堂教学过程管理的系统, 主要集中在学生的课堂行为识别上, 即通过人脸识别和人体行为识别来反映学生的学习专注度和课堂教学效果. 国内方面, 王竑喜提出了基于图像采集和处理的学生课堂行为识别方法, 研究了学生学习专注度与课堂行为之间的关系[
系统结构如
系统结构组成
系统功能如
系统功能组成
在电脑上安装Kinect SDK和Kinect driver后, LabVIEW即可通过调用DLL文件的方式调用Kinect V2摄像头采集到的各种图像信息.
课堂考勤可以有效提高学生的到课率, 帮助班级形成良好的学习氛围, 增强学生的组织性和纪律性. 现有的考勤措施大多采用教师点名的方式进行, 这样不仅会浪费大量的教学时间, 而且学生可以通过人员替代或中途离场的方法蒙混过关. 本文采用人脸识别签到[
图像采集程序框图
人脸识别签到流程如
在不同的表情, 光照和角度下, 摄像头采集到的人脸图像变化较大, 若直接使用线性方法对原始图像进行特征提取, 则识别精度和稳定性会大大降低. 由于脸部局部特征受外部条件的影响较小, 为此本文选取等价模式LBP算子提取面部识别特征, 选取基于直方图的最近邻分类算法进行身份识别. 由于图像中信息的分布不均匀, 因此本文选取加权卡方统计方法对直方图进行度量, 这样可以有效解决图像信息不均匀造成的影响, 提高识别精度. 算法流程如下:
(1) 将检测窗口划分为16×16的小区域.
(2)对于任一小区域中的像素, 将相邻的8个像素的灰度值与其进行比较, 若周围像素值大于中心像素值, 则该像素点的位置被标记为1, 否则为0. 这样, 3×3邻域内的8个点经比较可产生8位二进制数, 即得到该窗口中心像素点的LBP值.
人脸识别签到流程图
用于人脸分割的10个面部特征点标号和名称
标号 | 名称 | 标号 | 名称 | |
35 | 额头中心 | 15 | 左眉外角 | |
48 | 右眉外角 | 32 | 下巴左角 | |
65 | 下巴右角 | 30 | 颌骨左角 | |
63 | 颌骨右角 | 10 | 下巴底部 | |
28 | 左耳与面部下接触点 | 61 | 右耳与面部下接触点 |
脸部特征点分布和人脸分割效果
(3)计算每个小区域的直方图, 即每个数字出现的频率.
(4)采用加权卡方统计方法对直方图进行度量, 如式(1)所示, 式中,
识别结果如
不同LBP算子尺度时人脸识别结果比较
LBP算子尺度 |
|
|
|
|
测试样本个数 (个) | 100 | 100 | 100 | 100 |
识别正确个数 (个) | 82 | 91 | 88 | 97 |
识别准确率 (%) | 82 | 91 | 88 | 97 |
识别时间 (s) | 0.0782 | 0.0924 | 0.0885 | 0.0967 |
移动设备定位流程如
移动设备定位流程图
现有的课堂行为识别大多是采用RGB摄像头来进行图像采集, 图像质量受光线、视角、距离影响较大, 鲁棒性和识别精度较差[
人体骨架节点分布图
由于课桌的遮挡, 1号节点(人体中心)以下的9个节点不在视野范围之内, 因此忽略掉. 21、22、23、24号4个节点为手指节点, 对于学生课堂动作识别性不高, 因此也忽略掉. 剩下的12个节点中, 相邻的两个节点可以组成一个动作结构向量, 这样得到11个动作结构向量. 相邻的两个动作结构向量可以形成一个向量角, 这样得到9个向量角. 人体的动作变化和这9个向量角息息相关, 因此选取9个向量角作为学生课堂行为识别特征数据. 11个动作结构向量的组成节点和9个向量角的组成向量, 如
学生上课注意力是否集中很大一部分可以通过头部动作来体现, 但是抬头、低头、偏头和摇头动作对9个特征向量角的变化并不明显, 很容易引起误判. 本文引入face tracking SDK中提供的头部转角识别功能, 如
动作结构向量和向量角的组成
向量名称 | 组成节点 | 向量角名称 | 组成向量 | |
|
6、7 |
|
|
|
|
5、6 |
|
|
|
|
4、5 |
|
|
|
|
4、20 |
|
|
|
|
20、8 |
|
|
|
|
8、9 |
|
|
|
|
9、10 |
|
|
|
|
10、11 |
|
|
|
|
20、2 |
|
|
|
|
2、3 | |||
|
1、20 |
Kinect V2头部识别示意图
如果学生的手部动作和头部角度变换不大, 则很难正确识别出学生处于站立状态还是坐立状态, 但此时学生头部节点(3号)距离地面的高度
地面方程确定以后, 将3号头部节点坐标代入式(3)即可计算出头部距离地面的高度
构建课堂行为识别特征向量
不同样本比例时各种课堂行为的识别精度
动作类型 | 0.2 | 0.4 | 0.6 | 0.8 |
趴桌 | 0.925 | 0.933 | 0.950 | 0.950 |
低头 | 0.863 | 0.900 | 0.913 | 0.925 |
站立 | 0.993 | 1.000 | 1.000 | 1.000 |
举手 | 0.975 | 0.983 | 0.988 | 1.000 |
听课 | 0.863 | 0.875 | 0.925 | 0.925 |
每个学生的课堂活跃度是衡量课堂教学效果的一个重要指标[
课堂整体学习态势是对每个学生学习专注度进行分析, 对于教师评估教学效果具有重要意义. 系统选取10 s作为一个记录区间, 记录每个学生趴桌和低头的时长, 如果多于3 s则认定该生处于非专注状态, 记录每个学生的非专注时间长度
自主学习管理[
学习资料上传和作业管理功能中的文件上传流程
课后复习预习功能主要为了满足课外时间学生自主学习需要, 学生可以通过服务器自由选择系统数据库中的视频和文档资料, 自主学习流程如
学生自主学习流程
系统运行过程中涉及到大量数据的查询和存储, 因此数据库的设计对系统正常运行起着至关重要的作用, 本文设计的MySQL数据库中的部分数据表结构如
系统数据库结构表
信息类型 | 字段名称 | 字段类型 | 字段长度 | 字段说明 |
学生
|
account_num | varchar | 50 | 账号 |
password | varchar | 50 | 密码 | |
name | varchar | 30 | 姓名 | |
student_num | varchar | 20 | 学号 | |
phone_num | varchar | 20 | 手机号码 | |
课程
|
Course_name | varchar | 50 | 课程名称 |
file_type | varchar | 50 | 文件类型 | |
File_path | varchar | 50 | 文件路径 | |
考勤
|
WIFI_name | varchar | 50 | WiFi名称 |
WIFI_intensity | varchar | 20 | 信号强度 | |
Sign_in | Bool | 4 | 是否签到 | |
half_way | Bool | 4 | 是否中途离场 | |
Sign_time | datetime | 50 | 签到时间 | |
课堂
|
action_type | varchar | 20 | 课堂动作类型 |
action_time | datetime | 50 | 动作发生时间 | |
Action_duration | time | 50 | 动作持续时间 | |
activity | float | 20 | 课堂活跃度 | |
concentration | float | 20 | 课堂专注度 |
系统通过LabSQL实现LabVIEW和MySQL数据库之间的连接, LabSQL是一个免费的、多数据库、跨平台的LabVIEW数据库访问工具包, LabSQL利用Microsoft ADO对象和SQL语言来完成数据库访问, 将复杂的底层ADO及SQL操作封装成一系列的LabSQL VIs, 简单易用. 首先建立与数据库的连接, 然后生成SQL命令, 执行命令, 最后断开与数据库之间的连接.
移动设备端采用Android平台进行开发, 但是Android移动客户端没办法直接访问MySQL中的数据, 因此系统通过MyEclipse作为“中转”实现两者之间的连接. MyEclipse作为企业级工作平台, 内置所有的Web开发技术, 支持快速添加技术功能到Web项目中. 系统通过MyEclipse开发Web程序, 通过共用Android SOAP方法来访问数据库.
教育的不断发展对教学评价体系和教学管理体系提出了更高的要求, 现有的评价体系和管理体系已成为阻碍教育发展的一大因素. 虽然出现了一些课堂智能管理系统, 但是功能比较单一, 适应性不强. 本文提出了一种集课堂考勤、课堂行为识别和管理、自主学习管理于一体的课堂智能管理系统. 通过人脸识别和移动设备定位相结合的方式实现了97%的课堂考勤精度. 通过骨架节点数据提取识别特征向量, 并输入SVM分类器实现了95%以上的课堂行为识别精度, 并给出了课堂活跃度
胡小玲. 高校课堂管理现状及对策分析. 扬州大学学报(高教研究版), 2018, 22(3): 114–120.
尹春丽. 中职学校数学课堂教学管理现状及对策探析. . 教育教学论坛, 2020, (10): 17–19.
陈斌. 基于新技术的智慧课堂管理系统设计研究. 数字技术与应用, 2020, 38(10): 142–143.
Mille J, Leborgne A, Tougne L. Euclidean distance-based skeletons: A few notes on average outward flux and ridgeness. Journal of Mathematical Imaging and Vision, 2019, 61(3): 310–330.
Ghorbel E, Boutteau R, Boonaert J,
Pan MY, Wang J, Luo ZY. Modelling study on learning affects for classroom teaching/learning auto-evaluation. Science, 2018, 6(3): 81–86.
Zaletelj J, Košir A. Predicting students’ attention in the classroom from Kinect facial and body features. EURASIP Journal on Image and Video Processing, 2017, 2017: 80.
王竑熹. 学生课堂行为视频图像采集和识别系统. 发明与创新(中学生), 2018, (6): 34–35.
廖鹏, 刘宸铭, 苏航, 等. 基于深度学习的学生课堂异常行为检测与分析系统. 电子世界(中学生), 2018, (8): 97–98.
何秀玲, 杨凡, 陈增照, 等. 基于人体骨架和深度学习的学生课堂行为识别. 现代教育技术, 2020, 30(11): 105–112.
Shi YF, Wei YT. Student body gesture recognition based on fisher broad learning system. International Journal of Wavelets, Multiresolution and Information Processing, 2019, 17(1): 1950001.
王治强, 孙晓东, 杨永, 等. 人脸识别算法在考勤系统的应用. 计算机系统应用, 2021, 30(1): 89–93.
何玲. 基于人脸识别的高校考勤系统研究. 中小企业管理与科技, 2020, (35): 86–87.
杨赛烽, 高彬, 冯仕民, 等. 基于三维骨骼节点的人体行为识别方法. 传感技术学报, 2018, 31(12): 1834–1841.
黄潇逸. 基于骨骼关节点投影特征的人体行为识别方法. 现代计算机, 2019, (36): 3–7.
冯华. 高校学生学习效果评价方式革新探究——以广告学专业为例. 教育现代化, 2019, 6(89): 195–196.
李善勇. 基于智能手机平台的大学高效课堂构建. 中国教育信息化, 2021, (1): 67–71.