icon整体项目实施内容icon
课题研究与实验
•  建立分析指标体系
•  提出假设,确定分析指标及关联特征
•  设计实验方案
•  实施实验方案
•  借助AI平台,研究分析结果,得出结论
•  撰写论文
常态化分析
•  从课题研究选定分析指标
•  设计常态化分析报告
•  设计常态化自动化分析流程
•  研发并实施数采系统、建模系统、分析可视化系统
•  系统维护
应用于实际教学质量评估
•  研究结论作为教学质量评估参考
•  常态化分析提高教学评估效率
•  辅助教学评估发现问题、跟踪问题、改善教学方式方法
icon分析指标体系icon

面向学生,教师两大类的指标

 
icon面部表情反应的情感分析icon

包括表情反应的情感音转字、聊天内容反应的情感两个方面

 

利用第三方软件,对视频人脸画面进行人脸定位、面部表情分类,分类结果包括7种面部表情(悲伤、惧怕、中性、愉快、惊奇、愤怒、厌恶、未知),以及效价、唤醒度。
此类情绪与课程内容无关。
输出时序化的老师或学生面部表情情绪结果,用作下一步时序特征提取。

icon学习者画像可视化分析icon

直播课堂学情多模态分析

icon文本反应的情感及互动分析icon

 

icon与一期项目关联度icon
前后两项目有关联,红色字体是本项目不同的地方
上一项目
基于脑波、眼动及面部表情的线下多模态试验数据分析研究
 
课程内容:选定4门直播课
分析目标:满意度、专注度、知识点掌握、互动等指标预测
模态数据类型:视频面部表情、脑波、眼动轨迹
标注数据:来自调查问卷
数据采集方式:半自动化
数据预处理:数据对齐、数据清理
特征工程:
1.  利用第三方软件分析面部表情
2.  利用tsrefresh库对时序数据进行特征提取
多模态模型:决策树
任务类型:分类任务
建模系统:AI建模平台
本项目
基于情感、互动行为及面部表情的线上直播课多模态试验数据分析研究
 
课程内容:选定3个主题/学科
分析目标:专注度、情感、互动等指标预测模态数据类型:视频面部表情、ClassIn互动数据、音转字文本、聊天文本
标注数据:来自调查问卷
数据采集方式:自动化
数据预处理:数据对齐、数据清理
特征工程:
1.  利用第三方软件分析面部调情
2.  利用音转字软件转写
3.  利用NLP技术进行文本分类

4.  利用tsrefresh库对时序数据进行特征提取
多模态模型:决策树
任务类型:分类任务
建模系统:AI建模平台
iconAI技术 - 自然语言处理icon
音转字长文本处理
NLP预训练数据集:公开维基百科数据
迁移学习数据集:直播课音转字数据(长文本)
分词器:SentencePiece
编码器:Transformer AutoTokenier
AI模型/网络:XLNet/BERT (适用于长上下文文本内在联系)
AI 框架:TransformerXL + Tensorflow
任务类型:文本分类任务
标签:
教师夸赞 | 教师鼓励 | 教师提问 | 课程签到 | 课堂答题 | 学生正面 | 学生负面
纯聊天短文本处理
NLP预训练数据集:公开用户评论数据
迁移学习数据集:聊天数据(短文本)
分词器:SentencePiece
编码器:Transformer AutoTokenier
AI 模型/网络:ALBERT (适用于短文本情感分类)
Al 框架:TransformerXL + Tensorflow
任务类型:文本分类任务
标签:
教师夸赞 | 教师鼓励 | 教师提问 | 课程签到 | 课堂答题 | 学生正面 | 学生负面
iconAI技术 - LLM(ChatGPT)icon

 

 
icon交付物列表icon

 

2份分析报告

•  面部表情、会话情感、互动行为等多模态数对教学效果相关性研究分析报告
•  自我调节力评估分析及改进意见报告

形成应用示范

•  形成不少于三个主题分析应用示范

学术论文

•  根据本项目的研究成果产出两篇学术论文

1份常态化分析方案

•  形成一份具有实际教学意义的在线直播课多模态数据指标体系及分析方法

对应的分析系统及可视化

•  基于多模态数据的学习预测模型和系统,包含可部署的程序安装包、用户手册、测试部署文档
•  多模态可视化分析仪表盘,监控学生和教师的课题行为及互动,预测自我调节能力、参与度、专注度、满意度等,并以形象化的方式呈现评教数据

icon应用与实际教学质量评估icon

面向教师
•  行为:展示学生参与度和自我调节能力  •  情感:分析学生情感,展示学生情感分布、情感变化情况
面向管理者

•  行为:评估教师参与度、互动水平         •  情感:评估教师情感分布、情感变化

 

学习行为、参与度分析价值

•  学习行为的研究目前属于教学研究的新领域,有何重要的理论价值和实践意义。不仅有利于丰富教学理论研究成果,还有利于促进学生学习方式的转变和学习效益的提升

•  通过分析学习行为,有效识别每个学生个体个性化的学习习惯,刻画学习风格,并针对不良学习习惯提出纠正。

情感分析价值

•  情感有动力、强化、感染和疏导等功能,能优化认知的发生,促进认知的加深,利于认知的内化;反之会有阻碍作用。情感与认知学习之间有相互促进的关系。

•  分析情感分布、情感变化情况,可以定位弱情感学生群体,促进学生对特定学科产生积极的行为倾向,对学习活动的开展、维持具有积极作用。

自我调节的重要性

•  自我调节是控制和指导自己的感觉、思想和行动的能力。自我调节不仅有利于培养健全人格,更有利于个人发展,自我调节越来越被视为学业成功的良好预测指标。

•  分析自我调节力指标,是对教学培养学生自我调节能力的重要实践。

icon课题实验研究 - 概述icon

 

icon建立多模态模型icon

 

icon直播课分析 - 课堂互动icon

 

icon直播课分析 - 课堂互动icon

 

icon直播课分析 - 语义分析icon

 

icon直播课分析 - 情感分析icon

 

icon原始数据icon

 

 

产品推荐 查看更多>>
    新一代智能大数据云平台 Transwarp Data Cloud

    TDC是星环科技新一代智能大数据云平台,专注提供多租户式云上大数据服务,以及多行业全方位解决方案,满足各种数据处理场景。

    高效稳定

    弹性伸缩

    性价比高

    腾讯云Elasticsearch Service

    腾讯云Elasticsearch Servie(ES)是基于开源引擎打造的云端全托管 ELKB服务,独有高性能自研内核、QQ 分词、集群巡检、一键升级等优势能力,助力企业高效构建海量数据搜索和分析场景。

    基于开源引擎打造的云端全托管 ELKB服务

    独有高性能自研内核、QQ 分词

    集群巡检、一键升级等优势能力

    助力企业高效构建海量数据搜索和分析场景

    永洪制造行业大数据可视化分析方案

    永洪科技基于众多制造业项目包括美的、福建联迪、格力、科达洁能、海天等大型制造业厂商的实践进行提炼,与客户、合作伙伴一起打造了制造业数据应用体系以及数据分析解决方案,在制造行业的物流分析、决策支持、供应链管理、人力资源管理等领域都有着坚实的实践基础。

    统一标准的KPI指标分析体系

    标准的数据分析流程

    自动指标统计

    提高决策水平