一、基本情况
大数据教学实验室建于2020年,实验室共1间,面积228.75平方米,实验室同时可接纳学生48人。
大数据教学与科研实验室是基于学校学科建设与发展需求,搭建的大数据一站式教学、实训与科研实验室。实验室可为学校大数据、人工智能、软件工程、物联网工程等专业提供专业、稳定的教学和实验平台。同时,实验室的建设全面落实“产、学、研、用”一体化的思想,从教学、实训和科研应用等方面,培养行业特色和专业的技能人才。
二、主要实验平台
实验室配备了高性能的大数据计算服务器与大数据应用服务器,为实验室内的基础平台、实训平台及工具平台提供了高质量计算资源。
1.基础平台包含云计算资源管理平台和大数据教学管理平台。云计算资源管理平台用于管理实验室所有服务器资源;大数据教学管理平台主要为教学、实训、课程资源等提供“一站式”的服务,采用B/S架构,基于Web管理。大数据管理平台作为进入其他软件工具平台的统一入口,对实验室所有的课程及案例资源进行统一管理,包括课程视频、课程PPT、实验指导书、作业管理、考试管理、成绩管理及用户管理等。
2.实训平台包含Python编程实训平台及Hadoop/Spark大数据开发实训平台。平台内含一套建立在虚拟化层的Python/Hadoop/spark编程环境,其部署于服务器端,使用户可不受限于本身电脑配置,可直接从web端的教学管理平台进入实训平台进行编程。
3.工具平台包含Python数据挖掘建模平台、大数据分析平台、大数据整合平台、大数据可视化平台、大数据智能考试系统等,为大数据教学提供了丰富的工具资源。
Python数据挖掘建模平台是面向数据挖掘课程教学的数据挖掘建模工具。通过该平台,用户可在没有Python编程基础的情况下,通过拖拽的方式进行操作,将数据输入输出、数据预处理、挖掘建模、模型评估等环节通过流程化的方式进行连接,以达到数据分析及数据挖掘的目的。
大数据分析平台是面向大数据数据分析课程教学的数据分析建模工具。平台提供了基于Hadoop/Spark分布式引擎的大数据分析功能,支持工作流,用户可在没有Java,Scala,Python等编程语言基础的情况下,通过拖拽的方式进行操作,以流程化的方式将数据输入输出、统计分析,数据预处理、分析与建模等环节进行连接,从而达成大数据分析的目的。
大数据整合平台是一套ETL(Extract-Transform-Load)工具,主要服务于数据整合与预处理类课程,学生可在应用中实现将数据从来源端经过抽取、转换、加载至目的端的过程。使用该平台可实现对数据的清洗、修改、计算、集成等处理。
大数据可视化平台是一套基于海量网络数据分析,协助实现大数据商业智能的文本分析和可视化平台。该平台主要服务于数据分析与可视化类课程,帮助学生学习数据挖掘、机器学习和数据智能可视化等相关知识。
大数据智能考试系统是一套基于大数据的考试系统,教师通过系统可以进行试题、考试的创建,学生通过系统可进行在线考试、答题。
教学沙盘
新零售-无人智能售货机沙盘主要通过统计分析技术实现自动售货机的运营分析。在教学过程中,重点在于讲授如何抽取及预处理沙盘采集的数据,如何设计分析主题,如何制作可视化报表等相关知识。在实训过程中,学生使用相关知识来实现销售分析、库存分析、用户分析等多种分析主题及其组合,通过可视化大屏直观的反馈学习成果。
机智过人教学沙盘为一站式图像采集、图像处理、图像识别、效果验证人工智能教学工具,主要是通过深度学习和机器视觉技术实现无序物料的抓取。在教学过程中,可以使用配套软件平台讲授数据抽取、图像数据预处理,神经网络模型构造,模型训练与验证等知识,通过实时展示不同步骤的结果,让学生对算法功能有个直观的了解。在实训过程中,学生使用所学的知识来实现数据采样、图像处理、深度学习模型构建等步骤,通过将代码上传至配套软件平台,发布对应的模型,根据机器人抓取结果做出直观的反馈验证学习成果。
动态人脸识别沙盘是基于人脸识别技术的工业级目标人脸识别工具。在教学过程中,重点在于讲授如何抽取及预处理沙盘采集数据,如何自动检测及跟踪人脸,如何实现人脸对比识别等相关知识。在实训过程中,学生使用相关知识来实现人脸检测、动态跟踪、智能识别等多种功能及其结合,通过系统对比做出直观的反馈学习验证。
三、教学任务及主要功能
该实验室主要面向大数据、软件工程及物联网工程等专业提供数据仓库与数据挖掘、算法设计与分析、机器学习、Python程序开发、数据可视化、Hadoop大数据开发、自然语言处理、智能推荐系统、时间序列分析、金融大数据分析、Python网络爬虫等课程的实验教学。除课程实验教学外,该实验室支持学生的课程实验、实习实训、毕业设计、创业创新和各种设计竞赛等活动。
实验课程名称 |
序号 |
实验项目名称 |
学时 |
实验类型 |
数据仓库与数据挖掘 |
1 |
数据仓库与挖掘综合应用 |
4 |
综合 |
2 |
数据可视化与分析综合应用 |
4 |
综合 |
算法设计与分析 |
1 |
递归-分治算法设计 |
6 |
设计 |
2 |
动态规划算法设计 |
4 |
设计 |
3 |
回溯算法设计 |
6 |
设计 |
自然语言处理 |
1 |
NLP前置及分词技术实验 |
8 |
综合 |
2 |
文本分析处理综合实验 |
12 |
综合 |
3 |
文本向量化实验 |
6 |
设计 |
4 |
情感分析技术实验 |
6 |
设计 |
智能推荐系统 |
1 |
大数据lambda架构实践 |
8 |
验证 |
2 |
开发环境部署-实践 |
8 |
综合 |
3 |
推荐算法实战 |
8 |
综合 |
4 |
Sqoop收集账户数据-实践 |
8 |
综合 |
数据可视化 |
1 |
Python可视化技术基础 |
6 |
综合 |
2 |
Pandas数据可视化 |
6 |
综合 |
3 |
Matplotlib 可视化技术 |
6 |
综合 |
4 |
Python的seaborn的数据可视化技术 |
6 |
综合 |
5 |
可视化工具Excel可视化图表的实现 |
4 |
综合 |
6 |
其他可视化工具 |
4 |
综合 |
Hadoop大数据开发 |
1 |
Hadoop的安装 |
4 |
设计 |
2 |
HDFS的使用 |
6 |
设计 |
3 |
Hadoop组件的安装,工作原理,使用方法 |
16 |
设计 |
4 |
Flume安装和使用方法 |
6 |
设计 |
Python程序开发 |
1 |
Python基本语法实验 |
14 |
综合 |
2 |
Python序列实验 |
10 |
综合 |
3 |
Python文件实验 |
8 |
综合 |
4 |
Python模块化编程 |
8 |
综合 |
机器学习 |
1 |
无监督学习-聚类算法编程 |
8 |
综合 |
2 |
无监督学习-降维算法编程 |
8 |
综合 |
3 |
监督学习-分类算法编程 |
8 |
综合 |
4 |
监督学习-回归算法编程 |
4 |
综合 |
5 |
强化学习算法编程 |
2 |
综合 |
6 |
自主学习算法编程 |
2 |
综合 |
金融大数据分析 |
1 |
百度新闻源代码获取 |
4 |
综合 |
2 |
新闻信息数据挖掘实战 |
4 |
综合 |
3 |
金融数据导入数据库 |
4 |
综合 |
4 |
完整的百度新闻数据挖掘系统搭建 |
6 |
综合 |
5 |
利用Pandas库导出舆情数据评分 |
2 |
综合 |
6 |
舆情数据评分与股价数据相关性分析 |
4 |
综合 |
7 |
金融数据挖掘实战 |
4 |
综合 |
8 |
PDF文本解析上市公司理财报告 |
4 |
综合 |
时间序列分析 |
1 |
时间序列预处理实验 |
6 |
验证 |
2 |
ARMA模型实验 |
6 |
验证 |
3 |
平稳序列的拟合与预测实验 |
6 |
验证 |
4 |
无季节效应的非平稳序列分析实验 |
6 |
验证 |
5 |
有季节效应的非平稳序列分析实验 |
4 |
验证 |
6 |
条件异方差模型实验 |
4 |
验证 |
四、实验室图片