6 （八）复习（2学时） 五、先修课要求及教学方法建议 1、教学策略：课堂讲授、案例教学、演示结果 2、方法建议：鼓励学生多多动手实践，重在实际练习，在练习中与学科知 识相结合。 3、先修课要求：电子商务导论、程序设计基础、数据库原理 六、考核方式 选修课：课程大作业结课 七、教材、参考文献与其他教学资源 教材： 《Flask Web开发：基于Python的Web应用开发实战》（人民邮电出版社，[ 美]格林布戈主编） （ISBN:9787115373991） 参考书目： 1、《Python Web开发实战》（电子工业出版社，董伟明主编） （ISBN 9787121297335） 2、《Python编程快速上手》（人民邮电出版社，Al Sweigart主编） （ISBN 9787115422699） 3、《Flask Web开发入门、进阶与实战》（机械工业出版社，张学建主编） （ISBN 9787111673170） 《大数据采集与处理》教学大纲 一、课程信息 课程名称 (中文)大数据采集与处理 (英文)Big data acquisition and processing 课程编码 3290446 课程性质 √必修 ☐选修 课程类型 ☐通识课程 √专业课程 适用专业 大数据管理与应用专业 开课部门 管理学院 课程负责人 郝博文 学时学分 学分：2 总学时：32 理论：20 实验：4 实践：8 授课语言 中文
7 二、课程内容简介 本课程是大数据系列课程的基础，主要内容包括大数据采集、大数据预处理、 大数据存储与计算、大数据安全等。本课程结合大数据应用各行业背景，向学生 介绍电商、煤炭、教育、医疗、电信、交通等行业的大数据采集与处理过程。除 此之外，本课程以某电商网站数据分析为背景，介绍了一个完整的数据采集、清 洗、处理的离线数据分析案例，向学生展示了一个系统的实践操作过程，从而加 深学生对大数据采集与处理技术的认识，使学生基本具备处理大数据的能力，最 后，本课程简单介绍传统数据挖掘、深度学习、大模型等最新大数据分析处理技 术，旨在拓宽学生眼界。 三、课程目标 L01：培养具有扎实的数据科学与管理学理论基础 L02：培养学生利用采集大数据的能力 L03：培养学生利用大数据进行量化分析的能力 L04：培养学生的编程能力 L05：培养学生的建模能力 四、教学内容、要求及进度安排 第1章 大数据采集与处理概论（6 学时） 1.1 绪论 1.2 工业大数据采集与处理基本流程 第2章 Python基础（4 学时） 先修课程 大数据导论、Python、概率论、线性代数、高等数学等 课程目标 支撑毕业要求指标点 支撑程度 支撑培养目标指标点 支撑程度 LO1 基础知识 H、M 强化数据科学与管理 学理论基础 H、M LO2 基础知识、专业知识 H、M 培养学生数据分析、 数据建模和数据挖掘 的能力 H、M L03 国情与国际知识、专业知 识 H、M 培养学生数据分析、 数据建模和数据挖掘 的能力 H、M L04 基础知识、专业知识 H、M 培养学生数据分析、 数据建模和数据挖掘 的能力 H、M L05 基础知识、专业知识 H、M 培养学生利用大数据 进行量化分析的能力 H、M
8 2.1 环境搭建 2.2 Python基础回顾 2.3 Python进阶 第3章 大数据采集（8 学时） 3.1 数据采集与大数据采集 3.1.1 数据采集 3.1.2 大数据采集及数据来源 3.1.3 传统数据采集与大数据采集的区别 3.1.4 大数据采集分类 3.2 大数据采集方法 3.2.1 数据库采集 3.2.2 系统日志采集 3.2.3 网络数据采集 3.2.4 传感器采集 3.2.5 众包采集 3.3 网络爬虫 3.3.1 网络爬虫分类 3.3.2 网络爬虫发展现状 3.3.3 网络爬虫使用技术 3.4 实战 3.4.1 项目准备 3.4.2 架构设计 3.4.3 代码实现 3.4.4 结果展示 第4章 大数据预处理（8 学时） 4.1 概述 4.2 大数据预处理总体架构 4.2 大数据预处理方法 4.2.1 数据清洗 4.2.2 数据集成 4.2.3 数据转换 4.2.4 数据消减 4.3 ETL工具Kettle 4.3.1 ETL介绍 4.3.2 Kettle介绍 4.3.3 Kettle安装与配置 4.4 实战 4.4.1 基于Python的数据预处理 4.4.2 基于Hadoop生态圈的Kettle应用 第5章 大数据分析（6 学时） 5.1 传统数据挖掘算法
9 5.2 深度学习算法 5.3 大模型 五、先修课要求及教学方法建议 1.先修课要求：大数据导论、Python、概率论、线性代数、高等数学等 2.教学方法建议：无 六、考核方式 必修课：见考试大纲 选修课要求如下： 1.考核目标：应与课程目标一致 2.考核方式与考核要求 考试、考查及具体方式（如为考试，说明闭卷或开卷考试即可；如为考查， 明确“提交论文、调查报告、实验报告、读书报告”等形式。 3.填写《首都师范大学考试（考查）分析表》，与学生考试试卷或考查的论 文、调查报告、实验报告、读书报告等一并保存五年。（从考试当日开始计算） 七、教材、参考文献与其他教学资源 参考教材：大数据采集与处理 第1版，张雪萍 著，电子工业出版社，2021-09 八、备注 各院系应有教学大纲修订的制度。上课前须按规定完成修订，并经院系专业 负责人、教学院长批准并报教务处备案后公布大纲。教学须按教学大纲实施，不 允许任课教师随意修订教学大纲和离开大纲要求实施教学。 教学日历须按教学大纲编制，任课教师可以在总学时不变的前提下根据具体 情况适当调整某些章节的教学时数；可以调整参考资料（不能调整教材）；在教 学大纲或考试大纲规定的范围内确定考试方式、试卷结构、成绩评定方式。 《大数据采集与处理实训》教学大纲 一、课程信息 考核方式 考核要求 比重(%) 对应的课程目标 闭卷考试 平时+期末 平时（40%） 期末（60%） L01、L02、L03、L04、L05 课程名称 (中文)大数据采集与处理实训 (英文)Big data acquisition and processing training 课程编码 3290447 课程性质 ☑必修 ☐选修 课程类型 ☐通识课程 ☑专业课程
10 二、课程内容简介 课程内容概要: 本课程是大数据采集与处理的实验课程，主要内容包括大数 据的采集实验以及大数据的处理实验。 三、课程目标 L01：培养具有扎实的数据科学与管理学理论基础 L02：培养学生利用采集大数据的能力 L03：培养学生利用大数据进行量化分析的能力 L04：培养学生的编程能力 L05：培养学生的建模能力 四、教学内容、要求及进度安排 1 Python读写文件 2 网络爬虫实验 2.1 招聘岗位爬虫 2.2 学堂在线爬虫 3数据预处理基础实验 3.1 数据清洗 3.2 数据格式转换 适用专业 大数据管理与应用专业 开课部门 管理学院 课程负责人 郝博文 学时学分 学分：0 总学时：16 理论：0 实验：8 实践：8 授课语言 中文 先修课程 大数据导论、Python、概率论、线性代数、高等数学等 课程目标 支撑毕业要求指标点 支撑程度 支撑培养目标指标点 支撑程度 LO1 基础知识 H、M 强化数据科学与管理 学理论基础 H、M LO2 基础知识、专业知识 H、M 培养学生数据分析、 数据建模和数据挖掘 的能力 H、M L03 国情与国际知识、专业知 识 H、M 培养学生数据分析、 数据建模和数据挖掘 的能力 H、M L04 基础知识、专业知识 H、M 培养学生数据分析、 数据建模和数据挖掘 的能力 H、M L05 基础知识、专业知识 H、M 培养学生利用大数据 进行量化分析的能力 H、M