项目优势
配置大数据实训所需的集群环境和算力资源，为每位学员配备独立或共享的大数据开发与测试环境，真实还原企业级数据平台；
线下学习结合企业真实业务项目，学员在实战中完成数据采集、清洗、建模与报表开发，直接对接真实业务问题，有助于理解技术在工作中的应用，这种项目经验对提升问题解决能力至关重要；
紧跟行业与技术发展趋势，课程内容覆盖当前主流的大数据技术栈与岗位技能要求，确保学员知识体系不过时，在求职阶段具备明显的技术匹配度与竞争优势；
我们的课程特别设计了一系列实操环节，确保学员不仅理论学习，更能亲自动手实践，深刻理解技术的来源与应用原理。通过这样的深度体验，学员将大幅提升技术的实际运用能力，增强自身竞争力。
在线咨询
参加大数据工程师就业实训
上海、苏州、杭州、北京、深圳等多家大数据合作企业
推荐入职上述企业的大数据及相关研发岗位工作
通过考核的学员获得上海交大教育大数据工程师培训证书
学习未达标者，提供免费重修服务
适合人群
硬性要求
24年及以前毕业的全日制本科生，专业不限，小于32周岁（符合以下情况可酌情放宽要求）
专业优势
计算机、软件工程、信息管理、数学、统计学、电子信息等相关专业的本科及硕士人群，希望以大数据技术作为未来核心职业方向，提前构建工程化实践能力。
行业优势
已从事数据运营、风控、用户增长、业务分析、产品运营等岗位，希望系统提升大数据分析与数据建模能力，向大数据工程师、数据分析师或 BI 分析岗位转型的人群。
兴趣优势
希望进入大数据 / 数据分析领域的转行人士，对数据敏感、具备一定学习投入度。
在线咨询大数据工程师的岗位职能
- 熟悉主流大数据技术栈（Hadoop、Hive、Spark、Flink 等），能够完成数据采集、存储、计算等核心开发工作
- 熟练使用 SQL 及数据处理脚本，对海量数据进行清洗、转换、聚合与统计分析
- 能根据业务需求进行数据仓库建模与指标体系设计，支撑报表分析与经营决策
- 掌握常用数据开发与调度工具（如 Kafka、Flink、Airflow、DolphinScheduler 等），搭建稳定可靠的数据处理流程与任务调度体系
- 熟悉至少一种 BI / 可视化工具（Tableau、PowerBI、帆软等），能够制作数据分析报表与业务可视化看板
- 持续关注大数据与数据智能相关前沿技术发展，结合业务场景提出优化方案，推动数据平台和数据应用能力的持续升级。
大数据工程师的就业方向
- IT头部大厂：如华为、百度、字节跳动、阿里
- 信息技术公司：如爱数信息技术、万得信息技术
- 央企国企：如中国移动、中国联通、中国电信
- 制造业：如蔚来、小米、泰则半导体、睿励科学仪器
- 网络公司：如盛大网络、同程网络
- 机器人公司：如大疆、科大讯飞、未来不远机器人
- 科技公司：如喜马拉雅科技、岩山科技、芯歌智能科技
- 教育、咨询公司：如酷爱教育科技、北京敏行创业管理咨询
- 航空公司：如国航、吉祥航空
参与大数据工程师人才培养解决方案，您将任职以下类型的工作角色
就业优势
随着数字经济的快速发展，企业在业务运营、用户增长、风控管理等各个环节，对数据的依赖程度与日俱增。海量数据的产生与积累，使得大数据平台搭建、数据分析与数据治理成为企业核心竞争力之一，也带来了与之匹配的大量大数据工程师、数据分析师和数据仓库人才需求。我校与众多知名企业有战略合作关系，能够提供充足的就业推荐资源。相信同学们会在大数据行业博得一席之地，顺应技术的发展，成为未来人才市场上的中流砥柱。
在线咨询长期合作企业品牌
上海交大教育集团 专业品质 诚信服务
上海交大教育（集团）有限公司于1999年8月4日设立,以独立法人经济实体的形式对外发展终身教育事业。为打造社会化教育平台，充分发挥自身在教育、人才、技术及信息方面的资源和优势并服务于社会。 上海交大教育集团，注册资本1.5亿元人民币，股东为上海交大产业投资管理（集团）有限公司和上海新南洋昂立教育科技股份有限公司。目前管理多所院校和十家控、参股公司。集团聚焦职业教育、基础教育与国际教育等领域，致力于发展终身教育事业。 上海交大教育集团传承 “起点高、基础厚、要求严、重实践、求创新”的醇厚传统，秉持“严谨、务实、创新”的质量方针，聚焦国际教育和职业教育，不断探索人才的培养模式，满足社会教育需求，承担社会教育责任。为培养真正符合时代需求的IT人才，上海交大教育集团智能信息技术研究院以高瞻的视野，经多年布局，打造人才培训服务体系。以企业需求为导向，以行业未来为驱动，向企业和社会不断输送IT人才。
在线咨询师资团队
刘老师
- 2014年毕业于许昌学院计算机专业
- 2014从事java开发工程师
- 2017-2021从事大数据开发工程师
- 2021至今从事大数据讲师
- 精通Oracle，MySQL数据库开发
- 熟悉java语言和Python大数据开发
吕老师
- 江西赣州人，毕业于南昌大学
- 2018-2019年，Java开发工程师
- 2019年-2021年，大数据开发工程师
- 2021至今从事大数据讲师
- 数据库讲师熟练掌握Java编程语言，有多年的编程开发和大数据开发经验，多年大数据教学经验
吴老师
- 阿里云大数据ACP认证
- 星环认证大数据工程师
- 监管大数据仓库数据建设技术与服务：中证数据负责存量与增量数据入库、接口开发与维护、Dataworks节点开发、接口巡检与维护、数据预处理等工作。
- New_Energy数据开发：正泰集团研发中心负责后端组大数据开发，参与技术选型与平台构建、数据处理与服务、需求分析及调研、技术迭代与优化等工作。
张老师
- 大数据高级分析师
- Java高级开发工程师
- 项目管理工程师
- 公司服务开发和维护：负责公司服务项目的架构设计，开发和维护，技术性能指标评审。大数据平台搭建与维护：负责公司大数据平台的搭建、维护和监控，性能调优和故障排除。
- 讯飞教育市场部：担任大数据分析工程师，负责公司运营数据的分析和异常数据的监控。
席老师
- 具备10年以上大数据技术处理经验，参与过项目的数据量均在PB级数据量，大数据平台节点均在上千台节点。
- 阿里巴巴本地生活平台（饿了么）、趣头条担任大数据基础架构部负责人，涉及实时计算平台、离线计算平台。
- 阿里巴巴本地生活平台（饿了么）：负责大数据基础架构平台、数据查询平台、ETL调度系统、大数据平台自动化运维平台开发、运维工作等。从0-1的实现千台大数据机器的自动化运维及管理。
- 趣头条大数据平台部离线计算平台、实时计算平台主要负责人，负责公司大数据平台的搭建、维护和监控，性能调优和故障排除；从0-1建设FLINK实时计算平台等。
杨老师
- 理学硕士，多年金融行业大数据开发经验，深耕数据科学与金融科技领域,PMP国际项目管理专家，精通银行业务与数据价值挖掘;擅长Java、Python、Scala, 精通Hadoop生态技术(Hadoop、Hive、Spark、Hbase、Flink等）。
- 浙江农商联合银行丰收数据云平台担任大数据开发高级工程师，负责集群搭建与平台维护。
- 浙江农商联合银行隐私计算平台建设担任项目经理，主导平台建设、业务设计及推广。
- 临海农商行贷款辅助系统建设担任项目经理，负责架构设计、数据开发与项目管理。
- 浙江中建投数据中心建设担任项目经理，统筹数仓设计、数据治理及报表开发。
- 为超过1000+大学生做过职业规划
课程大纲
七大阶段教学安排第一阶段: 数据思维与企业级 SQL 基础
| 课程内容 | 课程大纲 |
|---|---|
| 企业级数据库与数据认知 |
（1）Oracle 数据库的特点与应用场景 （2）数据库、数据表、字段、主键、外键、约束等基础概念 （3）业务系统中的数据组织方式与典型表结构示例 （4）客户端工具的连接与基本操作，理解企业日常如何使用数据库 |
| SQL 基础语法与单表查询 |
（1）SQL 语言分类：DDL、DML、DCL、DQL （2）SELECT 语句基本结构与编写规范 （3）WHERE 条件过滤与常见运算符（比较、逻辑、模糊匹配等） （4）ORDER BY 排序与分页查询 （5）常用函数：字符串函数、日期时间函数、数值函数等 |
| 数据库对象与数据管理 |
（1）视图 VIEW 的概念、创建与使用场景 （2）索引 INDEX 的作用与基本创建方式 （3）同义词、序列等常用数据库对象简介 （4）数据完整性与约束管理（唯一性约束、外键约束等） （5）事务概念、提交与回滚，常见数据安全与误操作恢复思路 |
| 综合实战：企业业务数据分析 |
（1）给定订单、客户、商品等多张业务表，完成需求分析与字段梳理 （2）编写多表关联 SQL，计算核心业务指标（如销量、客单价、转化率等） （3）完成一份「业务分析 SQL 脚本 + 结果说明」的综合小项目 （4）课堂讲评与代码优化，提升 SQL 规范与执行效率意识 |
第二阶段: PL/SQL 工程化开发与数据库编程
| 课程内容 | 课程大纲 |
|---|---|
| PL/SQL 编程基础与程序结构 |
（1）PL/SQL 与标准 SQL 的关系及应用场景 （2）PL/SQL 程序块结构：声明部分、执行部分、异常处理部分 （3）变量与常量定义、数据类型、记录类型 （4）赋值语句、输入输出语句及基本书写规范 |
| 流程控制与异常处理机制 |
（1）分支控制：IF / ELSIF / CASE 语句 （2）循环结构：LOOP、WHILE、FOR 循环 （3）内置异常与用户自定义异常 （4）异常捕获与处理策略，常见错误场景及规避方法 |
| 综合实战：数据库业务逻辑模块开发 |
（1）根据真实业务案例（如订单、库存、会员积分等）分析业务规则 （2）设计并创建相关表结构与约束 （3）使用 PL/SQL 编写存储过程、函数、触发器，实现完整业务流程 （4）结合游标与异常处理，完成批量任务脚本 （5）输出「数据库逻辑模块 + 说明文档」，形成阶段性项目成果 |
第三阶段: Linux 运维与大数据工程环境
| 课程内容 | 课程大纲 |
|---|---|
| Linux 基础与环境认知 |
（1）Linux 系统在大数据平台中的角色与优势 （2）常见 Linux 发行版与服务器常用部署方式 （3）命令行环境与图形界面的区别，远程登录工具简介（XShell 等） |
| 文件系统与常用命令 |
（1）Linux 目录结构与常见系统目录含义 （2）文件与目录的查看、新建、复制、移动、删除等常用操作命令 （3）查看文件内容（cat、more、less、head、tail 等） （4）查找与定位文件（find、grep 等） |
| 用户、权限与基础运维 |
（1）用户与用户组的基本概念 （2）文件权限位（rwx）含义与 chmod/chown 等权限管理 （3）常见进程查看与简单控制（ps、top、kill 等） （4）磁盘空间、系统资源的基础查看命令 |
| Shell 脚本入门与开发实践 |
（1）Shell 脚本的基本结构与执行方式 （2）变量、简单判断与循环语句的编写 （3）将常用的一组命令封装为脚本，提高日常操作效率 （4）结合后续大数据学习场景，编写用于日志清理、目录初始化等的小脚本示例 |
第四阶段: Hadoop 生态与分布式数据平台
| 课程内容 | 课程大纲 |
|---|---|
| Hadoop 大数据生态概览 |
（1）Hadoop 在大数据体系中的定位与发展背景 （2）Hadoop 三大核心组件：HDFS、Yarn、MapReduce （3）Hadoop 与传统单机处理方式的对比与优势 （4）典型企业级大数据平台架构示意与组件说明 |
| 分布式文件系统 HDFS |
（1）HDFS 的基本概念：块（Block）、副本（Replica）、NameNode、DataNode 等 （2）数据写入与读取流程，理解“数据切分 + 多副本”的安全机制 （3）HDFS 常用命令：上传、下载、浏览、删除、权限管理等 （4）HDFS 适合与不适合存储的数据类型与业务场景 |
| Yarn 资源管理与作业调度 |
（1）Yarn 的角色与整体架构：ResourceManager、NodeManager 等 （2）应用程序在 Yarn 上的运行流程 （3）队列与资源分配的基本概念 （4）常见作业状态查看与简单问题排查思路 |
| MapReduce 计算模型认知 |
（1）MapReduce 的编程模型：Map 阶段与 Reduce 阶段的职责 （2）Shuffle 过程的意义与基本机制 （3）理解“大任务拆小、分而治之”的分布式计算思想 （4）典型统计类任务在 MapReduce 框架下的执行过程示例 |
| Hadoop 集群使用与实践 |
（1）从客户端提交任务到集群执行的完整流程认知 （2）结合日志/业务数据，完成简单的离线统计作业演示 （3）HDFS + Yarn + MapReduce 的协同工作方式梳理 （4）为后续 Hive、Spark 等组件在 Hadoop 之上的运行做好知识铺垫 |
第五阶段: Hive 数仓建模与离线分析实战
| 课程内容 | 课程大纲 |
|---|---|
| Hive 基础与数仓概念认知 |
（1）Hive 在 Hadoop 生态中的角色，与传统数据库的区别和联系 （2）Hive 架构：Driver、Metastore、执行引擎等核心组件 （3）数据仓库与事务型数据库的区别，OLTP vs OLAP （4）数仓分层理念：ODS、DWD、DWS、ADS 等基本概念 |
| Hive 表设计与数据导入 |
（1）Hive 常用数据类型与行格式、存储格式（TextFile、ORC、Parquet 等） （2）内部表、外部表、分区表、分桶表等表类型与适用场景 （3）建表（CREATE TABLE）与表结构变更（ALTER TABLE）语法 （4）从本地文件、HDFS、其他系统导入数据的多种方式 （5）结合业务案例，完成分区策略与表结构设计 |
| Hive SQL 查询与多维分析 |
（1）HiveQL 基础查询语法与函数使用 （2）GROUP BY 分组统计、多维聚合与过滤（HAVING） （3）多表 Join：等值连接、左/右/全连接、半连接与反连接等 （4）窗口函数在 Hive 中的使用场景（如涉及：排名、环比、同比等） （5）典型离线分析场景：用户行为分析、订单分析、渠道效果分析等 |
| 分区、分桶与性能优化 |
（1）分区表在大数据场景中的优势与合理设计方法 （2）静态分区与动态分区的差异与使用方法 （3）分桶表的概念及在抽样、Join 优化等场景中的应用 （4）合理使用 WHERE 条件、分区裁剪、列裁剪等优化查询 （5）常见 Hive 作业性能问题分析思路和排查方向 |
| Hive 数仓建模与主题分析实战 |
（1）选择一个典型业务主题（如电商订单、运营指标、日志分析等）进行需求拆解 （2）根据业务需求设计数仓分层表结构与字段说明 （3）基于 Hive 编写完整的 ETL 脚本：数据清洗、维度建模、宽表构建等 （4）产出主题分析的结果表，配合 SQL 统计核心业务指标 （5）输出「Hive 数仓建模方案 + 主题分析 SQL」，形成可对外展示的项目成果 |
第六阶段: 数据集成 ETL 与 BI 可视化决策
| 课程内容 | 课程大纲 |
|---|---|
| ETL 与数据集成基础认知 |
（1）ETL 概念：抽取 Extract、转换 Transform、加载 Load 的完整流程 （2）源系统、ODS、数仓、中间层、报表层之间的关系 （3）典型数据集成架构：从业务库到数仓、从数仓到分析系统 （4）全量同步、增量同步、定时同步的基础概念与适用场景 |
| Kettle 图形化 ETL 实战 |
（1）Kettle 工具介绍与环境安装 （2）常用组件与图形化操作界面讲解（转换、作业、步骤、 hops 等） （3）多种数据源配置：关系型数据库、文本文件、Excel、CSV 等 （4）数据抽取、清洗、转换、聚合、加载的流程设计 （5）利用 Kettle 将业务数据库数据导入到数仓或 Hive/HDFS |
| Sqoop 数据同步与迁移 |
（1）Sqoop 工具的定位与常见使用场景 （2）从关系型数据库导入数据到 HDFS/Hive/HBase 的基础命令 （3）从 HDFS/Hive 导出数据到关系型数据库的操作流程 （4）全量导入与增量导入（基于时间戳 / 自增ID）策略设计 （5）Kettle + Sqoop 配合使用，实现多源数据集成与同步 |
| FineReport 报表平台基础 |
（1）FineReport 的特点与在企业中的定位 （2）搭建 FineReport 环境，完成与数据库/数据仓库的连接配置 （3）数据集 DataSet 的创建与参数设置 （4）报表模板的基本结构与常用控件介绍 |
| 报表设计与数据可视化实践 |
（1）常规明细报表、汇总报表的设计与制作 （2）图表组件：折线图、柱状图、饼图、仪表盘等的配置与美化 （3）多维交互分析报表：下钻、联动、筛选等交互设计 （4）报表发布、权限控制与多终端（PC/移动端）展示 （5）结合数仓输出表，完成运营/销售/管理驾驶舱等典型业务报表 |
| 综合实战：从数据仓库到决策报表 |
（1）基于前期搭建的 Hive 数仓/主题数据，梳理业务方数据需求 （2）使用 Kettle / Sqoop 搭建数据抽取与加载流程，形成稳定 ETL 作业 （3）在 FineReport 中设计一套可交付的业务报表或数据看板 （4）输出《数据集成方案 + 报表说明文档》，形成可对外展示的成果 |
第七阶段: 大数据综合项目实战与就业加速营
| 课程内容 | 课程大纲 |
|---|---|
| 项目需求分析与方案设计 |
（1）讲解典型企业大数据项目背景（如电商运营、用户行为分析、风控监控等） （2）梳理业务目标、数据来源、指标口径与约束条件 （3）输出《需求文档》《数据口径定义》《技术方案草案》 （4）划分项目角色与任务（数据采集、数仓建模、ETL、报表等），模拟企业项目分工 |
| 项目打磨与结项汇报 |
（1）梳理项目背景、目标、技术架构与实现过程 （2）规范整理项目文档：架构图、流程图、表结构说明、指标口径说明等 （3）进行项目路演演练：讲清“问题-方案-结果-价值”四要素 （4）老师与同学评审反馈，针对性优化技术点与表达方式 |
| 就业指导与简历项目包装 |
（1） 大数据工程师 / 数据分析师 / 数仓工程师等岗位 JD 拆解 （2） 根据个人背景与课程经历，制定差异化求职定位与路线 （3） 简历结构优化：经历排序、要点提炼、量化成果与项目亮点表达 （4） 将综合项目写入简历： 从“课程作业”升级为“可对 HR / 技术面讲清的项目” |
| 面试专项训练与就业测试 |
（1）大数据岗位高频面试题梳理：SQL、数据库、Hive、ETL、报表相关知识点 （2）模拟 HR 面试：职业规划、离职原因、项目角色与团队协作等 （3）模拟技术面试：现场写 SQL / 设计表结构 / 讲解项目架构等实战演练 （4）阶段性就业测试：笔试 + 面试综合测评，定位当前水平与改进方向 |