班級(jí)規(guī)模及環(huán)境--熱線:4008699035 手機(jī):15921673576( 微信同號(hào)) |
每個(gè)班級(jí)的人數(shù)限3到5人,互動(dòng)授課, 保障效果,小班授課。 |
上間和地點(diǎn) |
上部份地點(diǎn):【上海】同濟(jì)大學(xué)(滬西)/新城金郡商務(wù)樓(11號(hào)線白銀路站)【深圳分部】:電影大廈(地鐵一號(hào)線大劇院站)/深圳大學(xué)成教院【北京分部】:北京中山學(xué)院/福鑫大樓【南京分部】:金港大廈(和燕路)【武漢分部】:佳源大廈(高新二路)【成都分部】:領(lǐng)館區(qū)1號(hào)(中和大道)【沈陽(yáng)分部】:沈陽(yáng)理工大學(xué)/六宅臻品【鄭州分部】:鄭州大學(xué)/錦華大廈【石家莊分部】:河北科技大學(xué)/瑞景大廈 最近開(kāi)間(周末班/連續(xù)班/晚班):2019年1月26日 |
實(shí)驗(yàn)設(shè)備 |
◆小班教學(xué),教學(xué)效果好 ☆注重質(zhì)量☆邊講邊練 ☆合格學(xué)員免費(fèi)推薦工作 ★實(shí)驗(yàn)設(shè)備請(qǐng)點(diǎn)擊這兒查看★ |
質(zhì)量保障 |
1、培訓(xùn)過(guò)程中,如有部分內(nèi)容理解不透或消化不好,可免費(fèi)在以后培訓(xùn)班中重聽(tīng); 2、培訓(xùn)結(jié)束后,授課老師留給學(xué)員聯(lián)系方式,保障培訓(xùn)效果,免費(fèi)提供課后技術(shù)支持。 3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會(huì)。☆合格學(xué)員免費(fèi)頒發(fā)相關(guān)工程師等資格證書(shū),提升職業(yè)資質(zhì)。專(zhuān)注高端技術(shù)培訓(xùn)15年,端海學(xué)員的能力得到大家的認(rèn)同,受到用人單位的廣泛贊譽(yù),端海的證書(shū)受到廣泛認(rèn)可。 |
部份程大綱 |
|
- 第1章 初探大數(shù)據(jù)
本章將介紹為什么要學(xué)習(xí)大數(shù)據(jù)、如何學(xué)好大數(shù)據(jù)、如何快速轉(zhuǎn)型大數(shù)據(jù)崗位、本項(xiàng)目實(shí)戰(zhàn)課程的內(nèi)容安排、本項(xiàng)目實(shí)戰(zhàn)課程的前置內(nèi)容介紹、開(kāi)發(fā)環(huán)境介紹。同時(shí)為大家介紹項(xiàng)目中涉及的Hadoop、Hive相關(guān)的知識(shí)
- 1-1 導(dǎo)學(xué)
1-2 -如何學(xué)好大數(shù)據(jù)
1-3 -開(kāi)發(fā)環(huán)境介紹
1-4 -OOTB鏡像文件使用介紹
1-5 -大數(shù)據(jù)概述
1-6 -Hadoop概述
1-7 -HDFS概述及設(shè)計(jì)目標(biāo)
1-8 -HDFS架構(gòu)
1-9 -HDFS副本機(jī)制
1-10 -Hadoop下載及JDK安裝
1-11 -機(jī)器參數(shù)設(shè)置
1-12 -HDFS核心配置文件內(nèi)容配置
1-13 -HDFS格式化及啟停
1-14 -HDFS shell常用操作
1-15 -HDFS優(yōu)缺點(diǎn)
1-16 -MapReduce概述
1-17 -MapReduce編程模型及WordCount案例
1-18 -YARN產(chǎn)生背景
1-19 -YARN架構(gòu)和執(zhí)行流程
1-20 -YARN環(huán)境搭建及提交作業(yè)到Y(jié)ARN上運(yùn)行
1-21 -Hive產(chǎn)生背景及Hive是什么
1-22 -為什么要使用Hive及Hive發(fā)展歷程
1-23 -Hive體系架構(gòu)及部署架構(gòu)
1-24 -Hive環(huán)境搭建
1-25 -Hive基本使用
第2章 Spark及其生態(tài)圈概述
Spark作為近幾年最火爆的大數(shù)據(jù)處理技術(shù),是成為大數(shù)據(jù)工程師必備的技能之一。本章將從如下幾個(gè)方面對(duì)Spark進(jìn)行一個(gè)宏觀上的介紹:Spark產(chǎn)生背景、特點(diǎn)、發(fā)展史、Databricks官方調(diào)查結(jié)果、Spark與Hadoop的對(duì)比、Spark開(kāi)發(fā)語(yǔ)言及運(yùn)行模式介紹 ...
- 2-1 -課程目錄
2-2 -Spark概述及特點(diǎn)
2-3 -Spark產(chǎn)生背景
2-4 -Spark發(fā)展歷史
2-5 -Spark Survey
2-6 -Spark對(duì)比Hadoop
2-7 -Spark和Hadoop的協(xié)作性
第3章 實(shí)戰(zhàn)環(huán)境搭建
工欲善其事必先利其器,本章講述Spark源碼編譯、Spark Local模式運(yùn)行、Spark Standalone模式運(yùn)行
- 3-1 -課程目錄
3-2 -Spark源碼編譯
3-3 補(bǔ)錄:Spark源碼編譯中的坑
3-4 Spark Local模式環(huán)境搭建
3-5 Spark Standalone模式環(huán)境搭建
3-6 Spark簡(jiǎn)單使用
第4章 Spark SQL概述
Spark SQL面世已來(lái),它不僅接過(guò)了Shark的接力棒,繼續(xù)為Spark用戶提供高性能SQL on Hadoop解決方案,還為Spark帶來(lái)了通用、高效、多元一體的結(jié)構(gòu)化數(shù)據(jù)處理能力。本章將從Spark SQL前世今生、SQL on Hadoop框架、Spark SQL概述、愿景、架構(gòu),這幾個(gè)角度進(jìn)行展開(kāi)講解...
- 4-1 課程目錄
4-2 -Spark SQL前世今生
4-3 -SQL on Hadoop常用框架介紹
4-4 -Spark SQL概述
4-5 -Spark SQL愿景
4-6 -Spark SQL架構(gòu)
第5章 從Hive平滑過(guò)渡到Spark SQL
Hive是SQL-on-Hadoop的解決方案和默認(rèn)的標(biāo)準(zhǔn),如何將數(shù)據(jù)處理從Hive過(guò)渡到Spark SQL上來(lái)是我們必須要掌握的。本章我們將講解在Spark中操作Hive中的數(shù)據(jù)幾種方式
- 5-1 -課程目錄
5-2 -A SQLContext的使用
5-3 -B HiveContext的使用
5-4 -C SparkSession的使用
5-5 spark-shell&spark-sql的使用
5-6 -thriftserver&beeline的使用
5-7 -jdbc方式編程訪問(wèn)
第6章 DateFrame&Dataset
DataFrame&Dataset是Spark2.x中最核心的編程對(duì)象,Spark2.x中的子框架能夠使用DataFrame或Dataset來(lái)進(jìn)行數(shù)據(jù)的交互操作。本章將從DataFrame的產(chǎn)生背景、DataFrame對(duì)比RDD、DataFrame API操作等方面對(duì)DataFrame做詳細(xì)的編程開(kāi)發(fā)講解
- 6-1 -課程目錄
6-2 -DataFrame產(chǎn)生背景
6-3 -DataFrame概述
6-4 -DataFrame和RDD的對(duì)比
6-5 -DataFrame基本API操作
6-6 -DataFrame與RDD互操作方式一
6-7 -DataFrame與RDD互操作方式二
6-8 -DataFrame API操作案例實(shí)戰(zhàn)
6-9 -Dataset概述及使用
第7章 External Data Source
Spark SQL中的核心功能,可以使用外部數(shù)據(jù)源非常方便的對(duì)存儲(chǔ)在不同系統(tǒng)上的不同格式的數(shù)據(jù)進(jìn)行操作。本章將講解如何使用外部數(shù)據(jù)源來(lái)操作Hive、Parquet、MySQL中的數(shù)據(jù)以及綜合使用
- 7-1 -課程目錄
7-2 -產(chǎn)生背景
7-3 -概述
7-4 -目標(biāo)
7-5 -操作Parquet文件數(shù)據(jù)
7-6 -操作Hive表數(shù)據(jù)
7-7 -操作MySQL表數(shù)據(jù)
7-8 -Hive和MySQL綜合使用
第8章 SparkSQL愿景
本章將講解Spark的愿景:寫(xiě)更少的代碼、讀更少的數(shù)據(jù)、讓優(yōu)化器自動(dòng)優(yōu)化程序
- 8-1 -A SparkSQL愿景之一寫(xiě)更少的代碼(代碼量和可讀性)
8-2 -B SparkSQL愿景之一寫(xiě)更少的代碼(統(tǒng)一訪問(wèn)操作接口)
8-3 -C SparkSQL愿景之一寫(xiě)更少的代碼(強(qiáng)有力的API支持)
8-4 -D SparkSQL愿景之一些更少的代碼(Schema推導(dǎo))
8-5 -E SparkSQL愿景之一寫(xiě)更少的代碼(Schema Merge)
8-6 -F SparkSQL愿景之一寫(xiě)更少的代碼(Partition Discovery)
8-7 -G SparkSQL愿景之一寫(xiě)更少的代碼(執(zhí)行速度更快)
8-8 -SparkSQL愿景之二讀取更少的數(shù)據(jù)
8-9 -SparkSQL愿景之三讓查詢優(yōu)化器幫助我們優(yōu)化執(zhí)行效率
8-10 -SparkSQL愿景總結(jié)
第9章 慕課網(wǎng)日志實(shí)戰(zhàn)
本章使用Spark SQL對(duì)慕課網(wǎng)主站的訪問(wèn)日志進(jìn)行各個(gè)維度的統(tǒng)計(jì)分析操作,涉及到的過(guò)程有:數(shù)據(jù)清洗、數(shù)據(jù)統(tǒng)計(jì)、統(tǒng)計(jì)結(jié)果入庫(kù)、數(shù)據(jù)的可視化、調(diào)優(yōu)及Spark on YARN。通過(guò)本實(shí)戰(zhàn)項(xiàng)目將Spark SQL中的知識(shí)點(diǎn)融會(huì)貫通,達(dá)到舉一反三的效果 ...
- 9-1 -課程目錄
9-2 -用戶行為日志概述
9-3 -離線數(shù)據(jù)處理架構(gòu)
9-4 -項(xiàng)目需求
9-5 imooc網(wǎng)主站日志內(nèi)容構(gòu)成
9-6 數(shù)據(jù)清洗之第一步原始日志解析
9-7 -數(shù)據(jù)清洗之二次清洗概述
9-8 -數(shù)據(jù)清洗之日志解析
9-9 -數(shù)據(jù)清洗之ip地址解析
9-10 -數(shù)據(jù)清洗存儲(chǔ)到目標(biāo)地址
9-11 -需求一統(tǒng)計(jì)功能實(shí)現(xiàn)
9-12 -Scala操作MySQL工具類(lèi)開(kāi)發(fā)
9-13 -需求一統(tǒng)計(jì)結(jié)果寫(xiě)入到MySQL
9-14 -需求二統(tǒng)計(jì)功能實(shí)現(xiàn)
9-15 -需求二統(tǒng)計(jì)結(jié)果寫(xiě)入到MySQL
9-16 -需求三統(tǒng)計(jì)功能實(shí)現(xiàn)
9-17 -需求三統(tǒng)計(jì)結(jié)果寫(xiě)入到MySQL
9-18 -代碼重構(gòu)之刪除指定日期已有的數(shù)據(jù)
9-19 -功能實(shí)現(xiàn)之?dāng)?shù)據(jù)可視化展示概述
9-20 -ECharts餅圖靜態(tài)數(shù)據(jù)展示
9-21 -ECharts餅圖動(dòng)態(tài)展示之一查詢MySQL中的數(shù)據(jù)
9-22 -ECharts餅圖動(dòng)態(tài)展示之二前端開(kāi)發(fā)
9-23 -使用Zeppelin進(jìn)行統(tǒng)計(jì)結(jié)果的展示
9-24 -Spark on YARN基礎(chǔ)
9-25 -數(shù)據(jù)清洗作業(yè)運(yùn)行到Y(jié)ARN上
9-26 -統(tǒng)計(jì)作業(yè)運(yùn)行在YARN上
9-27 -性能優(yōu)化之存儲(chǔ)格式的選擇
9-28 -性能調(diào)優(yōu)之壓縮格式的選擇
9-29 -性能優(yōu)化之代碼優(yōu)化
9-30 -性能調(diào)優(yōu)之參數(shù)優(yōu)化
第10章 Spark SQL擴(kuò)展和總結(jié)
本章將列舉Spark SQL在工作中經(jīng)常用到的方方方面的總結(jié)
- 10-1 -課程目錄
10-2 -Spark SQL使用場(chǎng)景
10-3 -Spark SQL加載數(shù)據(jù)
10-4 -DataFrame與SQL的對(duì)比
10-5 -Schema
10-6 -SaveMode
10-7 -處理復(fù)雜的JSON數(shù)據(jù)
10-8 -SQL的覆蓋程度
10-9 -外部數(shù)據(jù)源
|