免费一看一级欧美-免费一区二区三区免费视频-免费伊人-免费影片-99精品网-99精品小视频

       1、培訓過程中，如有部分內(nèi)容理解不透或消化不好，可免費在以后培訓班中重聽；
       2、培訓結束后,授課老師留給學員聯(lián)系方式,保障培訓效果,免費提供課后技術支持。
       3、培訓合格學員可享受免費推薦就業(yè)機會?！詈细駥W員免費頒發(fā)相關工程師等資格證書，提升職業(yè)資質(zhì)。專注高端技術培訓15年，端海學員的能力得到大家的認同，受到用人單位的廣泛贊譽，端海的證書受到廣泛認可。

• 第1章 課程介紹
  課程介紹
• 1-1 PySpark導學 試看
  1-2 OOTB環(huán)境演示
  第2章 實戰(zhàn)環(huán)境搭建
  工欲善其事必先利其器，本章講述JDK、Scala、Hadoop、Maven、Python3以及Spark源碼編譯及部署
• 2-1 -課程目錄
  2-2 -Java環(huán)境搭建
  2-3 -Scala環(huán)境搭建
  2-4 -Hadoop環(huán)境搭建
  2-5 -Maven環(huán)境搭建
  2-6 -Python3環(huán)境部署
  2-7 -Spark源碼編譯及部署
  第3章 Spark Core核心RDD
  本章詳細講解RDD是什么以及特性(面試?？?、Spark中兩個核心類SparkContext和SparkConf、pyspark啟動腳本分析、RDD的創(chuàng)建方式以及如何使用IDE開發(fā)Python Spark應用程序并提交到服務器上運行
• 3-1 -課程目錄
  3-2 -RDD是什么
  3-3 -通過電影描述集群的強大之處
  3-4 -RDD的五大特性
  3-5 -RDD特性在源碼中的體現(xiàn) 試看
  3-6 -圖解RDD
  3-7 -SparkContext&SparkConf詳解
  3-8 -pyspark
  3-9 -RDD創(chuàng)建方式一
  3-10 -RDD創(chuàng)建方式二
  3-11 -使用IDE開發(fā)pyspark應用程序
  3-12 -提交pyspark作業(yè)到服務器上運行
  第4章 Spark Core RDD編程
  本章將針對RDD中常用的算子進行詳細案例講解，并進行綜合案例實戰(zhàn)
• 4-1 -課程目錄
  4-2 -RDD常用操作
  4-3 -map算子使用詳解
  4-4 -filter算子詳解
  4-5 -flatMap算子詳解
  4-6 -groupByKey算子詳解
  4-7 -reduceByKey算子詳解
  4-8 -sortByKey算子詳解
  4-9 -union算子使用詳解
  4-10 -distinct算子使用詳解
  4-11 -join算子詳解
  4-12 -action常用算子詳解
  4-13 -算子綜合案例實戰(zhàn)一詞頻統(tǒng)計
  4-14 -算子綜合案例實戰(zhàn)之詞頻統(tǒng)計重構
  4-15 -算子綜合案例實戰(zhàn)之TopN統(tǒng)計
  4-16 -算子綜合案例實戰(zhàn)之平均數(shù)統(tǒng)計
  第5章 Spark運行模式
  本章將介紹Spark的幾種運行模式，需要重點掌握on YARN模式
• 5-1 -課程目錄
  5-2 -local模式運行
  5-3 -standalone模式環(huán)境搭建及pyspark運行
  5-4 -standalone模式spark-submit運行
  5-5 -yarn運行模式詳解
  第6章 Spark Core進階
  本章將介紹Spark中的核心術語、運行架構、并對比Spark和MapReduce的概念區(qū)分、存儲策略及選擇方式、寬窄依賴及Shuffle
• 6-1 -課程目錄
  6-2 -Spark核心概念詳解
  6-3 -結合Spark UI詳解Spark核心概念 試看
  6-4 -Spark運行架構及注意事項
  6-5 -Spark和Hadoop重要概念區(qū)分
  6-6 -Spark緩存的作用
  6-7 -Spark緩存概述
  6-8 -Spark緩存策略詳解
  6-9 -Spark緩存策略選擇依據(jù)
  6-10 -Spark Lineage機制
  6-11 -Spark窄依賴和寬依賴
  6-12 -Spark Shuffle概述
  6-13 -圖解RDD的shuffle以及依賴關系
  第7章 Spark Core調(diào)優(yōu)
  本章將從Spark作業(yè)性能指標、序列化、內(nèi)存管理、廣播變量及數(shù)據(jù)本地化這幾個方面來介紹Spark作業(yè)的調(diào)優(yōu)
• 7-1 -課程目錄
  7-2 -優(yōu)化之HistoryServer配置及使用
  7-3 -優(yōu)化之序列化
  7-4 -優(yōu)化之內(nèi)存管理
  7-5 -優(yōu)化之廣播變量
  7-6 -優(yōu)化之數(shù)據(jù)本地性
  第8章 Spark SQL
  本章將講解Spark SQL的架構、DataFrame&Dataset、以及如何使用Python API來對DataFrame進行編程
• 8-1 -課程目錄
  8-2 -Spark SQL前世今生
  8-3 -Spark SQL概述&錯誤認識糾正
  8-4 -Spark SQL架構
  8-5 -DataFrame&Dataset詳解
  8-6 -DataFrame API編程
  8-7 -RDD與DataFrame互操作方法一
  8-8 -RDD與DataFrame互操作方法二
  8-9 -Spark SQL其他
  第9章 Spark Streaming
  本章將講解Spark Streaming的核心概念、執(zhí)行原理、以及如何Python API來對Spark Streaming進行編程
• 9-1 -課程目錄
  9-2 -Spark Streaming概述
  9-3 -實時流處理框架對比
  9-4 -Spark Streaming執(zhí)行原理
  9-5 -從詞頻統(tǒng)計案例來了解SparkStreaming
  9-6 -核心概念之StreamingContext
  9-7 -核心概念之DStream及常用操作
  9-8 -SparkStreaming操作文件系統(tǒng)數(shù)據(jù)實戰(zhàn)
  第10章 Azkaban基礎篇
  本章將講解Azkaban的特性、架構、運行模式、源碼編譯及部署、快速入門
• 10-1 Azkaban基礎篇課程目錄
  10-2 -工作流概述
  10-3 -工作流在大數(shù)據(jù)處理中的重要性
  10-4 -常用調(diào)度框架介紹
  10-5 -Azkaban概述及特性
  10-6 -Azkaban架構
  10-7 -Azkaban運行模式詳解
  10-8 -Azkaban源碼編譯
  10-9 -Azkaban solo server環(huán)境部署
  10-10 -Azkaban快速入門案例
  第11章 Azkaban實戰(zhàn)篇
  本章將講解如何使用Azkaban來完成HDFS、MapReduce、Hive作業(yè)的調(diào)度、定時作業(yè)調(diào)度以及郵件告警
• 11-1 -Azkaban實戰(zhàn)篇課程目錄
  11-2 -依賴作業(yè)在Azkaban中的使用
  11-3 -HDFS作業(yè)在Azkaban中的使用
  11-4 -MapReduce作業(yè)在Azkaban中的使用
  11-5 -Hive作業(yè)在Azkaban中的使用
  11-6 -定時調(diào)度作業(yè)在Azkaban中的使用
  11-7 -郵件告警及SLA在Azkaban中的使用
  第12章 Azkaban進階篇
  本章將講解Azkaban在生產(chǎn)上的部署、權限管理、Ajax API、Plugin、以及短信和調(diào)度框架的二次開發(fā)
• 12-1 -Azkaban進階篇課程目錄
  12-2 -Two Server Mode之數(shù)據(jù)庫準備工作
  12-3 -Two Server Mode之AzkabanWebServer搭建
  12-4 -Two Server Mode之AzkabanExecServer搭建
  12-5 -Two Server Mode之使用實戰(zhàn)
  12-6 -Azkaban權限管理
  12-7 -Azkaban中AJAX API使用
  12-8 -Azkaban Plugin的使用
  12-9 -Azkaban中短信告警改造思路
  12-10 Azbakan在生產(chǎn)上使用的改造思路
  第13章 項目實戰(zhàn)
  本章將講解在構建大數(shù)據(jù)平臺的技術選型、集群升級資源評估，并使用Spark對氣象數(shù)據(jù)進行分析，講分析結果寫入ES，并通過Kibana進行統(tǒng)計結果的可視化展示
• 13-1 -課程目錄
  13-2 -大數(shù)據(jù)項目開發(fā)流程
  13-3 -大數(shù)據(jù)企業(yè)級應用
  13-4 -企業(yè)級大數(shù)據(jù)分析平臺
  13-5 -集群數(shù)據(jù)量預估
  13-6 -集群機器規(guī)模&資源&作業(yè)規(guī)劃
  13-7 -項目需求
  13-8 -數(shù)據(jù)加載成DataFrame并選出需要的列
  13-9 -SparkSQL UDF函數(shù)開發(fā)
  13-10 -每年Grade出現(xiàn)的次數(shù)統(tǒng)計
  13-11 -Grade在每年中的占比統(tǒng)計
  13-12 -ES部署及使用
  13-13 -Kibana部署及使用
  13-14 -將作業(yè)運行到YARN上
  13-15 -統(tǒng)計分析結果寫入ES測試
  13-16 -統(tǒng)計分析結果入ES并通過Kibana圖形化展示