免费一看一级欧美-免费一区二区三区免费视频-免费伊人-免费影片-99精品网-99精品小视频

       1、培訓(xùn)過(guò)程中，如有部分內(nèi)容理解不透或消化不好，可免費(fèi)在以后培訓(xùn)班中重聽(tīng)；
       2、培訓(xùn)結(jié)束后,授課老師留給學(xué)員聯(lián)系方式,保障培訓(xùn)效果,免費(fèi)提供課后技術(shù)支持。
       3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會(huì)。☆合格學(xué)員免費(fèi)頒發(fā)相關(guān)工程師等資格證書(shū)，提升職業(yè)資質(zhì)。專注高端技術(shù)培訓(xùn)15年，端海學(xué)員的能力得到大家的認(rèn)同，受到用人單位的廣泛贊譽(yù)，端海的證書(shū)受到廣泛認(rèn)可。

• 培訓(xùn)特色
  Spark已經(jīng)被不少互聯(lián)網(wǎng)公司采用，大部分?jǐn)?shù)據(jù)挖掘算法和迭代式算法在逐步MapReduce平臺(tái)遷移到Spark平臺(tái)中，包括阿里巴巴（廣告系統(tǒng)），騰訊（廣點(diǎn)通精準(zhǔn)推薦），百度，優(yōu)酷土豆，360，支付寶等互聯(lián)網(wǎng)公司已經(jīng)在線上產(chǎn)品中使用spark，且取得了令人滿意的效果，另外，部分省份的運(yùn)營(yíng)商也正在嘗試使用spark解決數(shù)據(jù)挖掘和分析問(wèn)題，部分銀行，如工商銀行，也正在嘗試spark平臺(tái)。
• 目標(biāo)收益
  本課程將為大家全面而又深入的介紹Spark平臺(tái)的構(gòu)建流程，涉及Spark系統(tǒng)基礎(chǔ)知識(shí)，概念及架構(gòu)， Spark實(shí)戰(zhàn)技巧，Spark經(jīng)典案例等。
  通過(guò)本課程實(shí)踐，幫助學(xué)員對(duì)Spark生態(tài)系統(tǒng)有一個(gè)清晰明了的認(rèn)識(shí)；理解Spark系統(tǒng)適用的場(chǎng)景；掌握Spark等初中級(jí)應(yīng)用開(kāi)發(fā)技能；搭建穩(wěn)定可靠的Spark集群，滿足生產(chǎn)環(huán)境的標(biāo)準(zhǔn)；了解和清楚大數(shù)據(jù)應(yīng)用的幾個(gè)行業(yè)中的經(jīng)典案例，包括阿里巴巴，騰訊，百度等互聯(lián)網(wǎng)行業(yè)，中國(guó)移動(dòng)和聯(lián)通等運(yùn)營(yíng)商。
• 培訓(xùn)對(duì)象
• 各類 IT/軟件企業(yè)和研發(fā)機(jī)構(gòu)的軟件架構(gòu)師、軟件設(shè)計(jì)師、程序員。對(duì)于懷有設(shè)計(jì)疑問(wèn)和問(wèn)題，需要梳理解答的團(tuán)隊(duì)和個(gè)人，效果最佳。
• 學(xué)員基礎(chǔ)
• 1) 了解Java語(yǔ)言（Scala語(yǔ)言會(huì)作為課程內(nèi)容進(jìn)行介紹）；
  2) 了解Linux系統(tǒng)；
• 課程大綱
  
• 主題 內(nèi)容
  Spark大數(shù)據(jù)架構(gòu)概述及案例簡(jiǎn)介
• 1. 1介紹Spark大數(shù)據(jù)層級(jí)架構(gòu)及各層軟件設(shè)計(jì)要求，包括數(shù)據(jù)收集，大數(shù)據(jù)存儲(chǔ)，大數(shù)據(jù)計(jì)算框架，大數(shù)據(jù)應(yīng)用等
  1.2. Hadoop與Spark區(qū)別與關(guān)系
  1.3. Spark生態(tài)系統(tǒng)概述以及版本演化，并給出spark版本選擇建議
  1.4. Spark典型案例簡(jiǎn)介(簡(jiǎn)要介紹案例，具體在后面各節(jié)會(huì)詳細(xì)介紹)
  Spark商品推薦系統(tǒng)、用戶標(biāo)簽系統(tǒng)
• Spark產(chǎn)生動(dòng)機(jī)與基本概念
• 2.1 Spark產(chǎn)生背景，與MapReduce對(duì)比，其優(yōu)缺點(diǎn)是什么
  2.2 Spark核心概念
  （1）RDD
  （2）基本操作：transformation與 action
  2.2 Spark程序架構(gòu)
  （1）Driver/executor
  （2）容錯(cuò)機(jī)制
• Spark安裝部署
• 3.1 Spark運(yùn)行模式簡(jiǎn)介、standlone模式、Spark on yarn模式
  3.2 搭建一個(gè)spark on yarn集群、搭建yarn集群、運(yùn)行第一個(gè)spark程序
• Spark程序設(shè)計(jì)實(shí)例
• 4.1 Scala語(yǔ)言基礎(chǔ)，常用語(yǔ)法以及庫(kù)函數(shù)
  4.2 Spark程序設(shè)計(jì)方法
  1.Spark程序基本構(gòu)成,SparkContext，RDD，transformation/action
  2.Spark API介紹
  （1） 如何創(chuàng)建RDD（scala集合，HDFS文件，HBase文件等）
  （2）如何基于RDD進(jìn)行數(shù)據(jù)處理，介紹常見(jiàn)的分布式算子
  （3）如何保存處理結(jié)果（返回到driver端，寫(xiě)入hdfs等）
  （4）廣播變量與累加器
  4.3 Spark程序設(shè)計(jì)實(shí)例
  （1）分布式Pi估算程序
  （2）K-means分類算法實(shí)現(xiàn)
  （3）邏輯回歸算法實(shí)現(xiàn)
• Spark內(nèi)部原理
• 5.1 Spark程序運(yùn)行流程概述
  介紹Spark從提交，到調(diào)度，到最后執(zhí)行完成整個(gè)過(guò)程
  5.2 Spark內(nèi)部執(zhí)行流程
  介紹Spark程序內(nèi)部的邏輯查詢計(jì)劃，物理查詢計(jì)劃，調(diào)度等幾個(gè)環(huán)節(jié)
  5.3 Spark shuffle實(shí)現(xiàn)
  介紹Spark shuffle發(fā)展史及實(shí)現(xiàn)邏輯
  5.4 Spark算子的內(nèi)部機(jī)制
  以reduce By Key和group By Key為例介紹spark算子的內(nèi)部實(shí)現(xiàn)原理
• Spark與外部系統(tǒng)整合
• 6.1 Spark與Kafka和flume結(jié)合
  介紹如何使用kafka和flume將數(shù)據(jù)導(dǎo)入hadoop中，以便使用spark處理
  6.2 Spark與Storm結(jié)合
  介紹如何使用spark實(shí)時(shí)處理數(shù)據(jù)
  6.3 Spark與HBase和HDFS結(jié)合
  介紹Spark如何與HBase和HDFS實(shí)現(xiàn)數(shù)據(jù)的讀寫(xiě)交互
  6.4 Spark與關(guān)系型數(shù)據(jù)庫(kù)和hive結(jié)合
  介紹如何使用spark與關(guān)系型數(shù)據(jù)庫(kù)和hive結(jié)合
• Spark調(diào)優(yōu)方法
• Spark調(diào)優(yōu)思想、方法
• Spark案例分析
• 基于Spark的商品推薦系統(tǒng)，包括：項(xiàng)目背景、項(xiàng)目架構(gòu)、項(xiàng)目實(shí)施
• Spark Streaming應(yīng)用及案例分析
• 8.1 Spark Streaming產(chǎn)生動(dòng)機(jī)
  8.2 Spark Streaming程序設(shè)計(jì)
  （1）創(chuàng)建DStream
  （2）基于DStream進(jìn)行流式處理
  8.3 Spark Streaming容錯(cuò)與性能優(yōu)化
  （1）Spark Streaming容錯(cuò)機(jī)制
  （2）如何對(duì)spark Streaming進(jìn)行優(yōu)化
  8.4 Spark Streaming案例分析
  基于Spark Streaming的用戶標(biāo)簽系統(tǒng)，內(nèi)容包括項(xiàng)目背景，項(xiàng)目架構(gòu)以及實(shí)施方法
• Spark SQL
• 9.1 Spark SQL定位
  9.2 如何使用SparkSQL處理數(shù)據(jù)
  （1）使用SparkSQL處理HDFS上數(shù)據(jù)
  （2）使用SparkSQL處理Hive中的數(shù)據(jù)
  9.3 Spark SQL與Spark及Spark Streaming結(jié)合
• MLlib
• 10. 介紹Spark的數(shù)據(jù)挖掘庫(kù)MLlib，重點(diǎn)介紹其內(nèi)部的幾個(gè)分類算法，聚類算法和推薦算法，包括邏輯回歸，K-Means，協(xié)同過(guò)濾等
• GraphX
• 11. 介紹Spark內(nèi)部的圖計(jì)算框架GraphX，重點(diǎn)介紹它的基本原理及使用方法