ELK是目前行業(yè)中非常熱門(mén)的一個(gè)技術(shù)，它可以用于電商網(wǎng)站、門(mén)戶網(wǎng)站、企業(yè)IT系統(tǒng)等各種場(chǎng)景下，也可以用于對(duì)海量的數(shù)據(jù)進(jìn)行近實(shí)時(shí)的數(shù)據(jù)分析。
ELK呢，就是給運(yùn)維提供輔助的一個(gè)應(yīng)用套件。運(yùn)維工作就是對(duì)各種業(yè)務(wù)系統(tǒng)進(jìn)行監(jiān)控，發(fā)現(xiàn)問(wèn)題，能夠及時(shí)告警，然后能夠迅速查到問(wèn)題，進(jìn)而解決問(wèn)題，這是運(yùn)維工作的核心。而如果運(yùn)維管理的服務(wù)器和業(yè)務(wù)系統(tǒng)非常多的情況下，可能無(wú)法及時(shí)、準(zhǔn)確的了解每個(gè)業(yè)務(wù)系統(tǒng)和服務(wù)器的狀態(tài)，如果發(fā)現(xiàn)業(yè)務(wù)系統(tǒng)有問(wèn)題，那就需要登錄業(yè)務(wù)系統(tǒng)服務(wù)器去查問(wèn)題，但是如果服務(wù)器很多呢，有幾百臺(tái)、甚至更多情況下，不可能一個(gè)一個(gè)系統(tǒng)登錄查看吧。
怎么解決這種問(wèn)題呢，ELK這個(gè)套件工具，就可以解決這個(gè)問(wèn)題，ELK是集中對(duì)日志進(jìn)行收集、過(guò)濾、分析、可視化展示的工具。
通過(guò)ELK，將運(yùn)維所有的服務(wù)器日志，業(yè)務(wù)系統(tǒng)日志都收集到一個(gè)平臺(tái)下，然后提取想要的內(nèi)容，比如錯(cuò)誤信息，警告信息等，當(dāng)過(guò)濾到這種信息，就馬上告警，告警后，運(yùn)維人員就能馬上定位是哪臺(tái)機(jī)器、哪個(gè)業(yè)務(wù)系統(tǒng)出現(xiàn)了問(wèn)題，出現(xiàn)了什么問(wèn)題，都會(huì)在ELK平臺(tái)有詳細(xì)的描述。
課程大綱：
1、ELK企業(yè)常見(jiàn)應(yīng)用架構(gòu)分享以及工作流程
2、zookeeper基礎(chǔ)入門(mén)與集群架構(gòu)模式
3、kafka基礎(chǔ)入門(mén)以及Topic與Partition
4、kafka的消息發(fā)送、消費(fèi)與存儲(chǔ)機(jī)制詳解
5、filebeat基礎(chǔ)入門(mén)以及ELK常見(jiàn)企業(yè)應(yīng)用架構(gòu)
6、ELK+Filebeat+Kafka構(gòu)建大數(shù)據(jù)日志分
7、elasticsearch集群架構(gòu)以及JDK環(huán)境變量
8、elasticsearch集群構(gòu)建并進(jìn)行系統(tǒng)JVM調(diào)
9、elasticsearch集群配置以及常用參數(shù)介紹
10、【案例實(shí)戰(zhàn)】安裝與配置zookeeper集群過(guò)程1
11、【案例實(shí)戰(zhàn)】安裝與配置zookeeper集群過(guò)程2
12、安裝與配置kafka集群的方法與注意事項(xiàng)
13、【案例實(shí)戰(zhàn)】安裝并配置kafka集群的全過(guò)程
14、kafka集群命令講解創(chuàng)建topic 生產(chǎn)消息與消費(fèi)
15、【案例實(shí)戰(zhàn)】安裝并配置filebeat及配置項(xiàng)介紹
16、啟動(dòng)filebeat并驗(yàn)證日志輸出和日志格式說(shuō)明
17、filebeat日志輸出格式介紹和字段刪減方法
18、logstash深入input filteroutp
19、logstash入門(mén)介紹以及日志輸出格式解析1
20、logstash入門(mén)介紹以及日志輸出格式解析2
21、logstash編寫(xiě)事件配置文件并從kafka消費(fèi)數(shù)
22、安裝配置Kibana以及使用Kibana可視化數(shù)據(jù)
23、【總結(jié)】ELK架構(gòu)調(diào)試并驗(yàn)證ELK日志數(shù)據(jù)流向
24、logstash語(yǔ)法應(yīng)用以及input插件功能講解1
25、logstash語(yǔ)法應(yīng)用以及input插件功能講解2
26、Logstash編碼插件(Codec)功能講解與應(yīng)用
27、Logstash過(guò)濾器插件(Filter)Grok應(yīng)
28、logstash的filter插件對(duì)字段的分割、轉(zhuǎn)換
29、logstash 的filter插件mutate g
30、【實(shí)戰(zhàn)】logstash的filter插件線上綜合應(yīng)
31、【實(shí)戰(zhàn)】logstash輸出插件output應(yīng)用實(shí)例
32、【實(shí)戰(zhàn)案例】ELK收集apache訪問(wèn)日志實(shí)戰(zhàn)案例
33、自定義apache訪問(wèn)日志輸出格式并驗(yàn)證講解
34、配置filebeat收集apache訪問(wèn)日志文件操作
35、編寫(xiě)logstash事件配置文件消費(fèi)apache日志
36、編寫(xiě)logstash事件配置文件消費(fèi)apache日志
37、編寫(xiě)logstash事件配置文件消費(fèi)apache日志
38、【實(shí)戰(zhàn)案例】ELK收集nginx訪問(wèn)日志實(shí)戰(zhàn)案例
39、編寫(xiě)logstash事件配置文件消費(fèi)nginx日志數(shù)
合作伙伴與授權(quán)機(jī)構(gòu)
總部李老師
