elk日志分析系統(tǒng)

1、ELK日志分析系統(tǒng)日志分析系統(tǒng)1、ELK日志分析系統(tǒng)介紹日志分析系統(tǒng)介紹1.1傳統(tǒng)的日志統(tǒng)計(jì)及分析方式傳統(tǒng)的日志統(tǒng)計(jì)及分析方式日志主要包括系統(tǒng)日志、應(yīng)用程序日志和安全日志。系統(tǒng)運(yùn)維和開(kāi)發(fā)人員可以通過(guò)日志了解服務(wù)器軟硬件信息、檢查配置過(guò)程中的錯(cuò)誤及錯(cuò)誤發(fā)生的原因。經(jīng)常分析日志可以了解服務(wù)器的負(fù)荷，性能安全性，從而及時(shí)采取措施糾正錯(cuò)誤。通常，日志被分散的儲(chǔ)存不同的設(shè)備上。如果你管理數(shù)十上百臺(tái)服務(wù)器，你還在使用依次登錄每臺(tái)機(jī)器的傳統(tǒng)方法查閱日

2、志。這樣是不是感覺(jué)很繁瑣和效率低下。當(dāng)務(wù)之急我們使用集中化的日志管理，例如：開(kāi)源的syslog，將所有服務(wù)器上的日志收集匯總。集中化管理日志后，日志的統(tǒng)計(jì)和檢索又成為一件比較麻煩的事情，一般我們使用grep、awk和wc等Linux命令能實(shí)現(xiàn)檢索和統(tǒng)計(jì)，但是對(duì)于要求更高的查詢、排序和統(tǒng)計(jì)等要求和龐大的機(jī)器數(shù)量依然使用這樣的方法難免有點(diǎn)力不從心。1.2ELK介紹介紹開(kāi)源實(shí)時(shí)日志分析ELK平臺(tái)能夠完美的解決我們上述的問(wèn)題，ELK由Elast

3、icSearch、Logstash和Kiabana三個(gè)開(kāi)源工具組成。（1）、Elasticsearch是個(gè)開(kāi)源分布式搜索引擎開(kāi)源分布式搜索引擎，它的特點(diǎn)有：分布式，零配置，自動(dòng)發(fā)現(xiàn)，索引自動(dòng)分片，索引副本機(jī)制，restful風(fēng)格接口，多數(shù)據(jù)源，自動(dòng)搜索負(fù)載等。（2）、Logstash是一個(gè)完全開(kāi)源的工具，可以對(duì)日志進(jìn)行收集、過(guò)濾收集、過(guò)濾，并將其存儲(chǔ)供以后使用（如：搜索）。（3）、Kibana也是一個(gè)開(kāi)源和免費(fèi)的可視化工具，可以為L(zhǎng)og

4、stash和ElasticSearch提供的日志分析友好的Web界面，可以幫助匯總、分析和搜索重要數(shù)據(jù)日志。1.2.1Elasticsearch介紹介紹Elasticsearch是一個(gè)基于ApacheLucene(TM)的開(kāi)源搜索引擎，Lucene是當(dāng)前行業(yè)內(nèi)最先進(jìn)、性能最好的、功能最全的搜索引擎庫(kù)。但Lucene只是一個(gè)庫(kù)。無(wú)法直接使用，必須使用Java作為開(kāi)發(fā)語(yǔ)言并將其直接集成到應(yīng)用中才可以使用，而且Lucene非常復(fù)雜，需要提前深

5、入了解檢索的相關(guān)知識(shí)才能理解它是如何工作的。Elasticsearch也使用Java開(kāi)發(fā)并使用Lucene作為其核心來(lái)實(shí)現(xiàn)所有索引和搜索的功能，但是它的目的是通過(guò)簡(jiǎn)單的RESTfulAPI來(lái)隱藏Lucene的復(fù)雜性，從而讓全文搜索變得簡(jiǎn)單。但Elasticsearch不僅僅值是Lucene庫(kù)和全文搜索，它還有以下用途：?分布式的實(shí)時(shí)文件存儲(chǔ)，每個(gè)字段都被索引并可被搜索ES索引類型文檔DB庫(kù)表行在一個(gè)集群中，可以定義任意多的索引。（5）、

6、類型（type）在一個(gè)索引中，可以定義一種或多種類型。類型是指索引的一個(gè)邏輯上的分類分區(qū)，其語(yǔ)義可自定義。通常情況下，會(huì)為具有一組共同字段的文檔定義一個(gè)類型。比如說(shuō)，我們假設(shè)運(yùn)營(yíng)一個(gè)博客平臺(tái)并且將所有的數(shù)據(jù)存儲(chǔ)到一個(gè)索引中。在這個(gè)索引中，可以為用戶數(shù)據(jù)定義一個(gè)類型，為博客數(shù)據(jù)定義另一個(gè)類型，當(dāng)然，也可以為評(píng)論數(shù)據(jù)定義另一個(gè)類型。（6）、文檔（document）文檔是指可被索引的基礎(chǔ)信息單元。比如，你可以擁有某一個(gè)客戶的文檔，某一個(gè)產(chǎn)品的

7、一個(gè)文檔，當(dāng)然，也可以擁有某個(gè)訂單的一個(gè)文檔。文檔以JSON（JavriptObjectNotation）格式來(lái)表示，而JSON是一個(gè)普遍存在的互聯(lián)網(wǎng)數(shù)據(jù)交互格式。在一個(gè)indextype里面，可以存儲(chǔ)任意多的文檔。注意，盡管一個(gè)文檔物理上存在于一個(gè)索引之中，但文檔必須被賦予一個(gè)索引的type。（7）、分片和復(fù)制（shards&replicas）一個(gè)索引可以存儲(chǔ)超出單個(gè)節(jié)點(diǎn)磁盤(pán)限制的大量數(shù)據(jù)。比如以下情況，一個(gè)具有10億文檔的索引占據(jù)1

8、TB的磁盤(pán)空間，而集群中任一節(jié)點(diǎn)都沒(méi)有這樣大的磁盤(pán)空間；或者單個(gè)節(jié)點(diǎn)處理搜索請(qǐng)求，響應(yīng)太慢。為了解決此問(wèn)題，Elasticsearch提供了將索引劃分成多份的能力，這些份就叫做分片。當(dāng)創(chuàng)建一個(gè)索引的時(shí)候，可以指定想要的分片的數(shù)量。每個(gè)分片本身也是一個(gè)功能完善并且獨(dú)立的“索引”，這個(gè)“索引”可以被放置到集群中的任何節(jié)點(diǎn)上。分片之所以重要，主要有兩方面的原因：A.允許水平分割擴(kuò)展內(nèi)容容量B.允許在分片（潛在地，位于多個(gè)節(jié)點(diǎn)上）之上進(jìn)行分布式

9、的、并行的操作，進(jìn)而提高性能吞吐量至于一個(gè)分片怎樣分布，它的文檔怎樣聚合搜索請(qǐng)求，是完全由Elasticsearch管理的，用戶對(duì)此是透明的。在一個(gè)網(wǎng)絡(luò)云的環(huán)境里，失敗隨時(shí)都可能發(fā)生，在某個(gè)分片節(jié)點(diǎn)無(wú)原因就處于離線狀態(tài)，或者由于任何原因消失了的情況下，Elasticsearch提供一個(gè)故障轉(zhuǎn)移機(jī)制，它允許你創(chuàng)建分片的一份或多份拷貝，這些拷貝叫做復(fù)制分片，或者直接叫復(fù)制。復(fù)制之所以重要，有兩個(gè)主要原因：A.在分片節(jié)點(diǎn)失敗的情況下，提供了高