淺談日志分析
發(fā)布時間:2018年09月05日
日志主要包括系統(tǒng)日志、應用程序日志和安全日志。系統(tǒng)運維和開發(fā)人員可以通過日志了解服務器軟硬件信息、檢查配置過程中的錯誤及發(fā)生錯誤的原因。經(jīng)常分析日志可以了解服務器的負荷、性能安全性,從而能夠及時采取措施糾正錯誤。
通常,日志被分散和儲存在不同的設備上。如果你管理數(shù)十臺或上百臺服務器,但還在使用依次登錄每臺機器的傳統(tǒng)方法查閱日志,這樣程序不僅繁瑣,效率還低下。因此,當務之急我們應使用集中化的日志管理,例如:開源的 syslog ,ELK,將所有服務器上的日志收集匯總。當然,E日志在針對日志管理這方面更完善高效。
接下來我們來說說日志分析
日志數(shù)據(jù)可以是有價值的信息寶庫,也可以是毫無價值的數(shù)據(jù)泥潭。要保護和提高你的網(wǎng)絡安全,有各種操作系統(tǒng)、應用程序、設備和安全產(chǎn)品的日志數(shù)據(jù)能夠幫助你提前發(fā)現(xiàn)和避開災難,并且找到安全事件的根本原因。
當然,日志數(shù)據(jù)對于實現(xiàn)網(wǎng)絡安全的價值究竟有多大,取決于兩個因素:
第一,你的系統(tǒng)和設備必須進行合適的設置以便記錄你所需的數(shù)據(jù)。
第二,你必須要有合適的工具、培訓和可用的資源來分析收集到的數(shù)據(jù)。?
一般我們使用 grep 、 awk 和 wc 等 Linux 命令能實現(xiàn)檢索和統(tǒng)計,但是對于要求更高的查詢、排序和統(tǒng)計等要求和龐大的機器數(shù)量依然使用這樣的方法難免有點力不從心。?
開源實時日志分析 ELK 平臺能夠完美地解決我們上述的問題, ELK 是由 ElasticSearch 、 Logstash 和 Kiabana 三個開源工具組成。?
但是,Elasticsearch用于日志搜索這種對實時要求比較高的場景時,需要做性能調(diào)優(yōu),甚至定制化開發(fā),才能較好地滿足大數(shù)據(jù)量、低延時的要求,同時需要做大量的配置,而且開源軟件需要花費時間維護,綜合成本較高。
E日志在日志分析領域里做了大量的突破與創(chuàng)新,功能相比ELK豐富多了。E日志實現(xiàn)了事件計數(shù)統(tǒng)計、時間分段統(tǒng)計、數(shù)值分段統(tǒng)計、字段值分類統(tǒng)計、字段數(shù)值統(tǒng)計、累計百分比統(tǒng)計等功能,快速采集原始日志,統(tǒng)一管理并建立索引,通過靈活的分析手段將資源的運行情況可視化,幫助用戶及時發(fā)現(xiàn)問題以及定位故障原因,打造以業(yè)務為核心的智能日志分析平臺,將低價值的數(shù)據(jù)變成金礦。