航空業海量日志的智能化分析實戰
2020-07-16 16:18:06   來源:互聯網
內容摘要
對于當前航空業面臨的海量實時業務數據監測與分析挑戰,云智慧推出了一種基于業務系統日志數據,使用實時流式數據采集、大數據處理和人工智能技術實現海量日志數據智能化分析的解決方案,幫助IT運維人員實時、動態發現業務及IT系統存在的故障和異常,快速定位問題根源,保障航司業務持續、穩定和高效運行。

對于當前航空業面臨的海量實時業務數據監測與分析挑戰,云智慧推出了一種基于業務系統日志數據,使用實時流式數據采集、大數據處理和人工智能技術實現海量日志數據智能化分析的解決方案,幫助IT運維人員實時、動態發現業務及IT系統存在的故障和異常,快速定位問題根源,保障航司業務持續、穩定和高效運行。

挑戰與需求

隨著航空及上下游服務產業鏈的快速發展,系統多、架構復雜、新舊業務系統長期共存,持續產生的海量日志數據缺乏有效的處理手段,對IT運維和運營帶來極大的風險與挑戰。

以民航為例,旅客選擇飛機出行需要經歷訂票、值機、登機等一系列流程,每種業務處理都要跨越多個平臺的應用系統,每個系統都會實時輸出日志數據記錄當前應用運行情況,上述流程中任何一個應用的故障或者性能問題都會影響乘客出行。

如何實時了解業務的整體運行狀態,如何基于海量、實時的應用日志分析快速確定業務運行異常及潛在風險,如何根據業務量變化動態確定業務異常標準,如何針對當前業務中的異常情況及時預警,如何實現日志數據與其他運維監控數據的融合分析和查詢,快速、準確定位業務及系統的故障,這都是日志智能分析平臺需要解決的難題。

云智慧日志智能分析解決方案及平臺架構

云智慧海量日志智能分析解決方案包括系統日志數據的實時采集、傳輸、集群化的消息隊列、預處理組件及實時流式大數據處理,完成日志數據的解析、轉換、脫敏、業務邏輯處理后,以結構化數據保存在分布式存儲系統中,然后調用算法集之中的一種或多種算法組合進行多場景的智能分析、告警及可視化展示,同時提供數據API滿足其它數據深入挖掘和探索需求。

海量日志智能化分析平臺架構如下圖所示:

IMG_256

方案特色和優勢

云智慧日志智能化分析平臺解決方案為航空業務運行的連續性、用戶體驗的提升和業務的高效運維提供了可靠的技術支撐,此方案具有如下優勢:

1、豐富的日志數據實時采集

? 支持自有高性能采集器,兼容主流開源數據采集器、靈活水平擴展的數據接入接口,快速接入流式數據;

? 超高的吞吐量和極小的響應時間,數據接入即可秒級查詢;

2、高性能、動態擴展數據處理平臺:內置數十種處理組件,支持可視化處理pipeline及單步處理結果驗證、處理結果采用列式存儲、線性存儲擴展。平臺具備實時流式數據處理能力,滿足航空業海量日志數據實時處理和智能分析的嚴格要求:

? 支持根據數據量進行水平伸縮,數據處理能力:40T/天,EPS:130萬/秒。

? 支持多個節點同時寫入,寫入速度:60萬條/秒/節點,同等條件下,寫入速度比Elasticsearch快10倍以上;

3、多場景智能分析平臺能力

? 算法平臺基于最新架構和人工智能算法,具備強大的智能化分析能力,為上層業務提供算法支撐和擴展。

? 內置多個智能分析場景,包括日志智能搜索及上下文分析、日志模式自動識別、基于算法的智能異常檢測、智能告警及指標告警對接、日志與應用性能監控、基礎監控數據的融合關聯分析等。

方案價值

基于海量日志數據的云智慧智能日志分析方案已經在航空、金融、能源等行業的智能運維項目中成功實施,實踐證明此平臺能給行業客戶帶來明顯的改善和提升:

1、實現離散日志的統一采集、處理、存儲、歸檔以及查詢,極大提升日志管理和分析的便捷性;

2、基于實時日志數據智能分析幫助業務人員及時掌控業務運行狀態,快速發現業務運行的異常并及時報警,減少業務中斷時間;

3、基于業務日志數據、應用性能監控數據、基礎資源監控數據的融合分析,實現復雜線上業務及系統問題原因的快速定位,提升復雜問題處理的效率。

客戶案例實戰

某航空企業的主營業務是面向航司及上下游服務商,提供業務處理、電子分銷、結算清算等服務,當出現性能緩慢或中斷時,現有監控系統無法有效定位故障和異常。

針對此用戶需求,云智慧為該企業構建了基于海量實時業務日志數據的業務運維智能分析平臺,通過對業務數據的實時采集、處理、多維度智能分析,及時發現系統業務層面異常情況,增強該航空客戶業務預警、故障診斷與智能分析能力。

IMG_257

此平臺多次提前發現業務處理響應時間變長、業務指令交互錯誤率增加等故障先兆,基于智能分析算法對即將發生的異常作出預測和及時告警,從而有效避免故障的業務風險。

總結和展望

云智慧日志智能分析平臺基于AIOps策略,融合基礎資源監控、應用性能監控、用戶體驗監控等多維度運維數據和人工智能分析算法,能夠及時發現業務運營中潛在風險,輔助管理人員作出準確判斷和決策,實現對業務運營健康及未來發展趨勢的持續洞察,增強企業核心競爭力。









免責聲明:以上內容為本網站轉自其它媒體,相關信息僅為傳遞更多信息之目的,不代表本網觀點,亦不代表本網站贊同其觀點或證實其內容的真實性。

關鍵字相關信息:
世界飞镖大师排名 福彩北京pk赛车官网 山西高银股票配资公司 青海十一选五走势图带连线 青海十一选五开奖结果 p62每期开奖结果查询 天天捕鸟游戏 炒股有风险,投资需谨慎 广东快乐10分走势 娱乐电玩城游戏 华东15选5开奖走势图