xStream多通道流式數據處理系統

xStream多通道流式數據處理系統

系統介紹                                                

xStream多通道流式數據處理系統是一(yī)個适用于複雜(zá)應用場景的高性能、高并發、高可靠性、高可伸縮性的分(fēn)布式實時數據處理系統。可以同時爲應用于不同業務場景的邊緣計算設備提供點狀及流式數據的采集、存儲、分(fēn)析、計算等服務。隻需普通的、由廉價PC組成的計算集群,無需單獨購買價格昂貴、性能優越的服務器,xStream針對邊緣計算設備的并發接入數量(集群)即可輕松達到十萬以上級,實時數據的處理能力(集群)達百萬級每秒。

系統特色                                                 

xStream中(zhōng)的“x”指代任意的應用場景(無限),從環境在線監測到環境移動執法、環保用電(diàn)監管,再到實時視頻(pín)監控、甚或其它非環境類的更爲複雜(zá)的場景均能任意擴展,任意配置——各業務場景間既可高度耦合,亦可松散耦合及至實現更爲嚴格的業務、數據隔離(lí)。Stream指代從邊緣計算設備到用戶端流動的實時數據流:按時間序列采集的點狀數據以及音、視頻(pín)、圖片等流式數據。無論是點數據還是流式數據,xStream系統均根據事先制定的業務規則實時處理,處理結果存入分(fēn)布式NoSQL數據庫。

xStream部署環境簡單,OS爲Linux CentOS 7及以上版本,至少三台普通PC,每台PC安裝Cassandra數據庫及MySQL數據庫,建立數據庫集群。

系統優勢                                                 

1)低成本,高性能。無需購買昂貴的服務器,隻需三台以上的普通PC,使用開(kāi)源、免費(fèi)的linux服務器系統centOS組建計算集群即可獲得極佳的處理性能。

 2)可伸縮性。系統建設初期接入設備較少時,集群節點三台即可,當接入設備逐漸增多,數據量極速增長時,隻需繼續采購PC,橫向增加集群節點即可大(dà)幅提升系統處理性能,增加節點數量無上限。

 3)高可靠性。當數據庫集群出現單個甚至多個節點宕機或者因磁盤故障出現數據損壞時,其它正常節點仍能提供可靠的數據存儲及訪問服務,故障節點一(yī)旦被修複重新加入集群,數據自動同步,無需人工(gōng)幹預。

 4)完全自主知(zhī)識産權的虛拟網絡容災系統。集群内所有網絡節點綁定同一(yī)個虛拟地址,當單個或多個網絡節點宕機時,系統自動切換網絡服務到正常節點,确保數據接入、WEB、APP等關鍵服務不受影響,實現7x24小(xiǎo)時無人值守。

 5)完全自主知(zhī)識産權的高性能實時庫。采用高效的哈希存儲算法,有效降低碰撞率,百億條以上數據記錄的檢索時間穩定在微秒級。

 6)高并發、多通道數據采集服務。系統采用異步通訊架構,能夠充分(fēn)發揮CPU多核處理器的能力,TCP并發鏈接數達到十萬以上級。

 7)多場景并發數據采集能力。系統可以提供任意多個、采用不同通訊協議的通訊通道爲不同應用場景下(xià)的邊緣計算設備提供數據接入服務。

 8)分(fēn)布式日志(zhì)系統。登錄到任意一(yī)個集群節點均可實時查看xStream在整個集群内的整體(tǐ)運行狀态,系統管理員(yuán)可據此監控并排查系統故障隐患,确保系統運行處于最佳狀态。


手機掃一(yī)掃關注公衆号

焦正峰 13065077497