大數據支撐平臺

版本信息:V1.0 技術類 · 工具產品

- 產品介紹 -

大數據支撐平臺依托主流開源產品及自主研發,構建了完整的大數據技術體系,實現了安全可靠、性能優異、符合政務行業特色的平臺支撐,覆蓋Hadoop、HDFS、Hive、Yarn、Hbase、MapReduce、Apache Kylin、Presto等技術,全面滿足海量數據應用場景對技術平臺的要求。

核心功能:

(一)數據采集,大數據平臺的數據主要來源于各個業務系統、也包括部分共享交換數據、網絡爬取、業務日志等,數據類型涵蓋了結構化、半結構化和非結構化數據,采集方式則是根據數據來源和數據類型的不同,采用了多種采集技術進行采集。 (二)數據清洗,爬蟲采集的數據質量通常比較差,存在不少重復、缺失、錯誤的數據問題,數據清洗是提高數據質量的主要手段,它首先依據問題產生的原因和存在形式,確定數據清洗規則它通過消除異常數據、重復數據等臟數據和補充缺失數據、規整統計口徑等手段,然后將不符合要求的數據轉化為滿足應用要求的數據,保證了數據的完整性,提高了數據的可用性。

(三)數據建模,是一套概念和技術的集合,主要用于數據模型的設計和開發。 1、維度模型,是一套技術和概念的集合,用于數據倉庫設計。 2、技術建模,是維度模型的具體實現。

(四)資源監控及運維 1、大數據管控平臺,采用開源工具CM(Cloudera Manager)搭建而成,大數據管控平臺能夠統一管理大數據各功能組件模塊,提供界面友好的WebUI進行安裝部署、集群管理、參數配置、服務啟停、監控告警和日志管理等操作。 2、服務監控,采用開源的監控工具Prometheus,可以實時監測和顯示所有節點的服務運行狀態。

(五)數據服務管理 1、數據服務數據接口,提供三種數據服務,分別是SQL查詢接口、批量數據獲取接口、報表和自助式數據分析服務。 2、數據接口管理,將接口調用進行了統一管理,其中包括權限控制、接口調用日志等。

- 產品特性 -

(一)平臺技術成熟、運行穩定可靠采用大量開源成熟技術。
大數據平臺基于成熟的Hadoop架構設計,并且采用了大量的開源技術和使用成熟廣泛的Hadoop組件構建,平臺技術成熟,運行穩定可靠,具有易開發、易維護、易擴展的特點,再結合部分自主研發技術,保證了大數據平臺運行穩定可靠。
(二)采用雙引擎架構,查詢效率高。
平臺采用了Kylin+Presto雙分析分析引擎架構,這種架構同時既可以利用了Kylin空間換時間的技術理念,和也可以利用Presto內存并行計算的優勢,查詢效率極高,能夠在百T級數據規模上提供亞秒級的數據分析查詢服務,。目前全口徑應用95%以上的查詢都能在3秒之內完成。
(三)標準SQL接口,適用適應場景廣泛。
平臺提供支持標準的SQL查詢接口語句,業務開發簡單、技術接入方便靈活,同時支持目前主流商務智能產品和數據分析工具的對接。大數據平臺特別針對復雜指標的計算研發了SQL代理功能,大大降低了復雜指標的開發難度,縮短了開發周期。
全方位監控和一體化運維能力,同時支持離線、以及實時數據分析。
(四)維護方便快捷。
平臺采用了專業的大數據管控工具平臺進行管理和維護,集群包括集群節點節點管理,組件服務組件維護,資源分配、任務調度、系統監控告警等,都可以通過一體化的運維監控平臺平臺完成。大數據分析引擎、數據調度和可視化應用的監控采用了開源的ELK框架和監控工具Prometheus等技術,能夠提供全方位的監控和告警能力。

聯系方式

Contact us

聯系人

李乾韜

電話

010-67801778

手機

18600513192

s
江苏十一选五遗漏(任五前三直选)