首頁 新聞 產品 產融云 技術 研究 關于

融和技術

自主研發高性能技術平臺、技術驅動價值

大數據

PaaS技術平臺 融和智腦 移動技術平臺 區塊鏈平臺 云技術平臺 高性能技術方案 大數據 IT服務

大數據平臺介紹

融和科技大數據平臺,是融和科技自主研發的基于大數據分布式計算架構的新一代智能平臺。該平臺遵循J2EE規范,按照分層理念設計,基于函數式編程設計實現數據采集、數據存儲、數據清洗、數據分析、數據展示功能的技術平臺,可以支撐整個大數據應用產品體系,并對其進行軟件全生命周期管理。

融和大數據平臺分三個層級,自下而上分別為數據存儲、數據工廠和數據應用。


一、數據存儲

數據存儲指的是基礎軟件和硬件,大數據平臺屏蔽了不同軟件產品對不同數據庫類型的差異,全平臺自動適配。

支持多種數據存儲模式,包括傳統關系型數據庫、NoSql數據庫、基于列存儲的數據庫HBase、分布式文件存儲HDFS;

支持集群多節點分布式部署,具備負載均衡、協同消息同步、容災備份等功能。


二、數據工廠

數據工場是集數據清洗、數據抽取、數據計算、數據分析的數據研發平臺,并集成公共的數據研發計算組件。

數據同步和轉換

不同類型的數據在數據庫中存儲源不同,傳統的大數據處理需要將數據抽取到內存中再進行融合計算,融和大數據平臺針對不同結構的數據源進行框架整合,提供簡捷易用的數據同步和轉換。

數據計算組件

大數據平臺針對常用的數據分析計算進行分析整合,抽取并提供了一套常用的數據分析計算組件,讓開發者減輕了對數據計算技術實現的負擔,將精力集中在業務邏輯開發上。

分布式計算引擎

分布式計算是將海量數據進行拆分,通過分布式架構進行多進程計算,并整合結果集。大數據平臺提供了一套簡潔便捷的分布式計算研發技術框架。

分布式緩存

大數據平臺提供了一套分布式緩存系統,以滿足數據應用的集群環境下的通訊協同、消息序列等業務需求。

數據交換平臺

負責和數據存儲層交互,根據不同的業務應用場景,自動匹配不同的存儲數據源。


三、數據應用

數據采集

數據采集是大數據應用開發的第一步,大數據平臺支持諸如數據爬蟲等數據采集等數據應用的開發。

數據管理和數據展現

不同來源不同類型的海量數據需要存儲至不同類型的數據庫,大數據平臺提供了對不同數據庫類型的數據接口支持,開發者可基于此進行數據融合、數據管理、數據分析、數據導出、報表展示等業務應用的開發。

任務調度

集群環境下,合理地進行任務調度是確保集群環境穩定的必要措施,大數據平臺提供了集群環境的任務調度接口,并支持業務應用進行平臺任務調度的集成開發。

資源管理

大數據平臺提供了對底層數據儲存信息、集群運行狀況、多線程計算負載、分布式緩存信息等資源的接口,支持對大數據平臺資源管理業務應用的開發。



黑龙江体彩六加一开奖时间