联系方式

  • 电话
    0731-84450656
  • 传真
    0731-84317437
  • 售后服务热线
    8008786702
    (7X24小时响应)

大数据集成平台

1        产品简介

大数据集成管理平台是我司自主研发产品,用于对政府企业的各种数据源进行数据集成和管理的平台产品,本产品面向传统数据及大数据环境,给出真正能够集成数据、处理数据和管理数据的运行环境。本产品是基于数据科研团队在 XML 数据管理、图数据管理、大数据的分布式、近似和增量算法方面的最新研究技术成果,结合参考国内外众多著名厂商的数据集成和 ETL 产品解决方案,研发的新一代数据集成产品。本产品在实现基本的企业数据整合、搬迁、转换的同时,支持预装大数据环境,并实现数据集成过程的完整运维管理以及数据质量的提升。本产品作为独立产品主要用于对包括大数据在内的企业级数据集成,同时实现数据质量提升和数据集成过程的管控功能;作为华傲数据-ADPADD 等的配套产品,ADA将为 ADPADD 提供数据质量提升和数据质量分析之前的数据收集、整理等准备工作

2        平台功能特点

ADA平台的功能特点ADA 在功能上支持大数据集成和非结构化数据处理,提供数据集成过程中的数据探索稽核和数据质量提升。在作业设计、任务调度及数据处理过程中,ADA 通过内嵌多种数据处理引擎、采用流式数据处理技术以及软件的轻量级实现,极大的提高了数据处理的效率以及作业设计维护上的易用性。2.2.1 支持大数据集成ADA 平台在充分继承传统数据集成功能基础上,顺应数据领域的发展趋势,将对大数据的集成作为 ADA 平台的显著特点,包括大数据环境的预装以及大数据的接入同步和转换处理等多个环节。ADA 目前已经支持预装的大数据环境包括ü Hadoop 核心组件 HDFSCommonMapReduceYARN ü应用环境 HiveHbase ü辅助工具 GangliaSqoop 2.2.2 支持非结构化数据处理 ADA 平台将各种数据集成操作首先定义形成各种任务,包括批处理任务、实时交互任务、定时任务和事件任务,通过这些任务定义,形成满足企业数据集成的完整操作集合。同时,通过这些任务,将华傲数据在XML 数据处理、图数据处理等领域的核心技术进行统一封装,以支持其在传统数据环境以及 Hadoop 大数据环境下的执行。此为商密文件,非授权不得使用华傲数据-数据集成管理平台--产品白皮书页码:102.2.3 支持数据质量提升ADA 作为华傲数据-ADPADD 的配套产品,一方面为 ADPADD 提供数据质量提升和数据质量分析之前的数据收集、整理等准备工作,另一方面支持将数据探索稽查和数据质量提升的任务封装为ADA 工作流,从而进行统一调度管理。 2.2.4 更高的数据处理性能 ADA 平台通过充分挖掘客户 DBMS 的处理能力(ELT 模式)、面向不同应用时灵活选择多种内嵌数据处理引擎(例如 SQLite),采用核心流式数据处理技术以及大规模并行处理技术等数据处理方式,提升数据集成过程的转换处理效率。 2.2.5 更易用的作业设计及维护管理较之其他重量级数据集成管理软件,ADA 通过更加简单的操作功能、更加灵活的脚本配置方式、更加友好的 GUI 操作界面,使 IT 人员可以用更低的成本和更高的效率实现作业设计及后续的维护管理工作。

3        应用价值

l实现企业数据的集成(包括数据整合/搬迁/转换)

l提供数据集成过程的运维管理

l实现数据集成过程的质量提升

l预装企业大数据集成环境并支持非结构化数据处理