9号彩票开户

     
 
 
  广西电网公司本部存储系统  
  服务器虚拟化整合项目  
  信息机房建设项目  
  综合数据网  
  移动作业系统  
  企业信息门户  
  数据质量管理平台  
  分布式ETL系统  
  综合统计平台  
  图纸数字化管理系统  
  协同办公系统  
  配电GIS  
  MP平台  
  生产管理信息系统  
  机关短信平台  
  营销MIS  
  营销项目管理系统  
 
 
  首 页 > 业务及产品介绍
分布式ETL系统  
 

 一、产品概述
    ETL是企业建立数据仓库中重要的一环,建立数据仓库过程中70%以上的时间用于数据的ETL。对于庞大数据的采集,现有的ETL工具会消耗大量的资源和时间,功能虽多,但是合乎需要的很少,部分所需的功能欠缺,软件体积庞大,部署困难。必须以先进的计算机手段建立自动化系统,实现数据快捷、高效、准确地抽取、清洗、转换和加载,结合实际需求开发自动化采集工具,减少资源和时间消耗,减少人力投入,提高采集效率。
    分布式ETL系统实现从各业务系统,不同类型数据库导出、导入数据。根据业务系统和网络环境采用集中式管理、分布式部署。解决任务下达、数据导出、压缩、传输、入库等一系列环节的自动化问题。

 二、产品特色
    1、集中管理、分布式部署
    由于业务系统部署分散,受网络环境的限制,系统采用了管理端集中部署,采集端分布式部署的结构,一个业务系统对应一个或多个采集端,由管理端下达采集任务,采集端执行任务。

    2、Web+Windows应用程序的模式
    采用集中管理、分布式部署的结构,可以很好解决系统分散和网络限制的问题。管理端采用Web形式,便于管理人员使用,通过浏览器即可进行管理;采集端使用Windows应用程序,注册为Windows服务,常驻系统,占用资源小,可以不断监听任务,也可以避免因数据量大的采集任务发生超时的情况。

    3、ETL过程效率高、配置简单,集中监控
    采集任务开始后,全过程无需人工干预,从采集到入库,全自动完成,保证了ETL过程的高效性,避免了因人工操作而产生的错误;采集端运行环境要求低,部署简单,采集任务配置规范,具有通用性;ETL过程中各个环节都有日志记录,便于管理人员监控。

 三、功能介绍

    1、管理平台
    主要包括策略管理、方案管理、定时管理、任务管理、数据源目标管理五大功能:
    策略管理:不同的数据源,数据抽取的方式、执行的SQL语句也不同,因此根据不同的数据源,编制不同的数据抽取策略。
    方案管理:根据不同的需求,将相关的抽取策略集合成方案,执行方案即执行方案里的一系列抽取策略;以及每次任务的不同参数管理。
    定时管理:设定方案在特定的时间自动执行,利于避开业务系统繁忙的时段或是执行周期性的增量任务。
    任务管理:指定方案执行抽取的单个或多个目标系统,暂停或终止方案队列。
    数据源目标管理:用于方案执行时目标业务系统的指定。

    2、采集程序
    主要包括自动获取采集任务、采集前预执行SQL语句、多种数据源数据抽取、检查已采集的数据完整性、压缩数据、上传数据至临时存储区六大功能:
    自动获取采集任务:抽取程序以windows服务的形式常驻应用服务器中,不停地检测是否采集任务,一旦检测有采集任务,即获取任务开始进行采集。
    采集前预执行SQL语句:根据需要,在采集前先执行特定的SQL语句,对数据进行处理后再采集。常用的有查询需采集的数据的原始记录数或存储过程。
    多种数据源数据抽取:支持Oralce、Sybase、MS SQL Server数据库的数据采集。
    检查已采集的数据完整性:检查采集的数据是否完整,是否有错误字符、数据截断等问题,统计文件记录数。
    压缩数据:将形成的数据文件进行压缩,减少网络传输流量和服务器磁盘资源占用。
    上传数据至临时存储区:将压缩后的文件上传到临时存储区的特定位置,以便入库程序可以马上自动将数据文件加载入库,加快整个数据采集过程。

    3、入库程序
    主要包括文件监控、文件解压、数据自动加载入库、统计加载情况四大功能:
    文件监控:入库程序以windows窗体程序的形式运行,不停地检测是否未加载入库的数据文件,一旦发现有可加载入库的数据文件,即立刻开始加载入库过程。
    文件解压:自动将数据文件解压。
    数据自动加载入库:根据配置文件,自动将对应的数据文件加载到操作型数据存储中。
    统计加载情况:完成加载入库后,统计加载情况,是否完全加载、是否有坏数据、是否产生错误,形成采集报告,方便工作人员了解采集过程的情况。

  四、适用范围与成功案例
    采用先进的分布式架构,适用于有分支机构企业单位的数据集成需求;性能高,配置简单,集中监控,维护成本低,适用多种数据库。

关于博联 业务及产品介绍 文化生活 人才招聘
公司简介 组织构架
博联文化 业务范围
部门介绍 合作伙伴
资质认证  
移动作业系统 企业信息门户 协同办公系统(OA)
分布式ETL系统 综合统计平台 图纸数字化管理系统
配电GIS 营配信息集成平台 MP平台
广西电网公司本部存储系统 服务器虚拟化整合项目 信息机房建设项目
员工风貌
员工游记
博联相册
招聘职位
联系方式
  版权所有:广西博联信息通信技术有限责任公司 E-mail: rjb_yx.bl@gx.csg.cn
桂ICP备14005085号

免责声明: 本站资料及图片来源互联网文章,本网不承担任何由内容信息所引起的争议和法律责任。所有作品版权归原创作者所有,与本站立场无关,如用户分享不慎侵犯了您的权益,请联系我们告知,我们将做删除处理!