引言
“十五”期间,中国石化开展“油田勘探信息综合应用系统”、“油田开发综合业务信息系统”等14个与油田科研、企业生产管理等密切相关的信息系统建设项目,推进专业数据库建设,取得较好应用效果,然而,随着专业应用不断深化,存在数据源头不一致、标准不统一、技术平台各异等情况,造成数据上报不及时、应用共享困难以及安全隐患大等问题,建设油田级数据中心既是油田企业信息化发展的方向,也是油田信息化发展到一定阶段的必然要求,“十一五”期间,中国石化开展油气勘探开发数据模型标准建设,开发中国石化勘探开发数据模型和数据元字典,为数据中心建设铺平道路。
国际石油公司通过大规模整合数据资源实现集中化、专业化管理,1994年,挪威建立世界第一个石油中央数据仓库;BP、道达尔等石油公司相继建立公司级数据中心,通过建立统一的数据管理和服务平台,实现数据的资产化管理和集成应用,新疆油田通过“档案资料桌面化”、“业务工作桌面化”、“新疆油田桌面化”3步走战略及“数据正常化”、“系统集成化”、“生产自动化”3个主题年活动,建成统一的数据中心,完成实体油田和生产过程的数字化。
结合油田企业应用,中国石化开展油田企业数据中心建设,提出中国石化油田企业数据中心总体框架,设计了数据采集体系、数据存储体系及数据服务平台的体系结构,在胜利油田进行试点应用,取得良好效果。
1 总体框架
数据的输入、存储和输出贯穿数据全生命周期,油田企业数据中心功能包括源头数据采集、数据存储和数据服务3部分。
油田企业数据中心建设原则包括:(1)统一采集,统一规划源头数据采集,建立采集规程,解决多头采集、层层汇总造成数据不一致、上报不及时及基层工作负担较重等问题;(2)统一标准,建立数据存储模型、交换模型等系列标准,解决由标准不一致造成的数据交换、数据汇总分析问题;(3)统一管理,建立覆盖数据全生命周期及各层级的数据管理体系,解决分部门管理引起的一体化应用数据共享、数据安全问题;(4)统一服务,提供统一数据服务平台,解决专业人员收集整理数据困难问题,使专业人员专心关注数据分析和应用。
根据建设原则,油田企业数据中心总体框架划分为3个层次、5个体系,3个层次为数据的采集层、存储层和服务层;5个体系为数据的采集体系、存储体系、服务体系、管理体系和标准体系(见图1)。
图1 数据中心总体框架
图2 基于采集体系的数据中心数据库结构
2 数据体系
2.1 采集
基于数据采集体系的油田企业数据中心数据库分为源头数据库、数据中心主库和应用数据库(见图2)。
(1)源头数据库,是井场、基层队直接从仪器上自动采集或手工录入的数据库,数据采集源点根据计划要求录入生产动静态数据,同时开展基层基础信息应用,在源头数据提交到数据中心主库之前,需要经过计算机系统规范性检查、专业部门质量把关、信息部门汇总考核等环节,对数据进行多级质量检查,对不规范数据返回数据采集源点重新录人,保证数据采集源点唯一性和各采集源点间的一致性,通过对数据采集、传输、管理及应用流程进行梳理,制定源头数据采集规程,实现数据的全局一致性。
(2)油田数据中心主库,是数据中心体系的存储和管理数据的核心,也是油田数据中转中心,所有归档保存在中心主库的数据,需要经过专业部门审核和计算系统的质量控制检查,进入主库的数据,根据生产需要与二级单位数据同步更新,供二级单位生产管理、科学研究应用。
(3)应用数据库,包括专业应用数据库和项目数据库,应用数据库通过数据服务平台从数据中心主库获取需要的数据,供应用软件进行分析处理,并将最终的结果归档保存到数据中心主库,应用数据库既是数据的使用者也是数据的提供者。
在数据流转过程中,通过沟通管理实现对采集过程中存在问题的及时交流;通过标准管理实现多个标准模型的变更管理;通过安全管理实现数据的授权应用、行为追溯;通过规章制度建立明确采集岗位职责、数据管理分工、数据考核等内容。
2.2存储
数据中心存储体系主要针对数据中心主库进行设计,数据中心主库将各专业分公司的源头数据集中存储,解决统一数据模型设计、高效海量数据存取及数据安全的问题。
(1)统一数据模型设计,油田数据涉及20多个专业,集成难度较大,理想目标是建立一体化数据模型,参照石油技术开放标准联盟(POSC)的Epicentre数据模型,整理各专业业务,建立数据元和逻辑数据模型标准;建立模型投影机制,将逻辑数据模型投影到物理数据模型,建立油田数据中心统一数据存储模型。
(2)高效海量数据存取及数据安全,油田数据中心承担全油田数据的管理和服务,是油田信息系统应用的中枢神经,考虑系统运行连续性,在硬件配置上采用2台SUN M9000作为数据中心的数据库服务器,通过双机热备份,实现基于统一勘探开发数据模型标准下的安全、高效服务。
油田数据中心应用部署方案见图3,数据库服务器分为A服务器和B服务器,A服务器划分2个分区,分别部署数据加载和数据服务功能模块,主要承担每天油田8万多条数据的加载任务;B服务器划分3个分区,分别部署数据加载、数据服务和元数据管理功能模块,主要承担专业应用数据服务任务,A、B服务器实现实时同步,如果其中1台服务器出现故障,另1台服务器马上启动相应进程接管服务,全局数据同步采用Oracle的GoldenGate软件,实现全局3 S数据同步,保证全局数据的一致性。
2.3服务
数据中心服务体系建设主要完成综合数据服务平台研发,实现数据的统一管理、安全授权使用和个性化主题服务,综合数据服务平台功能框架见图4。
图3 数据中心应用部署方案示意
图4 综合数据服务平台框架
综合数据服务平台主要依靠企业服务总线(EntERPriseService Bus,简称ESB)构建共享服务访问实现,ESB面向应用的公共数据、数据源的数据接口访问及应用表现组件服务等,对后者的调用提供标准、开放消息机制,通过注册进行管理,利用简单的标准适配器和一致的服务接口进行应用(服务)调用和其他组件之间的互操作,满足企业的集成需求,主要功能包括服务注册、服务代理、安全控制、消息机制、服务运行管理等,ESB框架见图5。
图5 ESB框架
ESB将相关应用注册在ESB上,发布为Web服务,基于ESB的异构服务(Web,Java,.Net,消息等服务)向外部应用系统提供数据服务,满足对不同开发架构(J2EE,.NET)、不同应用模式(c/s,B/S)等多应用系统的服务支持,数据接口驱动引擎负责解析按照平台定义规范建立的数据接口服务,包括中心库接口服务、项目库接口服务、其他应用库接口服务,文件型数据接口(LAS,SEG—Y)服务,并调度相关服务组件的互操作。
数据服务驱动引擎调度相关服务组件的互操作,包括业务逻辑服务组件,专题数据服务组件,打包、下载、迁移等功能服务组件,综合数据查询和数据打包下载提供按专业习惯的数据查询、下载的窗口,根据业务人员数据需求,数据定制服务以可视化方式实现所需数据集定义,形成新的主题数据服务,主题数据服务按照规范定义或开发可以管理的数据服务组件,包括数据访问、打包、下载、迁移等服务组件。
用户管理为综合数据服务平台提供统一的用户信息i管理和安全认证功能,使平台中各项服务能被安全应用,数据可在授权前提下被访问,在合理范围内被加载。
数据模型管理描述和管理综合数据服务平台中的数据库和数据文件接口,包括对数据源模型和数据源接口描述,以及注册数据接口服务,数据源接口按照规范独立开发,并通过数据源管理工具进行注册、描述和发布。
数据服务监控统计分析登陆综合数据服务平台的操作日志,追溯用户行为,对异常数据应用及时预警。
3 现场应用
中国石化油田企业数据喇心总体框架在胜利油田完成试点建设,2004年,胜利油田开始开展数据源建设,按照勘探开发一体化的设计思路,消除数据冗余和重复存储,建立涵盖地球物理、地球化学、勘探、井筒工程、分析化验等6大业务领域,13项核心业务的源头数据采集规范,数据采集项由原专业库的34 000项减少到16016项,随着油田应用的深化,结合河南、江汉油田的实施,以及海上、气田业务的拓展,目前模型能够支持上游业务数据26648项,采用平台化设计、建立源头数据采集及数据管理的专业软件体系和维护体系,实现2233个基层队源点数据采集,数据日增量近9万条,胜利油田清洗和加载已有历史数据,对结构化数据、文档数据、图形数据、体数据等数据类型,实现统一数据标准一体化管理,数据总量1亿多条,数据中心提供对“地震解释”、“储层预测”、“三维地质建模”、“油藏数值模拟”4大综合研究主题的OpenWorks、Petrel、Eclipse、Jason等6个大型专业软件23个版本的数据准备、数据格式转换、成果管理等数据服务。
4 结束语
中国石化油田企业数据中心建设是中国石化推进信息化的基础工程,源头数据采集体系已在中国石化油田企业全面推广应用,随着胜利油田数据中心应用的不断深化及技术完善,其他油田企业也逐步完成数据中心的建设和应用,在中国石化油田企业数据中心建设过程中,推进云技术的应用,探索建立区域化数据服务,通过油田企业数据中心建设,理顺数据采集、传输、管理及应用渠道,缩短专业人员收集整理数据时间,提高跨专业数据分析应用,促进传统油田企业向“知识型”企业转型,为油田勘探开发信息化深化应用奠定基础。
转载请注明出处:拓步ERP资讯网http://www.toberp.com/
本文标题:中国石化油田企业数据中心总体框架设计