一、引言
神东煤炭数据存储备份系统项目将完成数据库层的数据集中存储和备份以及应用层面的虚拟化部署,以期达到公司应用系统的整体性能和安全级别的提升。数据库层采用100TB 物理容量的光纤硬盘作为末端存储,以四台IBM N6060 作为管控端,根据业务数据的安全级别要求,将存储级别划分为RAID DP+MIRROR 和RAID DP 方式,并配以IBM TSM 进行数据的集中备份和管理;既实现了对数据的统一规划管理,同时也提高数据安全性。应用层采用VMWare 虚拟化架构,通过对现有应用服务器配置信息的分析,实现高性能设备的多应用负载,并能通过VMWare 管理端的统一调度,实现应用系统按负载量的冗余切换实施方案,实现应用系统发生错误时的快速切换。不仅可以实现高性能硬件的充分应用,同时也可以实现应用系统的高可用性。
二、搭建统一数据存储平台
在本项目未实施之前神东公司各应用系统均为部署为SAN 孤岛或服务器本地硬盘存储状态对于管理人员的维护工作量巨大同时存在着极大的安全隐患。本项目实现了各信息系统和数据库系统等核心业务全部数据集中存储和资源的合理利用,实现快速访问、读写应用的需求,同时也解决了数据安全隐患问题。
本项目中采用高端智能数据存储设备IBM N6060,该存储系统具有高缓存、高带宽、高扩展性、高可靠性、高连接性等特点;统一硬件资源存储,充分利用现有信息系统硬件设施和存储设备,结合神东煤炭集团原有存储系统建设时间、规模和性能原因,对存储中心进行统一整合。配置存储内部的卷快照和卷复制软件,提供对单个数据卷发生逻辑或者物理错误的迅速恢复手段。
实现存储设备的高可用行,将数据存储平台配置镜像存储设备或制定策略,完成存储之间的数据复制,当主存储平台失效后,可通过切换镜像存储设备进行切换。当新业务系统将接入数据中心时,存储系统内可支持随机增加存储分区和主机连接,并且不对连接主机数量、平台进行限制。
随着神东信息化程度的提高,数据类型既要考虑结构化数据,又充分考虑神东非结构化数据和工控数据的传输与存储。对核心服务器、非关键应用系统配置优先级连接,以保证应用系统使用过程中性能都有明显提高。本项目中存储设备将满足5-10 年的容量扩展要求,达到400TB 以上物理容量扩展,存储设备具有良好的掉电保护技术保护缓存数据,采用RAID DP+MIRROR 技术有效的保证了数据的安全性。
下图为该项目中统一集中存储结构图:
本次项目中的两台N6060 均按照上述示意图连接,每台N6060为双控制器配置8 台14*450GB 的EXN4000,根据N6060 官方最有性能的考虑采用4 台EXN4000 串联成一个loop,通过双控制器实现链路冗余,保证每台磁盘扩展柜均为双链路到达控制器从而保证核心存储设备的高可用性。
三、搭建集中备份/恢复及归档平台
本项目实现了对核心业务数据库数据、应用数据、操作系统快速集中备份,同时有效的支持异构硬件环境,实现了任意时间点的备份和恢复。
备份平台的建设须具有以下功能,通过备份平台对所有关键业务数据进行集中网络数据备份,备份软件操作界面简单、高效稳定;集中备份设备是使用IBM 虚拟磁带库TS7650G,充分利用其全局数据删减技术在数据源端发现并删除冗余数据段,不会因为太多的备份数据量而导致的网络带宽不足,影响应用系统的正常运行;改善备份设备性能,实现高级磁盘备份方式,提高备份速率,备份操作完成后,后台进行无人值守的数据迁移至物理磁盘,从而完成数据的完整保存;本项目实现了数据库和应用系统的在线备份,并且支持通过IP 网络的异地远程复制,为以后异地容灾系统做好基础;同时制定了科学、可靠的备份策略,减少备份给信息中心维护人员带来的数据恢复的复杂度,并且能够提供定期的恢复测试策略,保证备份数据安全有效。
制定简单、快捷、完整的数据恢复策略;并支持数据的异机恢复,即将备份数据恢复到其他主机上进行数据验证等工作;存储在备份平台上的数据能够高效、加密、异步的复制到远程地点部署的设备上,而无需运送磁带。备份平台通过RAIN 和RAID 保护、热备份磁盘、自我告警等机制对备份数据加以保护,提高了备份数据的可恢复性。在本项目中构建一套数据恢复/测试环境,能够支持每天从备份系统中将数据进行恢复测试,同时使用测试应用系统进行数据完整性验证。并且将数据验证工作加入IT 日常管理流程中,使得备份数据更加的有效及完整。
项目实施过程中在备份服务器上安装oracle 数据库软件,数据库使用和当前生产环境相同的release 的数据库。在我们神东环境中最高版本使用Oracle10.2.0.4。创建种子数据库,创建catalog 知识库所有者用户,例如可以创建名为netback 的方案用户,并授权netback 用户有catalog_owner_,创建catalog 知识库的表空间,创建catalog。
以下介绍知识库创建的过程
创建知识库表空间:
SQL>create tablespace netback datafile /u01/oradata/
netback/netback.dbf'size 2048M;
Tablespace created.
创建netback 用户:
SQL>create user netback identified by netback default
tablespace netback;
User created.
授权netback 可以使用知识库:
SQL>grant connect,resource,recovery_catalog_owner to
netback;
Grant succeeded.
然后创建catalog:
[oracle@OAtest~]$rman catalog netback/netback@netback
RMAN>create catalog;
RMAN>quit
至此,oracle 备份知识库创建完成。
在数据库服务器上安装TSM 备份软件的备份客户端。安装数据库软件的备份代理。在数据库服务器上创建到catalog 知识库的名字解析服务,确认oracle 数据库能够访问catalog 知识库,在知识库中注册备份数据库。使用新的介质管理层接口替换oracle 或者先前备份软件的介质管理层接口,确认备份代理工作正常。可以使用oracle 提供的介质管理层测试工具sbttest 进行测试,如下:
$sbttest test
返回为sbtinit succeeded 表示测试成功。
在数据库服务器上,首先配置rman 使用环境,可以使用类似
如下命令查看oracle 数据库默认的备份环境:
RMAN>show all;
RMAN configuration parameters are:
CONFIGURE RETENTION POLICY TO REDUNDANCY 1;# default
在catalog 知识库中注册数据库,命令如下:
RMAN>register database;
如果遇到如下错误:
bash-3.00$ rman target/catalog netback/netback@
netback
表明知识库版本低于生产数据库,需要升级catalog,命令为:
RMAN>upgrade catalog;
recovery catalog owner is netback
enter UPGRADE CATALOG command again to confirm catalog
upgrade
提示需要再次运行一次:
RMAN>upgrade catalog;
RMAN>quit
成功后即可使用catalog。
修改数据库默认备份通道为sbt,命令如下:
RMAN>CONFIGURE DEFAULT DEVICE TYPE TO sbt;
必须打开控制文件的自动备份,否则数据库仍然不能恢复。
RMAN>CONFIGURE CONTROLFILE AUTOBACKUP on;
至此,备份软件对数据库的备份配置完成。
使用rman 脚本对数据库进行全备,rman 应该同时连接到目标数据库(即需要进行数据备份的数据库)和catalog 知识库。需要记录数据库的DBID。
四、建立虚拟化服务器(VMware)基础架构
目前在神东公司环境降低服务器大量增加和对平台依赖性等因素成为企业实现其目标的障碍。
通过本项目在一台高性能服务器上运行多个操作系统和应用程序,提高硬件的利用率,降低能耗,并减少资金成本和运营成本。通过虚拟化架构实现硬件性能、可扩展性和可用性级别的提升。在实时过程中使用在线迁移虚拟机避免计划内停机;通过自动化负载平衡实现基于策略的IT 资源动态分配;消除许多重复的配置和维护任务。确保计划内硬件维护和备份时间依然保持业务运转不停顿。确保永不宕机的可用性,并在发生灾难后进行快速、有效恢复。
VMWARE 软件分为两个主要部分:VMWARE vCenter server,即原来的ESX server 和Vcenter console。
Server 用于创建虚拟环境,运行虚拟主机。VC 服务器要求的安装的操做系统为WINDOWS SERVER 2003,上面安装SQL 2000 SP4或是SQL 2005 SP1 以上。在此系统上面配置VC 服务和LICENCE服务。VC 服务器要与ESX 主机的SERVICE CONSOLE 在同一网段内。
使用多台ESXserver,两台serer 共享LUN。虚拟机创建在LUN 上(事实上也就位于N6060 上),然后创建N6060 的LUN 到虚拟机。在专用的LUN 上保存数据库,以确保虚拟机处理数据库的性能。任何一台ESXserver 故障,只需要在另一台ESXserver 上启动虚拟机操作系统即可。能够实现快速接管。
Vcenter console 用于远程管理vCenter SERVER。安装后可通过管理界面对虚拟机进行管理和调整。
使用VMware vCenter Converter 转换物理主机到虚拟机这一步是整个项目中难度最大,也是风险最大的步骤。所以,一定要确认系统各项备份成功。并完整保留用户生产环境直到这个转换过程完成。
转换过程比较简单。首先在需要迁移的服务器上安装VMwarevCenter Converter 企业版,随后在夜间指定的时间点停止数据库和应用服务,使用VMware vCenter Converter 将整个服务器所有文件系统及分区表等相关内容转换到外部存储设备上,成为一个虚拟机目录。
然后将这个目录复制到N6060 上,在VMWARE server 中打开该虚拟文件即可。整个转换过程通常都在分钟级。虚拟机启动后,启动虚拟机中的数据库和应用程序。
五、神东数据中心SAN 架构
N6060 配置有4Gb 速率FC 接口24 个,这24 个接口分为连接扩展存储柜的接口和连接主机的主机接口。扩展接口应确保磁盘柜双冗余接入控制器。主机接口应分别接入不同的光纤通道交换机,并进行FC 绑定,提高设备带库和冗余;N6060 配置有千兆以太网接口8 个,这8 个接口应分别接入到Cisco 以太网交换机中。
每台N6060 部署4 个aggerates,两台N6060 之间25TB 实现mirror,剩余13TB 存储空间叠加使用,划分相应的Volume、Qtree、LUN 给相应的主机。
在神东煤炭数据中心环境中部署两台MDS9506 作为核心存储交换机,在项目的设计中基于神东集团公司业务的不同将核心存储交换机逻辑的划分为多个虚拟交换机,保证数据存储过程中业务的相对隔离。在主机与存储设备的部署上采用业内成熟的zone技术,保证不同主机与存储设备的独立性。
六、项目总结
神东煤炭公司数据存储备份系统的实施核心分为三个部分:数据集中存储、关键数据的热备份以及全网应用服务器虚拟化的实现,通过三大模块的改造升级安全合理的保证神东信息化的运行。
全网的数据集中存储在部署高安全性策略的N6060 设备上,有效保证关键性业务数据的安全性及稳定性。Tivoli StorageManager 管理软件配合虚拟磁带备份设备针对数据库实时更新的数据部署在线热备份,避免人为及自燃灾难带来的数据丢失。全网应用服务器实现VMware 虚拟化,有效的控制和减少服务器数量,明显的提升了每个服务区的利用率;加快的新建应用系统的部署,所有的服务器资源将统一分配管理并按需进行资源调配,大量的减少信息管理人员的维护工作量。通过三面的合理部署运行为神东煤炭集团公司信息化运作提供一个高速、安全、可靠的平台。
核心关注:拓步ERP系统平台是覆盖了众多的业务领域、行业应用,蕴涵了丰富的ERP管理思想,集成了ERP软件业务管理理念,功能涉及供应链、成本、制造、CRM、HR等众多业务领域的管理,全面涵盖了企业关注ERP管理系统的核心领域,是众多中小企业信息化建设首选的ERP管理软件信赖品牌。
转载请注明出处:拓步ERP资讯网http://www.toberp.com/
本文标题:数据存储备份系统的有效构建浅析