《基于XML映射规则的油气管道数据动态迁移系统设计》
该文是有关系统设计和数据迁移硕士论文开题报告范文和系统设计方面毕业论文的格式范文.
摘 要： 针对传统油气管道数据动态迁移系统数据映射性能较差的问题,提出一种基于XML映射规则的油气管道数据动态迁移系统.系统硬件配置为调度模块,由FIFO调度器、计算能力调度器、公平调度器、I/O调度器、TaskTracker、JobTracker构成.系统软件包括数据转换模块、数据动态迁移模块,其中,数据转换模块主要利用XML映射规则获取XML映射数据,并将其嫁接在目的数据库与源数据库之间,以实现油气管道数据的数据类型转换与数据备份;数据动态迁移模块主要通过数据迁移程序发出的数据迁移命令来迁移XML 配置文件.该系统通过硬件与软件相结合实现了油气管道数据的动态迁移.为了验证该系统的数据映射性能,将该系统与几种传统油气管道数据动态迁移系统对比,共同进行油气管道数据动态迁移的对比实验.实验结果证明,基于XML映射规则的油气管道数据动态迁移系统的数据映射性能更强并且更稳定,说明该系统更适用于油气管道数据的动态迁移.
关键词： 油气管道; 数据动态迁移; XML映射规则; 数据嫁接; 数据类型转换; 任务调度
中图分类号： TN02?34; TP311 文献标识码： A 文章编号： 1004?373X（2020）07?0155?04
Design of oil?gas pipeline data dynamic migration system based on XML mapping rules
GAO Jianzhang1, 2, WU Zhifeng2, SUN Xiao2, LIU Hao2, LI Yi3
（1. Beijing University of Posts and Telecommunications, Beijing 100876, China; 2. PetroChina Southwest Pipeline Company, Chengdu 610037, China;
3. Chengdu Aerospace Science & Industry Big Data Institute Ltd., Chengdu 610000, China）
Abstract： An oil?gas pipeline data dynamic migration system based on XML mapping rules is proposed to improve the performance of data mapping in traditional oil?gas pipeline data dynamic migration system. The hardware configuration of the system includes a scheduling module, which consists of FIFO dispatcher, computing power dispatcher, fair dispatcher, I/O dispatcher, TaskTracker and JobTracker. The system software includes data conversion module and data dynamic migration module. The data conversion module is used to obtain XML mapping data mainly by means of XML mapping rules, and graft it between the target database and the source database in order to realize data type tranormation and data backup of oil?gas pipeline data. The data dynamic migration module is used to migrate XML configuration file according to the data migration command issued by the data migration program. The dynamic migration of oil?gas pipeline data is realized by the combination of hardware and software in the system. In order to verify the data mapping performance of the system, the system is compared with several traditional oil?gas pipeline data dynamic migration systems, and a contrast experiment of oil?gas pipeline data dynamic migration was carried out. The experimental results prove that the oil?gas pipeline data dynamic migration system based on XML mapping rules has stronger data mapping performance and is more stable, which shows that the system is more suitable for the dynamic migration of oil?gas pipeline data.
Keywords： oil?gas pipeline; data dynamic migration; XML mapping rule; data grafting; data type tranormation; task scheduling
0 引 言
在转移存储的电子文献、升级网络、更换存储设备、迁移分系统数据至新建的综合数据管理中心时,都需要解决数据更新问题与数据迁移问题,特别是处于异构环境下时,数据的高度复杂使迁移数据时面临着巨大的压力[1].对于油气企业,油气管道数据多种数据库、多种方式的数据存储问题已经成为企业数据应用中难以解决的问题.非结构化文档和图形、结构化数据、数据体大型文件等,石油行业不同于其他行业,具备海量数据并且数据结构十分复杂,由于多个数据库存在存储方式等方面的差异,使用户在访问数据库时非常不便[2].
在数据库的开发与管理中,最常用的功能就是数据迁移.数据迁移指的是对数据进行数据环境转移,从而实现精确而彻底的数据转换,适用于将数据从原本的旧系统转移至新系统中,从多个旧系统统一转移至一个新系统中,从多个小系统统一融汇至一个大系统中,需要将分系统中结构各异的数据与旧系统中各种历史数据转移至新系统、新环境中[3].迁移不同数据库中的数据时,需要遵循下列步骤：源数据识别、数据集成转换具体规则确定以及转换规则代码开发.目前,数据迁移是数据管理领域、勘探数据采集领域的核心工作[4].由于石油行业整体业务的复杂性,对油气管道数据迁移系统提出了越来越高的要求,因此,基于XML映射规则开发了一套高性能、高稳定性并且满足目前石油行业数据勘探、管理现状的油气管道数据动态迁移系统.
1 设计基于XML映射规则的油气管道数据动态迁移系统
1.1 硬件设计
基于XML映射规则的油气管道数据动态迁移系统的硬件配置为调度模块,调度模块中包含多种调度器,包括FIFO调度器、计算能力调度器、公平调度器以及I/O调度器[5].各个调度器的具体调度配置如表1所示.
在调度模块中,通过JobTracker来采集、管理油气管道数据,TaskTracker与JobTracker会定期交互信息,每隔一段时间,TaskTracker会利用心跳信息向FIFO调度器、计算能力调度器、公平调度器以及I/O调度器进行数据汇报,包括系统剩余内存空间、内存使用状况、运行任务数量、slot数量等[6].而各个调度器则根据Heartbeat信息进行油气管道数据调度与任务调度,以确保系统能够进行油气管道数据动态迁移[7].各个调度器还会根据TaskTracker的网络、磁盘使用状况来判断系统的资源使用状况以合理分配迁移作业[8].分配迁移作业时,需要通过I/O调度器判断各个模块的I/O负载情况,当I/O负载过重时,则停止对该模块的作业分配,这样迁移油气管道数据的过程中能够整体迁移效率[9].
1.2 设计软件
基于XML映射规则的油气管道数据动态迁移系统的软件包括数据转换模块、数据动态迁移模块[10].
1.2.1 设计数据转换模块
基于XML映射规则设计数据转换模块,数据转换模块主要利用XML映射规则获取XML映射数据,并将其嫁接在目的数据库与源数据库之间,以实现油气管道数据的数据类型转换与数据备份,具体映射原理如图2所示[11].
通过XML映射规则获取的XML映射数据包括日期类型、大对象类型、字符类型、数值类型,具体如表2～表5所示[12].
1.2.2 设计数据动态迁移模块
数据动态迁移模块主要通过数据迁移程序发出的数据迁移命令来迁移XML 配置文件,具体动态迁移流程如图3所示[13].
图3中,Tranormer指的是传输对象包;Permanence指的是持久化包;DBAccess指的是数据访问包;DataReader指的是数据对象包;Tanorm指的是数据传输处理包;QC指的是质量控制包[14].
在油气管道数据的动态迁移过程中,数据迁移率的计算公式如下：
[T等于QWi等于1le2i] （1）
式中：[T]代表油气管道数据的迁移率;[Q]代表油气管道数据的形式转换速率;[W]代表油气管道数据加工时间;[ei]代表目标信息对比速率[15].
2 实验分析
2.1 实验方法
为了检测本文设计的基于XML映射规则的油气管道数据动态迁移系统的性能,通过对比实验验证.随机选取一些油气管道数据,基于XML映射规则转换其数据形式,将其转换成XML映射数据.利用基于XML映射规则的油气管道数据动态迁移系统对XML映射数据进行动态迁移,将油气管道数据迁移至新系统中.首先需要部署基于XML映射规则的油气管道数据动态迁移系统的运行环境,包括硬件环境与软件环境,具体如表6所示.
完成系统运行环境的部署后,利用系统进行油气管道数据的动态迁移.为了保证本次实验的有效性,使用基于数据总体优化策略的油气管道数据动态迁移系统、基于源数据清洗的油气管道数据动态迁移系统、基于增量数据处理的油气管道数据动态迁移系统、基于源数据整合的油气管道数据动态迁移系统与本文提出的基于XML映射规则的油气管道数据动态迁移系统进行比较.观察实验结果,比較各个油气管道数据动态迁移系统的数据映射性能,也就是系统的数据转换能力,通常数据映射性能可以分为1～8级,级数越高代表系统的数据转换能力越强、数据转换速率越高.
2.2 实验结果
利用基于数据总体优化策略的油气管道数据动态迁移系统、基于源数据清洗的油气管道数据动态迁移系统、基于增量数据处理的油气管道数据动态迁移系统、基于源数据整合的油气管道数据动态迁移系统、基于XML映射规则的油气管道数据动态迁移系统进行选取油气管道数据的动态迁移,其数据映射性能对比如图4所示.
根据图4的数据映射性能对比结果可知：基于数据总体优化策略的油气管道数据动态迁移系统、基于源数据清洗的油气管道数据动态迁移系统、基于增量数据处理的油气管道数据动态迁移系统、基于源数据整合的油气管道数据动态迁移系统等传统系统在数据迁移次数成倍增加的状态下,均存在数据映射性能级别不断降低的现象;而基于XML映射规则的油气管道数据动态迁移系统则不同于传统油气管道数据动態迁移系统,在数据迁移次数成倍增加的状态下仍然可以将数据映射性能保持在7级,即基于XML映射规则的油气管道数据动态迁移系统的数据映射性能优于其余几种传统油气管道数据动态迁移系统.
3 结 语
基于XML映射规则的油气管道数据动态迁移系统在实现油气管道数据安全迁移的同时,也实现了数据映射性能的提升,并且相对于传统油气管道数据动态迁移系统,对于未上线系统而言,该系统的兼容性更强,对石油行业的数据共享具有重要意义.
参考文献
[1] 朱杰,游雄,夏青.基于任务驱动的战场环境分析数据映射模型设计与实现[J].地理信息世界,2017,24（4）：80?85.
[2] 赵军富,谭跃生,王猛.基于Active XML动态自适应工作流引擎的设计与实现[J].现代电子技术,2017,40（22）：75?77.
[3] 王美琴.基于.NET的通用数据库转换系统的设计与实现[J].中国非金属矿工业导刊,2017,21（4）：50?53.
[4] 吴玥,王建强,夏开建.基于动态密钥分发机制的XML电子病历共享方案研究与设计[J].中国数字医学,2017,12（10）：26?28.
[5] 臧昊,赵强,卞水荣.基于XML的电子病历隐私数据脱敏技术的研究与设计[J].信息技术与信息化,2017,22（3）：111?114.
[6] 王义,于书媛,李亚龙,等.基于XML和ASP技术Flash地震图文动态展示[J].网络安全技术与应用,2017,11（2）：68?69.
[7] 陈明.分布式网络数据包优先级传输模型研究仿真[J].电子设计工程,2016,24（12）：5?8.
[8] 丁小勇.基于ASP+FLASH+XML架构的珍珠电子相册的设计与实现[J].通讯世界,2018,17（8）：242?243.
[9] 赵军富,李禹睿,彭亚云,等.基于Active XML动态自适应工作流任务分配研究[J].内蒙古科技大学学报,2017,36（1）：55?58.
[10] 王忠波,罗喜伶,齐鸣,等.基于UML和XSD的航班信息交换模型研究与实现[J].计算机技术与发展,2017,27（4）：139?144.
[11] 杜震洪,黄祥志,姜斌之,等.一种动态实时的遥感专题应用系统框架[J].浙江大学学报（理学版）,2018,45（6）：758?764.
[12] 朱勇,徐中伟,万勇兵.CBTC仿真测试系统线路数据可视化生成的设计与实现[J].铁路计算机应用,2018,27（4）：54?58.
[13] 刘东洪,鄢萍.基于插件和优先级FCFS的机床数据采集方案设计[J].现造工程,2017,21（3）：51?56.
[14] HUANG S T, HUANG C C, HUANG W L, et al. Tanshinone IIA induces intrinsic apoptosis in osteosarcoma cells both in vivo and in vitro associated with mitochondrial dyunction [J]. Scientific reports, 2017, 27（31）： 40382?40398.
[15] SINGH L P, ISSENMANN B, CAUPIN F. Pressure dependence of viscosity in supercooled water and a unified approach for thermodynamic and dynamic anomalies of water [J]. Proceedings of the national academy of sciences, 2017, 114（117）： 4312?4317.
上文总结：这是一篇关于系统设计方面的系统设计和数据迁移论文题目、论文提纲、系统设计和数据迁移论文开题报告、文献综述、参考文献的相关大学硕士和本科毕业论文.
系统设计和数据迁移引用文献:
[1] 系统设计和数据迁移毕业论文模板范文 系统设计和数据迁移方面有关函授毕业论文范文3000字
[2] 系统设计和数据挖掘论文例文 系统设计和数据挖掘有关专升本论文范文2万字
[3] 系统设计和数据分析硕士论文范文 系统设计和数据分析方面论文参考文献范文2000字
