1.5倍速找油,浪潮分布式存储驱动石油勘探效率提升

2019-11-04 08:30  浏览:  

随着震源隆隆的轰鸣声,某石油勘探公司的项目数据采集顺利进行。采集完毕后,数据的保存、处理、解释等阶段就该存储平台“上场”了。浪潮存储为某石油勘探公司构建了16节点、总容量4.2PB的分布式存储平台,以平均写性能27.4GB/s、读性能30.55GB/s的极速性能,大幅缩短了石油勘探数据处理的周期,成为采用数字化、智能化技术提升能源行业业务效率的典型。

浪潮分布式存储平台服务石油勘探,缩短数据处理周期

当前石油储备逐步减少,石油勘探、开发难度增大,借助数据技术提高石油勘探的效率成为推动石油行业增长的关键。存储作为数据的载体,成为石油勘探企业转型增效的核心竞争力。

其实数据极致性能需求已成为业界的普遍需求,根据IDC与浪潮联合发布的《2019年数据及存储发展研究报告》,随着新技术发展企业对数据实时性需求日益增加,到2023年实时数据将占全球数据圈24.5%的份额。

出厂前的操练

石油勘探耗资巨大,勘探数据十分宝贵,用户把这么重要的勘探数据托付给浪潮存储,浪潮存储团队自然要全力以赴。石油勘探普遍采用地震波法,原始数据量可达数PB,后期做地震资料叠前偏移成像,会对存储并发性能提出较高要求。根据勘探场景的数据特点,浪潮提供了容量、性能线性扩展的分布式存储平台。

在分布式存储出厂前,为了确保浪潮分布式存储平台AS13000在地震资料处理作业环境中的功能及性能,浪潮存储决定在实验室里把整体环境搭起来,进行出厂前的“操练”。

济南的测试实验室里灯火通明,浪潮工程师团队用16个分布式存储节点,1:1实际搭建了一套测试系统。系统裸容量4.2PB,可用容量为3.969PB,可用容量比为73.6%。经存储集群测试验证,达到了进行某石油勘探公司的项目环境要求。

浪潮分布式存储

13 次调优性能比业界平均水平“拔高”30%

接下来是最为关键的性能调优环节。首先,浪潮存储工程师团队在压力机上部署了IOZONE测试工具。这是一款用来测试操作系统上文件系统性能的工具,范围包括Write、Re-Write、Read、Re-Read、Random Read、Random Write等十余种测试内容,可以说是360度无死角的性能测试。其次,设置测试工具模型为16MB块大小顺序读写,测试数据量为内存大小的2倍以上——2倍是比较合适的设置,不然Linux会给读写内容进行缓存,让测试结果不真实。就这样,浪潮分布式存储团队,在压力机上基于IOZONE测试工具一遍遍运行、调优。

一次次功能调优,一个个参数试验,不够好,再重来。一天深夜,加班回来刚刚躺下的浪潮存储测试工程师脑子里又开始过筛子:白天测试结果虽然达到了客户招标要求,但能否还有提升空间呢?突然一个灵感闪过——是不是能换个功能的参数组合试试?他一骨碌从床上爬起来,迅速把想到的实验参数记录下来,次日便带领项目组进行组合调优,终于让性能上了个台阶——读性能从25GB/s~27GB/s区间段,提升到最高28.06GB/s。

经过长达半个月的13次系统级测试,浪潮16个节点的分布式存储平台平均写性能达到27.4GB/s,平均读性能达到30.55GB/s,容量和性能超出了招标项目需求。最终,某石油勘探公司的工作组在浪潮济南实验室看到了测试数据的Demo演示,对测试情况非常满意。“浪潮存储的实力和几年前相比有了很大提升,这次我们的招标方案,性能要求已经比较高了,没想到浪潮存储还能表现得更好”。

测试数据

浪潮存储研发工程师表示:“同等配置水平下,目前分布式存储业内平均水平为单节点写1.3GB/s、读1.5GB/s,这样一来16个节点的平均写性能是20.8GB/s、读性能24GB/s。对比来看,浪潮分布式存储在石油勘探项目中的性能表现,比业界平均水平高出了20%~30%。”更高的性能意味着,浪潮分布式存储平台可以帮助石油勘探项目缩短勘探开发周期、提高勘探开发成功率。

浪潮分布式存储的测试性能:写性能比业界平均水平高32%,读性能高27%

极速性能的背后是基于场景的技术创新

同等的硬件配置,浪潮分布式存储为何能实现更好的性能?答案在场景化定制上。浪潮存储通过内核客户端优化、对象聚合、高速缓存、读写锁优化等技术创新,结合石油勘探不同业务阶段的IO负载需求进行深度优化。

在数据存储阶段,石油勘探需要将采集到的原始地震波数据统统写入分布式存储平台,存储需要提供高聚合带宽和PB级容量,满足海量数据的并发写入、存储需求。

在数据解释阶段,存储需要提供高带宽,能够一次性“读出”单个文件大小超300GB的超大文件。此时的存储需求是高带宽,超宽通路过得了万吨轮船。

而在数据处理、分析阶段,石油勘探模型处理、分析产生了海量的次生小文件,存储需要通过小文件/对象聚合技术,提升海量次生小文件的并发性能。这就如同水库,先汇聚资源,达到一定蓄水量后再向下游统一输出,存储要把亿级/千万级小文件的随机写变为固定大小的数据的顺序写,提高效率。

浪潮能源行业部存储产品经理表示,“通过在石油勘探中的部署和应用,说明浪潮存储不仅产品过硬能够承载能源行业的领先应用,还有专业的测试、研发、服务团队,有能力在全球提供很好的支持”。

IDC 与浪潮联合:新数据时代元年,分布式存储成为趋势

根据近日IDC与浪潮联合发布的《2019年数据及存储发展研究报告》,2019年中国迈入新数据时代元年。报告显示,在2019年中国数字化转型IT支出首次超过非数字化转型IT支出,占比达到51%。随着数字化转型的不断加速,行业新应用爆发式增长,从数千、数万跃升到百万量级,数据呈现出海量、多元、实时、多云等趋势。数据存储成为承载交通、金融、能源、通信等行业转型的基础平台,分布式存储成为趋势,2023年其占比将达到40%,闪存阵列将迎来高速发展。

免责声明:本网转载自合作媒体、机构或其他网站的信息,登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其内容的真实性。本网所有信息仅供参考,不做交易和服务的根据。本网内容如有侵权或其它问题请及时告之,本网将及时修改或删除。凡以任何方式登录本网站或直接、间接使用本网站资料者,视为自愿接受本网站声明的约束。
相关推荐
辽河油田成功降低压裂液对油田储层伤害

辽河油田成功降低压裂液对油田储层伤害

裂技术是实现低品位油藏低成本开发的关键技术,而压裂液对油田储层的伤害程度决定了压裂施工效果。记者从中国石油辽河油田获悉,经过两年的科研攻关,该油田的压裂液对储层适应性评价项目形成了4大类20余项技术,成功解决了一直以来无法准确评价压裂液对储层损害程度的科研难题。
六个方面86条措施 中国石油深化改革促高质量发展

六个方面86条措施 中国石油深化改革促高质量发展

1月6日,中国石油天然气集团公司青海油田分公司采气一厂工作人员在协同作业。 中国石油天然气集团公司青海油田分公司采气一厂从现场管理和技术措施入手,优化组织运行以及安全环保管控,运用堵漏防漏新技术,钻井工程提速提效效果显著。2020年提前2个月完成8亿方产能建设任务,新井投产257口,为冬季供气提供有力保障。
中国第四桶国油中化能源启动上市!

中国第四桶国油中化能源启动上市!

日前,国内石油行业又一巨头——中化能源股份有限公司向上交所递交招股通知书,正式启动上市工作。随着中化能源即将登录资本市场,我国上市国有油企队伍有望得以进一步壮大。
美国原油产量创纪录暴跌近40%!

美国原油产量创纪录暴跌近40%!

2月17日消息,据交易员和业内高管透露,由于前所未有的严寒天气冻结了美国中部地区的油井作业,美国的原油总产量创纪录暴跌近40%。
石化油服科威特国家石油公司10部修井机服务项目合同

石化油服科威特国家石油公司10部修井机服务项目合同

记者19日获悉,石化油服(600871)18日发布公告称,公司中标科威特国家石油公司10部修井机服务项目合同,合同期5+1年,预计新签合同额3.6亿美元。

推荐阅读

热文

关于我们 | 广告服务 | 联系我们 | 免责声明
京ICP备16023390号-2 Copyright © 能源界 服务台:010-63990880