IOCON2018互联网运营千人峰会

DTCC 2017:金融行业数据库存储与加速

活动家 2017-6-14 IT互联网 4,353 0 喜欢 (0)

2017第八届中国数据库技术大会(DTCC2017)于2017年5月11-13日在北京举办。本届大会以“数据驱动·价值发现”为主题,汇集了来自互联网、电子商务、金融、电信、政府、行业协会等20多个领域的120多位技术专家,共同探讨Oracle、MySQL、NoSQL、云端数据库、智能数据平台、区块链、数据可视化、深度学习等领域的前瞻性热点话题与技术。

  5月13日,在数据加速存储专场上,拍拍贷数据库负责人徐玉锦以《金融行业数据库存储与加速》为主题,分享了

金融行业数据库存储加速场景以及存储方式。徐玉锦介绍,在互联网金融里面向的应用,通过硬件方式在场景中的使用数据存储方式。

DTCC 2017:金融行业数据库存储与加速
▲拍拍贷数据库负责人徐玉锦

  传统存储方式

NAS存储方式:全称网络附属存储(Network Attached Storage) ,是指存储设备通过标准的网络拓扑结构(例如以太网)连接,NAS是在网络中放置一个单独的存储服务器,此存储服务器开启网络共享。并不是提供数据库的应用方式。

SAN存储方式:在传统金融行业公司应用比较多,比如戴尔、IBM。

DAS存储方式:这种存储方式又称直连式存储(Direct-AttachedStorage),存储设备是通过电缆(通常是SCSI接口电缆)直接挂到服务器总线上。 DAS方案中外接式存储设备目前主要是指RAID、JBOD等。基于高可用的安全定位。

传统存储方式应用指标:DAS用于虚拟化,IPSAV用于开销。

传统存储适用场景优缺点:成本偏高,横县扩展有局限性,跟存储厂商的费用,最大的问题就是IO读取受限于控制器,价格超高,本身是个单点,数据库维护要求不高。

现阶段存储方式

演讲中,徐玉锦说,现代化存储方式介质主要采用两种:PCIE和SSD,相对于传统存储方式而言,性价比比较高,横向扩展比较灵活。

SSD 在MPP 中加速存储

据了解,MPP数据库有三个优势,第一个性能完整,第二个它比Hadoop性能高,我们看到现在Hadoop性能超过MPP若干倍。第三个优势就是说它上面的DBA工具,外延工具非常全,在Hadoop系统DBA工具越来越丰富,一些新兴的创业公司在Hadoop上开发完整的DBA工具,这些工具原生支持Hadoop的,从这个来讲Hadoop的DBA工具超过传统MPP数据库的功能。

徐玉锦认为,SSD替代是比较好的方案,随着硬件技术的发展我们发现内存已经被大容量的SSD取代,这个也是非常明显的趋势。

Pcie 在RDB(HA/LB)中应用

徐玉锦介绍,PCIe比以前的标准有许多改进,包括更高的最大系统总线吞吐量,更低的I / O引脚数量和更小的物理尺寸,更好的总线设备性能缩放,更详细的错误检测和报告机制(高级错误报告,AER)和本机热插拔功能。 PCIe标准的更新版本为I / O虚拟化提供了硬件支持。

除此之外,PCIe的主要优势在于其减少延迟的能力。PCIe和PCIe总线直接相连,使缓存和数据更接近CPU。他们消除了传统存储协议的开销,并且在合适的条件下能实现远远优于从08年开始销售的串列SCSI和SATA的固态硬盘SSD的性能。

转载请注明来自活动家资讯,本文标题:《DTCC 2017:金融行业数据库存储与加速》

喜欢 0 发布评论
AICon全球人工智能与机器学习技术大会 2018
AICon全球人工智能与机器学习技术大会 2018
发表评论


Top