2016年4月20日，“中国信息通信大数据大会”于北京召开。在本次大会上，工业和信息化部通信发展司司长闻库、中国通信信息化部副总经理兼CTO范济安、中国电信云计算中心主任赵慧玲等嘉宾出席了本次大会。
IBM系统硬件部电信行业技术总监 房树新
以下是IBM系统硬件部电信行业技术总监房树新演讲实录：
从电信运营商角度我们看到了几大地域，有B域、M域、O域，IBM过去很多时候都是在B域里面，在CRM这一块做的很多，另外在数据仓库这一块，不管是服务器的提供和软件的提供。随着大数据这几年如火如荼的发展，我们的工作也主线是在精分这一块，还有在B域这一块展开比较多一点。
我给大家展现大数据给我们带来什么？我们看到过去只是喊有技术了，怎么可以和实践结合呢？怎么利用大数据技术，能够给我们的企业带来价值，实际上过去我们也是在不同领域展开这样一个探索。现在来看，确实是随着大数据的建设，真的是带来了一种商业的价值。谈大数据都是X86、互联网发展来的，都用的是开源软件，是不是这些开源软件是在IBM平台上跑不起来呢？过去三大运营商里面很多应用服务器都是用的小机，小机上面可以跑AS系统，可以跑很多系统。现在我们在企业级用的各种各样的小机，完全可以把它装成一个操作系统可以使。
谈到大数据，大家说X86是廉价的，是成本比较低。从IBM在转型，它也推出了一系列的低端的服务器，用于在X86这样一个价格的档次，同时它又用到了一些小型机的处理能力、可靠性、稳定性，还有上面一些广大的运维支持的IBM的这些能力，这些能力不能光用IBM的商用软件，一定要用开放的软件去整合在一起。
这张图整合了，现在不管是O域、B域、M域常常用到的开源软件，这些开源软件在IBM的芯片上都能跑起来。过去我们做了很多实践，也是基于开源软件来的。我们是企业级的客户，除了用到开源数据，还要有KPI的要求，开源有可能不稳定，出现问题往往得不到及时的解决。现在有回归的看法，并不是追时髦，今天你出了某个版本，马上就使用。我要解决企业问题的，不是一个学术单位，不是一个研究单位，我一定要用有服务，有保障的解决方案，所以就冒出来了大数据有自己的模块，同时有服务支持能力的。IBM也是其中之一，第一部分是开源，你有我有，第二部分，你有，我没有，第三部分是各家公司在开源这上面加入的有价值的那一部分，这一部分是要收费的。同时如果这些东西用到企业级里面，还有一个运维的保障，这是给大家汇报一下解决方案。
我现在结合两个案例，给大家汇报一下我们在大数据领域里面做的众多案例里面选了两个，一个是纯开源的，一个是用的半商业的加开源的方案。第一个案例跟汤总介绍的有点类似，这个省份的运营商要把它的B域、O域、M域和第三方的数据做一个采集，有一个接口，数据抽取出来保存下来，在上面导入Hadoop，去做分析加工，然后再转到它的主体库里面。在这里面用到了X86一部分机器，用到了IBMpower芯片，构成了一个完整的大数据场景。
在最上面就是它的业务，跟上午各位领导专家讲的一样，客户的画像，精准营销，还有长漫游包的处理等等，都是基于整个大数据平台构建的一个业务层面的展现。到今天来讲，这个是做到了第二期了，第一期用了60台机器，上面构建了ETL等等，在接口层面透过IBM四台V7000，把各种数据抽取到这上面来，建立了一个全省统一的一份数据，能够被多个业务进行分析加工处理，这是一个IT的配置。
下面可以看到全是用的开源的东西，比如Hadoop的2.0、3.0。随着逐渐的建设，它引入了南大通用通用的数据库，用了28台机器，构建了高节点的数据库，跟原来的几十台的廉价的X86曙光浪潮的机器，构建了一个贮备库。随着业务量的突飞猛进，原来构建的库显得不够用了，到今天它扩到了102台机器的架构。这是一个架构演变的图，可以看到它的主库是DBT库，分布式数据库有主的，有备的，Hadoop也有一个全量的备份库，还有流处理的。这些库建设干什么呢？通过不同的库做不同的事情，比如DBT保存6+1月的地域的数据和备份数据，Hadoop是B域和O域的全量数据，通过6+1、12+1、3+1，根据业务保存不同的需要，用不同的X86技术和Power芯片技术，达到了一个混合的架构，一个是为了性能，一个是为了业务区分它的重要性和投资的考虑。
另外一个案例就是另外一个省的，这个省的案例原来是X86的案例，是用的纯开源的。纯开源碰到问题以后，得不到解决，用户吃了不少苦头。在后面建设的时候，他说我要在软件和架构层面有一个服务保障的解决方案，这里面就用到了30台Power系统，它认为是一个小机的架构技术，又是一个X86的价格，性能和稳定性是有保障的。另外原来用的全是CDH的解决方案，现在他用到了IBM的大数据文件系统，再结合开源的东西，来处理它的上网数据。这些每天的量达到50个TB，基于这样一个架构，各开发商在上面用SV来做各种各样的应用。
随着建设的发展，现在到了第二期，第二期主要是性能和容量，要补充第一期的不足。同时第二期还要再建一个跟第一期进行互补，或者是做一个互相备份的功能。在第二期里面就引入了更高版本的对Hadoop2.0的支持，构建了第二期的平台。前面通过处理，导向大数据平台。这基本上是第二期增加的部分，用了16核的机器，38台，用了IBM的大数据平台，建设了第二期，把数据和应用做隔离，做到两个系统同时运行，做到一个相互呼应。
另外一个就是用大数据来解决企业的问题，发现在性能方面还是不够。从Hadoop到SPARK，在内存迭代分析，觉得性能还不够，现在还得探讨引入SAPHANA这样的技术，我们能不能把它用在精分里呢？比如我把精分的数据和前面生产的数据，通过一个SAP工具导入HANA里面，我在上面进行分析加工，这也是现在展现的一个思路。其实这个是在国外HANA用的非常广泛，并且用的HANA都是支持十几个T、几十个T的一个场景。一种情况是用高端机器，我就用大内存、大数据能力来进行处理。
另外一个解决方案，我用受节点，构建多节点的东西去处理，这些东西对我们电信领域来讲都可以用。这个就举一个例子，在实时营销和实时报表方面，我就借用HANA快速内存计算的能力来引入这个技术进行处理。在这里我们探讨的是，我把数据仓库的数据导到HANA内存库里面，分析的时候基于HANA里面的数据进行分析加工，能不能在4G时代能够实时做到用户对通话，对流量使用的情况，快速作出决策。如果原来在数据仓库里面这个时间还是满足不了实时这块分析，引入HANA以后就是一个很好的思路。这些我们是在一些省份也在落地，在进行各种测试和验证工作。
另外用户提到在大数据里面，我买X86的机器，X86的机器可能在它的带宽上和CPU上和IO上有一些短板的地方，在Power芯片的机器能不能和X86机器搭一个混合架构，这边是给大家一个功能的验证。在一个Hadoop里面，我用Power芯片来做，用X86来做，构建一个混合的Hadoop没问题。如果是一个X86做主节点，其他的混合结构是做从节点，来发起对任务的调度和处理，也是没问题的。反之也是一样，通过这样一个验证，能解决有些省份的需求。我机器可能不被一家来绑架，我要根据我的集采，买了不同处理能力的机器，能不能放在统一大数据平台里面，构建一个多租户，统一共享的能力，甚至把Hadoop和SPARK在混合架构上来部署，这些是给大家一个信心，是可以的。
另外一个就是Docker，现在有了Docker以后，能不能把web服务器节点放在Docker里管理呢？Docker以及Docker之上的管理就摆在大家面前了，这是我们现在跟很多省份在谈，怎么把一些传统的架构改成一个微服务的结构，改成微服务的结构，就会带来什么问题呢？Docker那么多，怎么部署Docker？怎么监控Docker？怎么用多租户的方式，这个就带来了一个问题，IBM是在操作系统方面，在核心的调度管理方面是IBM有很多软件的积淀和积累。上午我的同事李永辉谈了很多多租户管理，我们把那个技术拿过来，绿的那一层，就可以和K8S对接，下面有Docker，同时加入了多租户的调度和管理，加入了监控和管理，加入了我上面的作业是实时应用的也好，我可以放在一起，构成一个统一的资源池，用Docker管理。这是IBM在开源的基础上，整合IBM有价值的能力，为我们不同的需要来提供解决方案。
另外从硬件上，这些加速方面，因为芯片的设计和带宽的设计，体系结构的设计，相对X86，我们就是有4倍或几倍的理论带宽和实际的处理能力。从实际处理能力来讲，给大家举一个例子，一台十核的机器和24核的E52090V3比，如果跑，我们一个核能跑到4.6个核的E52090V3的处理能力。简单总结一下，我们过去做了很多大数据的实践，为什么得到一些认可？一个是用户对小机的处理能力还是有一个继承性，另外它稳定、可靠性方面，他觉得比X86稳定。尽管X86可以说我用软件技术来屏蔽单点问题，但是现实很多软件还没有做到微服务，还没有像互联网那样，改造成容忍某个节点死掉，对整个系统的业务连续性还能保持很好，我们业务还没做到那一步。单节点的稳定性可能在现阶段还是一个强调的重点，另外在操作系统方面，可能买了一个订阅，有可能开了扣了以后解决不了，如果用IBM，IBM投入了巨大力量在参与社区，贡献核心的开发。我们看到很多实际的跟IBM结合的，IBM会有一个很强的队伍跳进来，分析这个内核的问题，也贡献了很多核心的功能。IBM我们是一块来解决问题，这也是一个售前、售后服务的保障和对核心业务的快速响应的保障。这些可能给大家有一个共识，在大数据方面，IBM还可以做一些事情。时间关系，我就介绍分享到这里。谢谢大家！