浅谈大数据的应用及基础

2013年5月15日、16日，第六届云计算高峰论坛暨展览在北京国家会议中心盛大举行，吸引了来自政府部门、金融、保险、电力、能源、医疗、教育、交通、物流、教育、制造等行业的近3000名企业IT、信息部门主管及专家学者，跨国公司在华机构，科研院所的CIO，CTO等企业IT、信息部门主管及专家学者等具有行业代表性的相关企事业单位人员积极参与。60多家国内外知名厂商以此为平台，展示了其最新的产品及解决方案，成为众多线上线下观众的关注的焦点。

今日，知名厂商NEC亮相“云计算高峰论坛”，NEC公司IT网络平台事业部软件销售部部长李勇发表精彩主题演讲，主题为“浅谈大数据的应用及基础”。以下是现场速递。（声明：本稿件来源为现场速记，可能有笔误和别字，仅供参考）

NEC（中国）有限公司 IT网络平台事业部软件销售部部长李勇 

主持人：

大数据方面NEC也有很多的想法想和大家分享，接下来请出ENC中国公司IT网络平台事业部软件销售部部长李勇为我们带来浅谈大数据的应用技基础。有请！

李勇：

各位IT界的同仁，各位朋友们，各位媒体朋友们，女士们，先生们，早上好！

非常高兴跟大家共聚一堂分享NEC在大数据领域的一些粗浅认识，希望能跟大家一起来推进大数据在中国的落地和应用。

请允许我简单介绍一下NEC公司，NEC是一家成立于1899年的百年老店，目前已经走过了114年的发展历程。NEC是唯一一家在计算机领域、通信领域、电子元器件领域同时排在前五位的公司，在全球拥有超过310家子公司，15万员工的500强公司。我们的业务领域包括ITUniverge，IT基础架构产品，社会基础设施比如说卫星，还有在座听说过NEC手机、笔记本电脑、投影仪等等。

我和我的团队隶属于平台事业单元，我所隶属的团队隶属于IT基础架构事业单元，在2010财年，NEC集团销售额大约是400亿美元，在其中平台事业单元占到了整个销售额的12%，大约是48.5亿美元。个人解决方案，在中国我所隶属的团队，同时负责平台领域的产品，和个人领域的产品销售，实际上NEC在中国，前一段时间有三防手机在销售，目前仍然在面向企业用户，销售NEC的平板和NEC的笔记本电脑。在整个平台事业单元当中，NEC有各种各样的产品，有硬件产品、有软件产品，也有通信类的产品，而我所负责的是在中国NEC基础架构类的软件销售，NEC在中国销售的IT基础架构类的产品都有哪些。

今天跟大家介绍密切的，包含NEC整套大数据解决方案的基础架构层的产品在内，当然我们也有类似于中间件产品，同时也有做IT运维管理产品。IT世界公司产品非常多，NEC积极的跟其他国际著名的IT供应商合作，为客户提供非常好的解决方案。大家可以看到，NECIT基础架构类的软件产品和服务，能够全面的支持IT基础设施服务EOS。我们有负责AP运营平台webctx也有信息管理平台Infoframe，也有面向云的安全性的产品线。

下一个想跟大家交流的是大数据，NEC对大数据怎么定义的，实际上NIE对大数据的定义，并不是说数据量大就是大数据，真正的大数据有一些特征，比如说数据量过于庞大，导致用传统的处理方法已经无法处理这些数据。一追情况是现有的数据处理方式，已经使得我们的业务难以正常开展，比如说最近接触的一家金融行业的客户，他每天下午收盘，早上开盘，他在收盘和开盘之间，每天要花7-8个小时处理他的数据，每天都非常紧张，一旦处理数据的时候发生一点点问题的话就会影响他的开盘，所以每天IT管理人员都像打战一样。有一些数据的处理方式，到现在为止都没有使用过，非常复杂，针对这样一些特征，NEC定义为所谓的大数据，为什么会产生大数据，看一下大数据的时代背景，实际上根据数据协会的统计，在1998年的时候，由于网络、手持终端等等设备还没有进入普及的阶段，数据量非常小，可是大家看这个图会发现，从2002年开始，据我所知在发达国家欧美、日本，2002年、2003年左右，家庭已经进入100兆光纤的连接上网时代，当时我在日本工作和生活，我家里的网络在那个时候就已经是100兆的下行速度。现在我家在上海，家里的网络光纤都还只有30兆，足足迟了十年。所以在2002年开始数据量发生了突变，大家发现有非常多的数据量爆发出来，其实在这么多的数据中，我们发现有98%以上的数据只是发送了数据，没有挖掘数据的价值。到2008年左右，这一比例进一步扩大，没有去被利用到的信息量占到整体信息量的99.4%，这些信息量都有什么东西，比如说在互联网上，有一些论坛里的消息，我们有视频图片，有电视广播当中出现的信息媒体。这些信息通常非结构性数据会比较多，同时我们发现随着IFID等技术的出现，我们发现来自于传感器生成的信息数据也极聚增加。企业日志等信息也没有很好的被利用。2025年社会的信息量将猛增至2006年的200倍。在这样庞大的数据背景下怎么用好这些数据，这些数据是垃圾还是宝藏？

NEC在大数据领域做出非常多的研究和事例。NEC在2010年面向换集团员工同时并发处理5000个客户端的私有云就已经上线，而且运营到现在没有发生过一次下线。在这方面NEC更像是一个脚踏实地、埋头苦干的技术人员。网络方面，比如说提供给电商一些大数据的方案，来帮助他们，比如说当前网购热点怎么排列出来。比如说通信领域，我们如何去提高ARPU，如何减少客户的流失，因为在美国也好，在日本也好，都有几家大的运营商，各运营商之间去抢客户，各位比较熟悉苹果的知道，在美国运营商之间苹果手机也有不同的区别，大家可能需要去按照自己的需求去采购手机，这个时候手机会变成选择运营商的理由，在这种时候其实我们通过一些大数据的分析，去减少客户的流失，同时我们还要在金融行业，在物流领域，在制造，在政府等等方面，也会有各种各样的应用。通过大数据可以让整个社会大家做更加理性、有事实根据。

举一个例子来说，实际我们已经落地的解决方案，人脸识别系统，在娱乐场所可以通过连部识别可以实现客户的快速通过，实际上各位如果去香港，去马来西亚，去日本旅游，你们会发现在香港、马来西亚、菲律宾、日本都大量使用了NEC的人脸识别技术，通过人脸识别找到通过安检处的识别。同时NEC也面向流通行业的客流分析解决方案，比如说店铺，通过这张图所视的管理方案，比如说我们可以分析客户是从入口进来之后，他走什么路线，在每个商品的柜台前面停留多长时间，他可能对什么商品感兴趣，他最后购买了什么商品，对这些数据进行一系列的分析，来得出我应该采购，我的商品陈列应该怎么陈列，我的商品应该更多的放一些哪一类的商品。当然这个地方也跟年龄、性别有关系，这是一个非常复杂的处理过程。关于这个解决方案，NEC在日本做了一个非常漂亮、完整的收录。

每年信用卡的使用都有大量的投诉，前几天刚刚发生过有一位女士她的卡被盗用，人家用她的信用卡通过去哪儿网采购19600元人民币的旅游产品，她当时打电话到信用卡中心，卡中心说我们会帮你调查，后续结果不通知你，结果找到商家，请求商家帮助她找到订单，还好这个旅游是订购的性质，结果她赶在当天网上结束之前，在订单开始之前取消了，挽回2万人民币的损失。过了好几天银行信用卡中心仍然没有给她答复。在这个时候，如果银行的信用卡中心能够非常好的用大数据解决方案，防止盗刷卡使用情况的出现，不但银行我们个人也可以减少损失。中国的信用卡发行量超过了3亿张，但是我们的实际使用量根据统计只有1.5亿张的信用卡在使用。这个数据在国外比我们人口更加少很多的国家都比我们多的多。往往是人手手七八张信用卡，中国信用卡经常不能用，这个世亲同时也产生了很多假钞泛滥的现象。对于银行业来说，大数据是一个非常重要的领域，值得研究。这个是NEC对于工厂、住宅等方面大数据的解决方案，比如说我们可以对电梯的数据进行分析，对能源、对水处理设施，对照明等等这些信息进行处理，同时对进入的管理进行管理，通过管理能够去防止工厂、建筑物发生一些危险，甚至比如说我们可以通过建筑物的内部房间数据的监控，自动的为入主的客户提供温度调节的功能，人多的时候可能就把，温度调节的低一些。

在农业通过搜集土壤里边的数据，判断农作物的繁殖情况，预期收获的产量。通过这样的手段能够使农业生产效率最大化，通过这样各种各样的传感器、工作日志进行搜集再进行高速处理，能够指导农业生产的效率化，交通领域也有非常好的应用，可以通过汽车上所装载的传感设备，道路上安装的传感设备去搜集这些数据，同时进行数据的解析，可以给用户提供一些，例如安全最佳的路线，同时也可以通知到厂商、汽车用户零部件的使用寿命，同时还可以把数据共享到经销商、厂商、零配件的供应商的库存，很大程度上取决于你的库存，如果库存过多你的利润率就会下降，生产工具几乎是零库存，在当时石油危机的时候，丰田公司一举获得成功。

日本、北美推出大数据业务分成三到四个阶段为客户提供服务，第一个阶段为客户进行规划，参考客户以前的数据分析案例和技术，去理解用户通过这个数据达到什么样的经营管理目的，同时根据NEC自己的经验进行指导，所以我们会确定通过大数据的分析，我们会帮助企业改善经营管理，做一些什么事情，根据客户的经营目的、经营指标、业务方针来确定重要的评价指标，基于现有的数据和分析情况去提出如何改善利用大数据的方案，根据书记的数据进行分析，进行验证，来验证提出方案的有效性，证明验证工具的有效性。最后会有一个实测和上线，有一个关键俗语POC，通过实际模拟系统来进行验证。这样一个大数据的挖掘计划，NEC在北美、日本会经历两个月、三个月的阶段。

NEC有自己的MQM平台，来手机各种各样来自传感器、机器上的信息，同时对这些数据进行加工合并、整理，通过各种各样的数据处理来进行分析。所以在这里我要为大家介绍的是NEC大数据的框架图。首先是底层，底层跟过去IT基础架构有什么区别，底层也是可以通过云的通过服务器、网络、运维、管理等等。最重要的是底层的设备所得到的数据，我们要通过M2M平台，NEC有自己一套M2M的解决方案，能够对IFID传感器，手持终端、红外线的设备各种各样的传感器获得设备，通过各种通信形式，比如说3G、4G，对信息进行保存、并发处理，NEC也有分散数据库、内存数据库，把这些数据提交到分析引擎群进行分析。具体的是一些应用，用人脸识别技术进行市场的研究，对安全的防范。在加工合并层有NEC自己缓冲存储。

这是我们与合作伙伴一起为客户提供大数据的产品关联图，我们也会跟Hadoop合作，也会和北美的企业合作等等。这是NEC在2010年收购的一家公司，这个地方讲的是NEC的平台，农业方面通过传感器，车载传感器等等获得这些数据，并且把他进行统一的保存、管理。这是NEC大数据的解决方案，他主要的好处ENC还有自己的数据仓库，会形成非常高速的查询。NEC人脸识别技术在中国已经有大量的成功案例。他是一个学习性的软件产品，通过自我学习实现系统的预警，对学习进行建模，当传感器的数据发生异常的情况下给出一个报警，实际上这个原理是什么，我们在一个工厂正常运作的时候，每台加工生产线上每一个流程在某一个正常运行的情况下，他的每一个流程都有一定的负载。但是当有任何一个地方发生故障的时候，所有的设备之间平衡关系会被打破，我们在计算机领域会发现，在很多系统当中有非常多的子系统，当中可能会有一个数据库访变变慢了，你的数据库不会去报错，实际上整个系统的性能会放慢。同时NEC也有自己可编程流的解决方案，你不需要进行路由器的插线拔线，只需要通过路由器把网络连接好就可以实现网络的连接改变。

NEC大数据的几个产品，其中一个产品是大数据的数据库，在大数据的时代我们的数据库需要在三个方向进行一个改革，一个是我们要进行一个高速的事务处，一个是需要有非常高的、非常大的扩张能力、可扩张性，同时我们要有非常高速的大数据的查询能力，这样的数据库才能适应大数据的需求，NEC新兴大数据的数据库，这个产品是兼备传统RDB、KVS的优势，即具备无线灵活的扩展性，同时也具备非常好的SQL接口和事务处理和高可用性。比如说数据量在传统的数据库架构下，当数据量发生一个非常大的变化的时候，有可能我们需要进行整个系统的重构，重新设计，但是在大数据时代，我们发现数据量会无限制的增加，每次增加你都要重构系统，这是一件非常不效率的事情。在大数据时代，我们的数据库应该是可以支持到数据量的无线扩展。根据我们的计算，目前购置大数据NEC的RES的产品数据库上线的时候数据库的成本仅仅是传统数据库的50%。

这个产品的第二个特产，即便访问量、数据量增加的时候，我们不需要系统下线也可以进行扩展。同时NECIES产品能够支持有效的应用到现有的应用程序代码，基本上现有的数据库的应用代码的使用率可以超过90%以上，同时NEC的产品也具备高速的事务处理能力，这个产品其实是2012年2月份正式发布，本来是用于NEC面向日本运营商的项目，发现在2012年的时候，这个产品、这个项目当中我们研发了这样一个产品非常的适合去推广，所以就把他进行推广。在2012年我们也参加了非常多的活动，获得了社会的一致好评，目前我们已经发展到V2.1版本。在2.1版本中增强了Hadoop协作的功能，可以直接跟Hadoop可以直接读取的连接，可以增量数据提取，进行数据并行导入，同时在安全方面也进行了一个强化。产品咨询行业分类在通信、服务业、政府机构、商品流通、媒体、金融等多个行业，他们的需求往往体现在他们要长期保存数据，所以需要对新系统进行一些升级，但是由于现有的数据库，传统的数据库保存的数据量非常有限，如果要进行新的升级，保存成为新的问题。通过物联网技术获取的数据，这个信息量是非常大的。

内存数据库的产品，他在产品线当中实现一个高速海量数据查询的功能，往往会发出什么问题，网上处理交易数据，根本来不及完成，他要进行这些数据的使用，进行数据库的调优才能不断的去努力，才能使得这些数据处理的速度能跟的上公司业务的发展，同时他们需要改善性能的时候，他们要重新添加一些硬件和软件许可证。他们也碰到一些什么问题，他们只能够分析眼前的数据，其实他们希望分析历史数据，通过过去五年的数据得出市场客户发展的情况。根据我们的计算统计，DataBooster数据处理数据库是传统数据库处理速度的40倍。在服务业有访问日志的统计系统，在商品流通行业有通过DataBooster数据分析系统，同时在商品流通行业也有高速生成的案例。

总结来说，今天主要为大家介绍产品，是一个产品群叫InfoFrame，是支撑大数据的基础数据库产品。今天重点介绍两款产品，一款简称为IERS，还有一宽是DataBooster，如果各位对NEC大数据或者大数据产品感兴趣会后可以跟NEC的工作人员联系，也可以访问NEC的官网，同时NEC在5月23日也有一个全新的门户网站IT基础架构产品上线，还请大家有空来看看。

谢谢大家！ 

关键词:浅谈 大数据 应用

分享到： 0