Oracle软硬集成工程调优的大数据解决方案

2012 第五届CCS云计算高峰论坛暨展览吸引了近3000名来自运营商、政府部门、金融、保险、电力、能源、医疗 、公安、军队、教育、制造等行业的企业IT、信息部门主管及专家学者积极参与，深度探讨政企私有云应用现状及发展趋势，分享与交流云计算的优秀案例。该盛会于9月13日、14日在上海浦东展览馆隆重举行，60多家国内外知名厂商以云计算高峰论坛为平台展示了其最新的产品及解决方案，成为众多线上线下观众的关注的焦点。

“甲骨文”亮相“云计算高峰论坛”并发表精彩主题演讲，其演讲主题为“Oracle软硬集成工程调优的大数据解决方案”。以下是现场快递。（声明：本稿件来源为现场速记，可能有笔误和别字，仅供参考）

主持人：下面有请，Oracle大数据资深顾问贺辉群，他将给我们分享大数据方面的想法和做法。

甲骨文大数据资深咨询顾问贺辉群

 贺辉群：我今天讲演的是Oracle软硬集成工程调优的大数据解决方案。刚才不管是电信的客户包括行业的使用和方法都讲演的很清楚，微软的同仁也讲了很多大数据的一些他们的解决方案。对于Oracle而言，大数据的一些概念我们就不多说，先看看大数据最基本的五个特征，数据规模很大，大家都很清楚，比如说数据来源非常非常广，这也其实是非常非常没有什么质疑，包括数据业务资质很大，数据逐步的增长，在大数据说白了就像大家现在摸象一样，这么多的数据，怎么样在数据里面发现数据真实的发觉价值，而不是每个人只拿到数据一部分说我知道了数据，我知道客户是什么样的，我知道市场是怎么样，不是一个盲人摸象的过程。而是大家都在摸，同时把数据智慧聚集起来，你拥有越多精确的数据源就无限逼近事实和真相，实际上是整个商业里最需要的东西。

实际上我们对于客户的理解，不可能是希望一个黑匣子，我们实际上希望拿到客户方方面面的信息，能够还原一个客户真实的面貌，我们说无限逼近他的状态，我们可以看到他还是一个模糊的状态，但刚刚电信的同事讲到，DPI，或者讲一些可行为，包括数据挖掘，实际上要的就是怎么把一个模糊的或者说一个黑匣子的人脸能够还原出一个客户真实的存在，对客户的一个最真实最准确的一个感知。

大数据现在很多时候包括前面讲到的很多的客户的一些案例，都是讲一些比如说DPI的数据，日志的数据，实际上大数据真正应用的分析平台不仅仅是这些简单的非线化数据，很多时候要跟企业核心的运营数据，各个方面的数进行广泛的交叉复用，整个企业应有的数据非常庞大，同时企业对再在的数据也有非常迫切的引入的需求。比如说保险，银行，特别希望能够获取客户在上面，比如说Facebook也好，微博也好，Twitter上面所体现的所有的客户真实的社会行为，包括他的朋友圈来获取更多客户的真实信息，防止一些防欺诈或者了解客户真实的存在。这样一来我们发现企业里面有大量海量的数据，数据处理的时候，主要对于传统的数据处理会造成一个比较大的冲击。因为以前，我们在做数据库的时候，我们基本上做一个仓库，首先做一个很精巧的模型花了很多人工，花了几年做出一个模型，说OK，我的模型可以覆盖你整个公司或者整个行业整个业态所有的分析，到了大数据时代，数据处理大大超过你控制的范围，同时数据稍微做一个变化，包括你的模型稍微发生一个变化，很可能对你的业务周边会产生各种各样的影响，所以在谷歌推行一句话，谷歌的研发总监在他的一本书里面说：简单的模型加海量的数据比精巧的模型加上较少的数据更有效。这句话的含义是什么？你模型很精巧确实是有帮助，但是你没有数据的话，所谓的巧妇难为无米之炊。你拥有外围各种各样的数据的话，我是一个很简单的模型，但我可能用机器对这些数据学习进行训练，不断的完善我的模型，从而更直接更有效对数据的掌握掌控，从而对业务产生更大的价值。因为你原来做模型要经过层层的数据的管理、汇聚、提炼、加工再到你的仓库或者BI，这样一来，在每一层的加工过程中，大量的数据信息都会力度越来越高，你的一些原始数据，或者是裸数据之间，你最终会被它的一些丰富的属性信息已经被过滤掉或者是失真掉也好。大数据的时代到来，能够提供一个直接对海量的最初级的数据直接进行加工的能力，以前做精巧模型的可能性就不需要那么大，完全可以直接在全量数据上进行直接的计算，而未必需要一个数据提炼的过程，以前提炼一个是模型的问题，还有数据扫描，IO各种压力，把数据力度化要提高的问题。这是我们认为大数据整个的特征。在这里面主要体现在数据量一个数据来源，同时结构化数据，复杂数据，交叉广泛的应用使用包括它的模型。

这里我们传统的是你的数据，在这里，我的业务在这里，我就按照我的业务规则来处理就完了，基本上我按部就班，我按流程做事，我要做什么事情，我要出什么报表，我要出什么结果，我要做什么挖掘都有了，但实际对于大数据的一个专享是什么？基本预测性分析，你的数据源拥有足够对，你对数据可以进行各种各样的挖掘，各种各样的分析。比如说星座和消费之间的关系，以前都没有这样的数据。比如说使用3D上网的客户，他的职业变迁的路径又是什么样的，这些没有大数据的前提下很难对于这些数据或者是对这些问题进行一个分析，这些都是预测性分析一个非常关键的一个大数据的应用场景。

我们可以看一下，对于传统数据仓库来说实际上跟侧重于一个是对单一数据的一个企业的高效运营为中心，对于大数据时代，我们可以看到很多时候是获得客户也好，获得产品也好，市场也好，一个全新的数据洞察是它的分析或者是运营的大数据的重点，大数据分析平台它的一个分析的范围远远比传统数据仓库要高的要多的要大的，这个时候可以看到数据金字塔是显而易见的，底下各式各样内部外部关联的大数据，中间是企业运营过程中产生的各种各样的数据，同时大数据也通过加工处理之后处理它的企业核心数据在我们企业数据的皇冠我们的实时BI，我们的敏捷BI，我们一层层构建了企业数据的一个架构。

当我们很多时候都在说大数据，其实我们刚才一直讲的，其实是两个东西，一个是HADOOP，一个是NoSQL，做一个简单的比较，HADOOP就是一个很大的文件的存储是一个很强的分布式的计算能力。NoSQL是一个分布式的实时数据存取的一款服务，这一栏实际上我们在很多时候，谈大数据的时候，我们可能都认为大数据就是HADOOP加NoSQL，实际上在广义上，不仅仅是HADOOP和NoSQL来支撑大数据整个的生态体系，包括各种各样的分布式数据库，各种各样的流式计算，流式处理，包括一些实时计算实时处理实时分析，以及我们说各种各样的外围数据交换的工具，数据交换的平台，以及我们硬件方面当然也是必不可少的，包括云存储都是属于大数据的一个范畴，我们不可能脱离整体的范围，我们只做一个纯HADOOP或者是纯NoSQL，很多时候关联各种各样的生态系统一起来完成整个数据应用的特点。这里我们可以看到，在整个完备的数据管理体系，数据处理体系，我们能够处理多结构化，处理实时，处理流，这么一种数据处理体系，不简简单单只是数据库或者是HADOOP是一个基本层级模型，其实我们传统的层级模型差不多。但我们大数据要引用更多的数据来满足现在多结构数据存储需求，比如说数据接入源，数据收集系统，包括我们有分布式的文件存储，以及在数据计算方面也不仅仅有实时计算能力，同时还有批量的计算能力，NoSQL和HADOOP，还有流式计算能力，我们怎么样把数据按流式一样，流水一样源源不断72小时支持它，处理它，当然就像各种应用的消费平台。

Oracle是提供一整套全面的完善的实时的多结构处理体系，我们每一层都有Oracle的对应解决方案。Oracle的存储处理、以及我们洞察的解决方案。

我们在硬件方面可以看到Oracle提供了很强的我们集成设计设备以及系统，这是我们整个的集成化一体化的数据，我们可以就大数据方面单独来介绍一下。

Oracle提出一个大数据机为生产环境严格得高可用高扩展高性能准备的生产环境就绪的大数据机，它有18台SUN服务器，216核，这些技术参数我就不多数，中间的网络交换的是40GB网络交换，我们包含了HADOOP的管理以及NoSQL，包括一些周边的我们说生态连接系统，这是完全的生产环境就绪拿过去插上电插上网线就可以用的性能超强的服务器，同时上面也提供了整套的商业知识，HADOOP是开源的，我们很多客户担心服务怎么样？没关系，Oracle对于开源的软件HADOOP提供全面商业的支持，包括硬件包括系统都是一样，我们是整个独家一体提供整套的产品，以及整套的服务。

这是我们数据库的一体机，这个数据库的一体机已经在市场上非常非常得到好的认可，它的磁盘容量非常非常高，达到500多T的存储结构化存储方面非常有优势。在这种大结构化的结构化数据情况下，我们Exadata是分布式存储分布式计算，同时又很强的特性，性能非常非常好，基本上国内有很多很多应用的案例。Oracle数据库还有更强的一些支持NoSQL支持HADOOP的功能，比如说在数据库里面直接做MR，你不需要把几百T的数据从数据库中导出去做，我们直接可以在数据库做，甚至把HADOOP的代码导入到Oracle里面执行，这也可以。
我们同时还提供了一款我们叫做大数据的前端分析，因为你的数据到了大数据以后，经过打工处理到了数据库仓库以后，我们需要有很有效的前端的大数据的分析在数据海量的分析怎么来做？以前如果数据量大到一定的层级，传统的BI就无以能力，Oracle提供这么一款一体机，里面内置了Oracle所有的BI方面的软件，包括内存ESSBASE，内存的压缩技术，内存缓存，这里可以缓存高达几T至少有物理内存是1T的，能够进行TB很强大的BI的分析和展现。
Oracle不仅仅提供了软件的NoSQL、HADOOP，各方面的支持，同时也提供了硬件的，软硬集合一体的大数据一整套的大数据解决方案。通过超高速的网络，交换到我们的数据管理的平台，Exadata，然后进行超高高大速度量的商务智能的展现，我的介绍就到这里谢谢大家！

关键词:Oracle 软硬 集成

分享到： 0