新一代数据中心设计与建设交流

2012 第五届CCS云计算高峰论坛暨展览吸引了近3000名来自运营商、政府部门、金融、保险、电力、能源、医疗 、公安、军队、教育、制造等行业的企业IT、信息部门主管及专家学者积极参与，深度探讨政企私有云应用现状及发展趋势，分享与交流云计算的优秀案例。该盛会于9月13日、14日在上海浦东展览馆隆重举行，60多家国内外知名厂商以云计算高峰论坛为平台展示了其最新的产品及解决方案，成为众多线上线下观众的关注的焦点。

“上海邮电设计院”亮相“云计算高峰论坛”并发表精彩主题演讲，其演讲主题为“新一代数据中心设计与建设交流”。以下是现场快递。（声明：本稿件来源为现场速记，可能有笔误和别字，仅供参考）

接下来我们将请出上海邮电设计咨询研究院有限公司IDC设计研究中心副主任沈巍，他将和我们分享新一代数据中心设计与建设交流。掌声有请！

上海邮电设计咨询研究院有限公司IDC设计研究中心副主任沈巍

沈巍：大家好！很荣幸在此给大家做一个关于数据中心，规划设计的分享，我叫沈巍，我来自于上海邮电设计院，主要从事数据中心的规划设计工作。今天我演讲的主题就是新一代数据中心的规划设计交流。

我演讲的内容分为三个方面，第一个方面，关于数据中心的发展趋势和建设理念。第二个新一代数据中心节能增效研究，它的效果，它对其他要素的影响。最后想介绍一下我们设计的一些案例。

这张图是我们对整个IDC现在服务链的一个理解，也就是我们现在流行的所谓云管端的展现，数据中心在这里面就是云计算的一个载体，也是可以称之为整个IDC产业的一个基石。

现在为止，我们的数据中心已经发展到了第四代，跟以前几代相比，更加注重安全、绿色、高效、智能化和模块化。也经常在说我们数据中心的挑战是什么？以前说我们数据中心规模太小了，空间不够，后来规模够了，电不够，电是一个挑战，然后现在电也够的，空调不够，制冷是一个挑战。其实我认为这些都不是挑战，真正的挑战是什么？是你要同时去满足客户对供电、供冷、安全、节能、投资成本收益，各方面的需求做一个综合的满足这才是一个知道的挑战，这也是我们这个规划设计里面，主要的一个体会和一个理念。

对于这个数据中心来讲，首先我觉得是它的定位非常重要，其实数据中心是一个非常复杂的一个综合体，它有很多很多专业组成。我认为这个纬度来讲它也不是一个单一纬度的，用单一纬度可以简单分类一个事物。我们认为，首先最关键的三个纬度就是它的密度，它的规模和它的等级。在这里我也说一下，我们对于一些数据中心规范的一些理解。目前，数据中心的设计规范也好，指导规范也好，非常多，有国标、有行标，各个企业也制定了自己企业标准，本身供电有供电的规范，空调有空调的规范，你去设计一个数据中心的时候会有很多很多规范要去作为你的一个依据或者是你的一个限制。

目前我们看到的可用的这些规范里面，对数据中心的一个分类还是比较单一，我们的国标写的非常好，但是它把等级作为它的一个主要分类依据，数据中心分为A级B级C级，但他没有讲高密度怎么做，中密度怎么做，低密度怎么做，也没有讲大的怎么做，小的怎么做。对于我们具体做规划设计的人来讲，很希望有一个多维度的分类，这样对于我们一个实际的建设和设计工作的指导，意义更强一点。我们的客户委托我们设计院做了新一代数据中心的设计规范，在里面我们以这三个纬度对数据中心进行分类，三个纬度的角度分类以后再去探讨它在电源也好，空间也好，空调也好，不同的一个最佳的一个实践方式是什么？

数据中心现在有四个发展趋势，第一个就是高密度的数据中心，因为现在的服务器的集成度越来越高，最早的塔式服务器很占空间，现在很流行机架式服务器，一下子把42μ的机柜充分利用，现在流行的刀片式服务器又把集成度成倍提高。第二个因素，我这个服务器的负载率也进一步上升，以前一台服务器干一件事情往往这个事情的波动比较大，比如说一般的服务，白天在用的时候服务器的负荷比较高，晚上大家都睡觉的时候负载就会下来。云计算以后，它可以让一台服务器里面做这种虚拟化，让很多业务同时在一台服务器里面部署，单台服务器的负载就会上升，所以我们从05年的时候设计的数据中心就一般都是2-4千瓦一个机鬼的密度，到了08、05年的时候用户提出5-8千瓦，今年如果涉及到云计算一般都是10千瓦以上的一个机柜，密度的变成，其实对于后面的规划设计来讲会有非常大的一个差异。

模块化数据中心，现在有两个趋势，一个是集装箱的数据中心，当然是小型的模块化数据中心的一个典型。大型的数据中心，采用内部模块化分区建设的方式，现在也比较流行。我觉得不仅仅是空间上把它做成一个个个机房认为一个机房就是一个模块，而且要从供电、供冷，比如说水管也做到模块化，网络也做到模块化，因为模块跟模块的，模块化的一个关键理念，模块跟模块之间不能互相受影响，如果互相受影响就是整体不是一个模块。

第三个是绿色数据中心，这个大家也很好理解，后面会详细讲解节能方面的设计，这里我们先讲讲做数据中心可行性研究报告的时候，每次都要做一个经济评估，做这个经济评估的时候，一个数据中心，它的经济效益好不好，可行不可行，往往取决于它的节能型现在达到了这样的程度，举一个例子，一个数据中心A级的4千瓦的一个机柜大概15-20万，4千瓦的机柜一年的电费，1.6的情况下，0.8元一度电，也达到4.5万一年。经济评估玩三个参数，一个收入一个成本，收益，提高收入是最有效的方式，但是行业发展很猛，竞争也更激烈一点，在竞争递增想要提高收入不是很好的事情，第二个敏感的指标就是成本，如果我能够把成本从1.6减大1.5或者1.4这样的话，对你整个的经济评估来讲，从经济效益来讲会有非常大的一个帮助。

第三个智能化，数据中心有很多很多的子系统组成，而且子系统之间有很复杂的关系，是再一个空间里，提高智能化水平降低它的维护的难度，提高系统整体的可用性，这么来理解，我觉得其实人在对数据中心来讲，是一个很不确定的因素，我们看国外的标准，对数据中心的安保有很详细的要求，四个保护区，保护区之间的授权，机房里面做视频监控，好象把人当做洪水猛兽一样，但你深刻理解，不经授权的人会对数据中心造成危害，你的维护人员，他的能力跟水平，他的状态，对你再去处理一些问题，进行一些操作的时候，影响都是非常直接，所以我们觉得对于一个复杂的数据中心来讲，要尽可能的自动化，要少人才，人犯错的可能比机器犯错的可能更高一点。

这些要素很多，简单的现在分成了五大类，第一个是它的建筑，里面包含了它的空间、层高，结构，电源里面市电、应急电源、高低配，我们数据中心是考虑的因素非常非常多，怎么办呢？我们设计院，设计这个数据中心的一个体会，我们的一个设计重点或者我们的设计理念，数据中心是一个运筹学当中的一个多目标的任务，需要综合考虑各个方面的需求和限制，衡量各种条件和因素，达到一个平衡和谐的最佳状态。这个平衡里面，有四个平衡。

第一个是总体规划各个专业之间的平衡。各个专业都有自己的需求，而且都在一个空间里面。象我们做设计的时候，经常开这种协调会，大家互相抢资源很经常的，但不能让某个专业达到最好，让其他专业受到影响，因为你最后的效果是取决于各个系统综合的一个表现。

第二个是当前需求和未来拓展之间的平衡，因为我们的数据中心要用三十年或者更长的时间而我们现在看到的需求都是今年的明年的，能看到后年的需求很了不起，过了五年过十年我的数据中心投下去的钱还能继续使用吗？这就需要对未来的一个需求有一个预见性，然后尽可能的考虑这个拓展性。

第三个就是我前面提到了一个节能、规模、等级，投资之间要达到一个平衡。现在节能非常火，后面我也会重点介绍。但是节能不能光从节能的效果或者是它的投资上面来考虑，节能的一些手段或者技术，应用以后，会不会对它的原来可靠性造成下降，会不会带来新的问题？这个都是需要思考的。为了节能而节能，可能会对数据中心整体的可用性带来一个负面的影响。不是单纯考虑这个，而是要考虑其他的目标的一个实现。

第四个是建设设计运营和维护的一个平衡，我们传统的建设模式是比较阶段性的，设计的时候，设计完了去建设，建设完了提交给运维部门和维护部门去运营和管理维护，现在因为这个系统太复杂。讲一个故事，我们曾经一个数据中心发生点问题，空调方面的，让我们空调工程师去现场去解决，我们的空调工程师愁了一夜，把自己的设计图纸打出来，愁了一夜，第二天找了一上午也没找出问题，最后发现是维护上面出了一个，旁水没有切换回来，这么简单的问题，但是你要把这个问题找出来非常非常难，现在我们设计的这种水冷的空调，客户的维护人员能够提前参与，知道我们要交给他的东西是什么样的东西。他才能够维护起来，要不然以后出现问题，没有一个即有的经验去解决这个问题。

下面我再介绍一下，我们设计院在数据中心，节能增效方面的一些经验。我们觉得节能来讲，需要一个多元化，全方位的整体的设计。这里面主要包含六个内容。

第一个思路是充分的利用自然能源，比如说太阳能，比如说空气的冷源，比如说光。

第二个是对能源进行回收循环利用。比如说热回收、水循环。

第三个采用高效节能的设备。第四点优化布置安装方式。第五合理调整运行方式，第六主动管理减少无效能耗安全监控、按需使用。

利用自然能源，第一个是自然冷却，自然冷却这张图，关心数据中心的人非常熟悉，这不是什么新技术，目前来讲大型的数据中心都是考虑了自然冷却的技术。我们采用了水冷空调以后怎么样进一步保证这个空调的一个连续的运营，不间断，这个其实是一个比较困难的一个方面，因为原来我们机房统一用的都是风冷空调，风冷的空调本身是一个分布式的系统，一个机房里面20台空调，20台空调同时断的可能性几乎为零，除非停电，停电是另外一回事，单纯出故障的情况下不可能同时坏，水冷空调一旦你的主机或者是管路出现问题，整个机房都会受到影响，我们现在做这个水冷空调肯定要考虑到一定的冗余措施，也比较多，有冷冻水和冷却水的一个备份，有两个冷冻水冷源的互相备份，还有风冷加上冷冻水的备份，对于投资对于它的可靠性来讲都有不同。这里我们做了很多的研究和比较的工作。

第二个是新风机组，这个在上海，很多设计中心里面已经做了实际的案例。效果非常好，在上海还是能够年节能30%左右。主要的问题还是空气质量的问题。空气质量比较低的话，它的一个过滤成本也比较高。经常要去换过滤器。上海其实应该空气的质量还算好，在北方，虽然它的能用的时间更长一点，但是空气质量更差的话，对它的一个实际效果也是不太理想。

第三个其他的一些自然能源，包括太阳能的供电系统，可以提供一些办公照明电，因为太阳能它的总的电量比较低，跟数据中心的设备供电率来讲，要满足这方面的需求还是比较困难。比如说设置一个导光的系统，机房的辅助区域、行政管理区域、地下室都可以用自然光源，减少照明的点。还有雨水收集系统，设置的园区式可以作为一个节能的使用。

第二个节能的方式就是能源的回收，我们使用了这种冷凝热回收系统，通过一个板块，通过一个热交换器，把热量直换到我们生活供水里面去，这样尤其是对这种大型的园区式的数据中心里面余热可以得到进一步的回收利用。

第三个节能的一个要点是采用一个高效节能的设备，现在高效节能的设备非常多，因为也是众厂商的研究重点，简单的分析一下，从不间断电源来进，塔式UPS，目前我们客户来讲，已经不太欢迎了，因为它的效率还是比较低。模块化UPS现在使用的增长比较快，240V直流，这个节能的效率来讲，是最好的，主要问题还是出在服务器这侧，因为现在主流的一些服务器它的电源模块都是写的交流的模块，虽然能够用，但是厂商不去承诺你，出了问题我给你更换，实际上都能用，我想这块也是通过我们实际使用者，包括运营商包括大的互联网企业正在推动240V直流的产业发展今年我们设计了两个大的数据中心项目，用的都是240V直流供电技术。还有一种比较新的是飞轮UPS，在国内目前还没有很大的一个使用案例，它的主要问题是后备时间太短，只有秒级，最多到分钟级，一分钟已经了不起了，几秒钟，我们现在的电源，尤其启动时间还要几分钟才能启动，飞轮的UPS必须要配套使用它自己的发动机才能够使用。应急电源也是有，象400VUG，包括燃料电池，这个技术选择上面会非常的多。这个我就不展开来讲了。

空调设计也是等于我们节能的一个关键，我们前面也讲过，对于中密度、低密度、高密度来讲，空调的设计会有很大的不同，我们传统用活动地板，下松的方式适合于中低密度的数据中心，到了6、7千瓦以上的，我们通常推荐用夜间空调，推荐使用夜间空调，能够进一步提高我空调的空间跟服务器空间的一个配比。原来我们机房两侧装空调，可装的空间的位置是很有限的，我把空调装在我的链接，一个空调的数量能装更多，另外我空调到服务器的距离更短了，这方面对节能有很大的贡献，再往高10千瓦或者20千瓦的话，这样一种应用场合的话，我们就比较推荐用背门热交换器，或者水冷背板这种方式，直接是等于把热交换直接放在我们机柜的门后面，这样的话，它的效力又能得到很好的提升。

室外的水喷雾技术对于我们以前做一些老机房，节能改造的时候，做过一些项目，评估下来，主要还是有一个问题，它的水源，水的质量，如果是硬水的话，对于室外机的一个腐蚀，会产生一定的影响，对整个室外机的寿命有一个降低。所以我们在这种新建机房里边，就不太推荐使用室外机喷雾的技术，如果是老的机房里面，没有很大兴趣改造的话，用这种技术还是非常有效。

优化布置方式，冷热通道这个已经是业界的一个常识，那么在冷热通道的常识上，我封闭冷通道或者封闭热通道，降低冷热空气混合的可能性，来得到节能的效果，也是目前来说比较流行的一个做法，这里边讲的都是空调，另外还有一个就是电源的一个损耗，以前我们机房里面，电力室跟主机房通常是分层布置的，之间的一个距离比较远，电缆一方面贵一方面会带来一定的损耗，电缆长了会带来一定的损耗，现在比较流行的做法，直接把电力室跟主机房同层相邻的布置，这样也是一方面省钱，一方面节省电力损耗的能量。现在更进一步的做法是什么？原来我的变压器跟你的电力是比较远的，一般变配电都是放在地下室或者另外一个房间，现在新的做法是把变配电也跟你的机房相邻，放到你的同层，上楼层，从变配电到你的电力室的距离又可以进一步的缩短。

下面一张图也是我们做的比较创新的，把空调放在机柜的底下。这是我们右边这张图，往上吹，这是我们的一个比较新的一个尝试。

CFD模拟是讲，我们对空调方案的一个验证，验证下来我们这个冷热通道的布置方式非常合理，也可以对未来的拓展性进行进一步的验证，我现在设置的是4千瓦，以后我要用到6千瓦，8千瓦，有没有条件可以通过这种方式来进行验证。

合理调整运行模式，可能跟维护方面结合的更紧密，我前面讲过，设计、建设、运维都要联合起来，去做这个工作。包括，电源模块的一个休眠，或者说一个谐波治理、无功补偿、提高空调冷冻水等等。主动管理减少无用功耗也是我要了解我的数据中心里面，我的使用情况，到底是什么？我们现在做的比较多的是设置一个能源管理系统，来时时分析数据中心的一个能耗的情况，它的PUE值，设置一个机房的环境监控系统，来保证它的设备安全运行的同时，减少无效的能源。这里面，我想讲一讲，我们做这个机房环境监控的时候，希望它能对空调系统进行一个反馈，这就需要你知道，机房里面的空调运行状况，环境温度到底是什么？传统的做法就是在机柜里面做温度采集，因为某个机柜上面到下面，它的温差也比较大，这样的话机柜的正面和背面都要做很多的温度的一个传感器。这种方式综合布线比较多，而且也占用机柜里面的空间专门有一个模块，安装在里面。一种比较新的技术是用这种光纤传感器的技术。它是通过光纤作为这个温度计，然后我把这个光纤直接绕在机柜的正面和背面，大大可以减少你的安装设备的数量。本身我的监控的设备也要考虑它的节能性。

节能的话题讲到这里，最后我想再介绍一下，我们的一些主要的设计案例。

我们最大的一个最值得我们自己骄傲的案例就是中国电信的信息园，在上海的南汇，总的占地155.71公顷，非常大的一个园区，我们在这里面已经建了6个数据中心，目前在建的还有两个。前面我们讲数据中心发展历程有四个阶段，我们也是从05、06年开始往里面建，基本上一年建一到两个，也是每一个数据中心都代表了当时的一个理解或者说当时的一个技术发展，事实上这里面每个数据中心都是不同的，都有很大的差异。后一个是前一个升级版本，我们最新的版本也是花了很大的心血，把我刚刚所说的六大节能的策略，全部往里面做了一个综合的应用，相信这个效果是比较理想。

这个数据中心这是我们建筑的效果图，它的建筑基本上都是60米乘60米的单体，这是建筑规划的限制，一般都是三层设置，有一万平方米的建筑面积，这个建筑面积做的更大，因为现在行业里面经常说，50万平方米，20万平方米数据中心都有，我们觉得为什么是一万平方米，也有道理，因为供电的容量的限制，你要做到20万平方米你得要有11万伏更高的供电电压，我们做数据中心都需要跟供电局打交道，你能够申请到多少电决定了你的数据中心的规模是多大？这是我们内部的一些照片。数据中心内部。也做了很多运维展示的区域。

这是在这个数据中心里，信息园区的数据中心里面，我们做了大量的节能增效措施，也是高密度大规模的一个尝试，模块化和智能化。前面讲的设计理念在我们的作品里面都得到了一定的体现。

第二个比较大的案例是我们在北京昌平未来信息城里面做的一个云计算的数据中心。它的一个特点是做了一个很大的自由冷却，我们可以看到在这个图里面做了一个有1.5米深的一个为自由冷却进入机房新风的通道。这也是一个其实是一个难题，在做建筑的时候，你要规划这样一个通道，要考虑很多很多的因素。

我的演讲就到这里，感谢大家的聆听，也希望大家能够会后跟我做进一步的交流，谢谢！

关键词:新一代 数据中心 设计

分享到： 0