云数据中心网络架构与技术（第2版）

丛书主编 徐文伟

华为数据通信架构与技术

“十四五”时期国家重点出版物出版专项规划项目

华为网络技术系列

云数据中心网络架构与技术（第2版）

Cloud Date Center Network Architecture and Technologies （2nd edition）

主编 徐文伟 张磊 陈乐

人民邮电出版社

北京

图书在版编目（CIP）数据

云数据中心网络架构与技术/徐文伟，张磊，陈乐主编.--2版.--北京：人民邮电出版社，2022.7

（华为网络技术系列）

ISBN　978-7-115-59275-0

Ⅰ.①云… Ⅱ.①徐… ②张… ③陈… Ⅲ.①计算机网络—数据处理 Ⅳ.①TP393

中国版本图书馆CIP数据核字（2022）第078253号

定价：139.00元

读者服务热线：（010）81055552　印装质量热线：（010）81055316

反盗版热线：（010）81055315

广告经营许可证：京东市监广登字20170147号

内容提要

本系列图书基于华为公司工程创新、技术创新的成果以及在全球范围内丰富的商用交付经验，介绍新一代网络技术的发展热点和相关的网络部署方案。

本书以云数据中心网络面临的业务挑战为切入点，详细介绍云数据中心网络的架构设计和技术实现，并提供部署建议。首先，本书介绍数据中心网络变革和发展的大背景，以及总体架构与技术演进，帮助读者了解数据中心网络的发展历程。随后，本书介绍云数据中心网络的设计与实现，内容包含单数据中心网络的业务模型、数据中心的物理网络和逻辑网络的构建，多数据中心网络的构建以及数据中心网络的安全方案。本书还对数据中心网络的开放性和当前的一些热点技术进行讲解和展望。本书的第2版增加了云数据中心网络智能运维和智能无损数据中心网络方面的内容，还增加了与超融合数据中心网络、确定性IP网络相关的内容。

本书可以为构建安全、可靠、高效、开放的云数据中心网络提供参考和帮助，适合企业和科研院所信息化部门及数据中心的技术人员阅读，也可为高等院校计算机网络相关专业的师生提供参考。

丛书编委会

主任 徐文伟 华为战略研究院院长

副主任 胡克文 华为数据通信产品线总裁

赵志鹏 华为数据通信产品线副总裁

刘少伟 华为数据通信产品线研发部总裁

委员 陈金助 丁兆坤 杜志强 段俊杰

付洁 国大正 胡伟 李兴

刘建宁 马烨 孟文君 钱骁

孙亮 王辉 王雷 王晨曦

王建兵 吴局业 业苏宁 左萌

推荐语

该丛书由华为公司的一线工程师编写，从行业趋势、原理和实战案例等多个角度介绍了与数据通信相关的网络架构和技术，同时对虚拟化、大数据、软件定义网络等新技术给予了充分的关注。该丛书可以作为网络与数据通信领域教学及科研的参考书。

——李幼平
中国工程院院士，东南大学未来网络研究中心主任

当前，国家大力加强网络强国建设，数据通信就是这一建设的基石。这套丛书的问世对进一步构建完善的网络技术生态体系具有重要意义。

——何宝宏
中国信息通信研究院云计算与大数据研究所所长

该丛书以网络工程师的视角，呈现了各类数据通信网络设计部署的难点和未来面临的业务挑战，实践与理论相结合，包含丰富的第一手行业数据和实践经验，适用于网络工程部署、高校教学和科研等多个领域，在产学研用结合方面有着独特优势。

——王兴伟
东北大学教授、研究生院常务副院长，国家杰出青年科学基金获得者

该丛书对华为公司近年来在数据通信领域的丰富经验进行了总结，内容实用，可以作为数据通信领域图书的重要补充，也可以作为信息通信领域，尤其是计算机通信网络、无线通信网络等领域的教学参考。该丛书既有扎实的技术性，又有很强的实践性，它的出版有助于加快推动产学研用一体化发展，有助于培养信息通信技术方面的人才。

——徐恪
清华大学教授、计算机系副主任，国家杰出青年科学基金获得者

该丛书汇聚了作者团队多年的从业经验，以及对技术趋势、行业发展的深刻理解。无论是作为企业建设网络的参考，还是用于自身学习，这都是一套不可多得的好书。

——王震坡
北京理工大学教授、电动车辆国家工程研究中心主任

这是传统网络工程师在云时代的教科书，了解数据通信网络的现在和未来也是网络人的一堂必修课。如果不了解这些内容，迎接我们的可能就只有被淘汰或者转行，感谢华为为这个行业所做的知识整理工作！

——丘子隽
平安科技平安云网络产品部总监

该丛书将园区办公网络、数据中心网络和广域互联网的网络架构与技术讲解得十分透彻，内容通俗易懂，对金融行业的IT主管和工作人员来说，是一套优秀的学习和实践指导图书。

——郑倚志
兴业银行信息科技部数据中心主任

总序

“2020年12月31日，华为CloudEngine数据中心交换机全年全球销售额突破10亿美元。”

我望向办公室的窗外，一切正沐浴在旭日玫瑰色的红光里。收到这样一则喜讯，倏忽之间我的记忆被拉回到2011年。

那一年，随着数字经济的快速发展，数据中心已经成为人工智能、大数据、云计算和互联网等领域的重要基础设施，数据中心网络不仅成为流量高地，也是技术创新的热点。在带宽、容量、架构、可扩展性、虚拟化等方面，用户对数据中心网络提出了极高的要求。而核心交换机是数据中心网络的中枢，决定了数据中心网络的规模、性能和可扩展性。我们洞察到云计算将成为未来的趋势，云数据中心核心交换机必须具备超大容量、极低时延、可平滑扩容和演进的能力，这些极致的性能指标，远远超出了当时的工程和技术极限，业界也没有先例可循。

作为企业BG的创始CEO，面对市场的压力和技术的挑战，如何平衡总体技术方案的稳定和系统架构的创新，如何保持技术领先又规避不确定性带来的风险，我面临一个极其艰难的抉择：守成还是创新？如果基于成熟产品进行开发，或许可以赢得眼前的几个项目，但我们追求的目标是打造世界顶尖水平的数据中心交换机，做就一定要做到业界最佳，铸就数据中心带宽的“珠峰”。至此，我的内心如拨云见日，豁然开朗。

我们勇于创新，敢于领先，通过系统架构等一系列创新，开始打造业界最领先的旗舰产品。以终为始，秉承着打造全球领先的旗舰产品的决心，我们快速组建研发团队，汇集技术骨干力量进行攻关，数据中心交换机研发项目就此启动。

CloudEngine 12800数据中心交换机的研发过程是极其艰难的。我们突破了芯片架构的限制和背板侧高速串行总线（SerDes）的速率瓶颈，打造了超大容量、超高密度的整机平台；通过风洞试验和仿真等，解决了高密交换机的散热难题；通过热电、热力解耦，突破了复杂的工程瓶颈。

我们首创数据中心交换机正交架构、Cable I/O、先进风道散热等技术，自研超薄碳基导热材料，系统容量、端口密度、单位功耗等多项技术指标均达到国际领先水平，“正交架构+前后风道”成为业界构筑大容量系统架构的主流。我们首创的“超融合以太”技术打破了国外FC（Fiber Channel，光纤通道）存储网络、超算互联IB（InfiniBand，无限带宽）网络的技术封锁；引领业界的AI ECN（Explicit Congestion Notification，显式拥塞通知）技术实现了RoCE（RDMA over Converged Ethernet，基于聚合以太网的远程直接存储器访问）网络的实时高性能；PFC（Priority-based Flow Control，基于优先级的流控制）死锁预防技术更是解决了RoCE大规模组网的可靠性问题。此外，华为在高速连接器、SerDes、高速AD/DA（Analog to Digital/Digital to Analog，模数/数模）转换、大容量转发芯片、400GE光电芯片等多项技术上，全面填补了技术空白，攻克了众多世界级难题。

2012年5月6日，CloudEngine 12800数据中心交换机在北美拉斯维加斯举办的Interop展览会闪亮登场。CloudEngine 12800数据中心交换机闪耀着深海般的蓝色光芒，静谧而又神秘。单框交换容量高达48Tbit/s，是当时业界最高水平的3倍；单线卡支持8个100GE端口，是当时业界最高水平的4倍。业界同行被这款交换机超高的性能数据所震撼，业界工程师纷纷到华为展台前一探究竟。我第一次感受到设备的LED指示灯闪烁着的优雅节拍，设备运行的声音也变得如清谷幽泉般悦耳。随后在2013年日本东京举办的Interop展览会上，CloudEngine 12800数据中心交换机获得了DCN（Data Center Network，数据中心网络）领域唯一的金奖。

我们并未因为CloudEngine 12800数据中心交换机的成功而停止前进的步伐，我们的数据通信团队继续攻坚克难，不断进步，推出了新一代数据中心交换机——CloudEngine 16800。

华为数据中心交换机获奖无数，设备部署在90多个国家和地区，服务于3800多家客户，2020年发货端口数居全球第一，在金融、能源等领域的大型企业以及科研机构中得到大规模应用，取得了巨大的经济效益和社会效益。

数据中心交换机的成功，仅仅是华为在数据通信领域众多成就的一个缩影。CloudEngine 12800数据中心交换机发布一年多之后，2013年8月8日，华为在北京发布了全球首个以业务和用户体验为中心的敏捷网络架构，以及全球首款S12700敏捷交换机。我们第一次将SDN（Software Defined Network，软件定义网络）理念引入园区网络，提出了业务随行、全网安全协防、IP（Internet Protocol，互联网协议）质量感知以及有线和无线网络深度融合四大创新方案。基于可编程ENP（Ethernet Network Processor，以太网络处理器）灵活的报文处理和流量控制能力，S12700敏捷交换机可以满足企业的定制化业务诉求，助力客户构建弹性可扩展的网络。在面向多媒体及移动化、社交化的时代，传统以技术设备为中心的网络必将改变。

多年来，华为以必胜的信念全身心地投入数据通信技术的研究，业界首款2T路由器平台NetEngine 40E-X8A / X16A、业界首款T级防火墙USG9500、业界首款商用Wi-Fi 6产品AP7060DN……随着这些产品的陆续发布，华为IP产品在勇于创新和追求卓越的道路上昂首前行，持续引领产业发展。

这些成绩的背后，是华为对以客户为中心的核心价值观的深刻践行，是华为在研发创新上的持续投入和厚积薄发，是数据通信产品线几代工程师孜孜不倦的追求，更是整个IP产业迅猛发展的时代缩影。我们清醒地意识到，5G、云计算、人工智能和工业互联网等新基建方兴未艾，这些都对IP网络提出了更高的要求，“尽力而为”的IP网络正面临着“确定性”SLA（Service Level Agreement，服务等级协定）的挑战。这是一次重大的变革，更是一次宝贵的机遇。

我们认为，IP产业的发展需要上下游各个环节的通力合作，开放的生态是IP产业成长的基石。为了让更多人加入到推动IP产业前进的历史进程中来，华为数据通信产品线推出了一系列图书，分享华为在IP产业长期积累的技术、知识、实践经验，以及对未来的思考。我们衷心希望这一系列图书对网络工程师、技术爱好者和企业用户掌握数据通信技术有所帮助。欢迎读者朋友们提出宝贵的意见和建议，与我们一起不断丰富、完善这些图书。

华为公司的愿景与使命是“把数字世界带入每个人、每个家庭、每个组织，构建万物互联的智能世界”。IP网络正是“万物互联”的基础。我们将继续凝聚全人类的智慧和创新能力，以开放包容、协同创新的心态，与各大高校和科研机构紧密合作。希望能有更多的人加入IP产业创新发展活动，让我们种下一份希望、发出一缕光芒、释放一份能量，携手走进万物互联的智能世界。

徐文伟
华为董事、战略研究院院长
2021年12月

第1版序

以云计算、大数据、区块链和人工智能为代表的金融科技正深刻改变着金融行业的面貌。尤其是2016年8月金融科技被纳入国务院《“十三五”国家科技创新规划》以来，发展金融科技、实施数字化转型成为几乎所有金融机构共同的战略选择。金融行业数字化转型的主要目标是提升信息的处理与运用能力，促进业务创新与流程再造，以实现科技金融、智慧金融和普惠金融。在这一轮波澜壮阔的技术变革浪潮中，数据中心承载着金融企业数字业务的处理，不可避免地站在了潮头。传统金融数据中心的特点是业务量大、可靠性高、安全合规，而如何在保持和强化这些优势的同时，打造一个架构更灵活、资源利用更有效、管控更全面及时、业务响应更敏捷的金融云数据中心，以支撑企业未来持续的业务创新与快速的产品迭代，是摆在金融企业科技工作者尤其是数据中心建设者面前的现实问题。

中国银联自2015年起，在自主研发的云平台下开展了基于SDN技术的下一代云数据中心智能网络解决方案的研究与实践，并在此过程中与华为公司建立了良好的合作关系。双方从联合开展SDN相关原型样机研制起步，逐步合作，实现了具备云网络资源弹性调度、异构计算资源统一开放接入以及多中心网络敏捷互联能力的金融数据中心云网络服务架构，经受住了云闪付“62”营销、“双11”全网营销等超高峰值业务流量的考验。2019年9月，为进一步深化技术创新合作，双方成立了“银联华为金融网络科技实验室”，立足金融行业技术发展的共性需求，全力打造聚合金融行业新技术解决方案研究、新技术应用实践评测、行业趋势研究、行业智库交流四大功能的，具有全球影响力的先进金融网络科技研究中心。回顾双方多年的合作历程，华为的领导和技术专家在云计算及数据中心网络技术方面超前的战略眼光、丰富的实践经验和深厚的技术底蕴给我留下了深刻印象，他们对技术的执着和面对困难永不低头的精神也让我深感敬佩。

本书浓缩了华为在云数据中心网络这一领域多年耕耘的宝贵经验和成功实践的精华，是业界难得一见的深入阐述云数据中心的网络架构、关键技术、规划部署建议和热点技术的图书，可以帮助从业者全面了解云数据中心网络的业务模型、物理网络和逻辑网络，以及华为CloudFabric智简数据中心网络的主要部署过程。更为可贵的是，本书结合华为创新的实践经验，就云数据中心网络的总体架构进行了详细剖析，指明了演进方向，并给出了目标架构与设计原则的参考建议。可以说，无论是出于学习的目的还是工程实施参考的目的，本书都可以被纳入广大云计算技术与数据中心网络技术人员和爱好者的必读书单。

“雄关漫道真如铁，而今迈步从头越。”这是一个新时代，一个奋斗、创新、超越的时代。中国银联积极应对支付产业的变革，正在加快推进向科技公司、数据公司转型的企业战略，而十几万华为人也正以临危不惧的坚定意志、顽强卓绝的奋斗精神持续开拓新未来，为客户创造新价值，为业界树立新标杆。我相信，在全社会科技工作者的共同努力下，一个万物互联的智能世界终将到来！

戚跃民
中国银联助理总裁
2019年11月23日于上海

前言

本书从云计算的业务特征入手，介绍云计算对数据中心的影响，进而介绍数据中心的总体架构和技术方案的演进，以及匹配云计算业务的数据中心物理网络、逻辑网络、多数据中心、安全等方面的设计方案。最后，介绍数据中心网络的热点技术和华为云数据中心网络的构建方案。

随着大数据、5G、AI等新技术和各类创新应用层出不穷，数据中心所承担的使命也有所变化，在大数据和智能时代，数据中心开始越来越聚焦于对数据的高效处理，数据中心逐渐向算力中心演进。在此背景下，构建一个低时延、无丢包、高吞吐以及易运维的智能无损数据中心网络则显得尤为重要。本书第2版增加了与云数据中心网络智能运维和智能无损数据中心网络相关的内容，同时也对超融合数据中心网络、确定性IP网络做了一些阐述。

对于网络工程师等ICT（Information and Communication Technology，信息通信技术）从业人员，本书是学习SDN数据中心网络规划设计和工程部署的好向导；对于网络技术爱好者及在校学生，本书也是学习和了解云数据中心网络架构、常用技术和前沿技术的参考书。

本书共14章，分别介绍如下。

第1章　联接变革使能数据中心网络演进

以联接为基础的ICT，如云计算、5G、物联网等，正成为撬动这个世界可持续发展的杠杆。数据中心是ICT重要基础设施的代表，本章引入数据中心网络迎来变革和发展的大背景。

第2章　认识云数据中心网络

本章介绍云计算的基本特征、虚拟化技术的发展与演进，以及云化演进的一些基础知识，帮助读者快速地对云数据中心网络有一个初步的了解。本章还介绍SDN发展路线的特点、编排与控制的关系，并且站在业务视角讲述企业在选择不同方案时的关注点。最后，本章介绍超融合数据中心网络出现的必然性。

第3章　云计算时代数据中心网络面临的挑战

本章介绍在云计算时代数据中心网络面临的五大挑战，分别是大数据需要大管道、网络需要池化与自动化、安全需要服务化部署、网络需要提供可靠基石和数据中心网络运维需要智能化。

第4章　数据中心网络的总体架构与技术演进

本章介绍数据中心物理网络的一般架构和主要网络技术的演进，并以金融数据中心网络和运营商数据中心网络为例，介绍典型数据中心网络的演进历程和网络总体架构。

第5章　云数据中心网络的功能组件与业务模型

本章介绍含有云平台的场景中，由云平台提供的网络业务的编排模型和业务流程，以及没有云平台的网络自主编排场景中，由SDN控制器提供的网络业务的编排模型和业务流程。

第6章　构建数据中心的物理网络（Underlay网络）

本章介绍物理网络的典型架构、设计原则，并对常用的网络技术进行对比。

第7章　构建数据中心的逻辑网络（Overlay网络）

本章介绍逻辑网络的基本概念，然后介绍主流的VXLAN技术的基本原理，以及如何使用VXLAN技术来构建逻辑网络。

第8章　构建多数据中心网络

由于业务规模的扩大及业务可靠性、连续性的要求，需要部署多数据中心来满足业务诉求。本章针对多数据中心网络，给出业务需求分析以及推荐的网络架构设计。

第9章　构建云数据中心网络端到端安全

本章介绍云数据中心网络面临的安全挑战、安全层面的总体技术方案，并从虚拟化安全、网络安全、高级威胁检测防御、边界安全、安全管理等方面介绍具体的安全技术和实现方案。

第10章　云数据中心网络智能运维

SDN时代，计算资源池化、存储资源池化、网络资源池化、网络及业务自动化，让企业的数字化转型变得更简单，但数据中心网络运维却面临着业务难感知、问题难自证、故障难定位等问题。本章主要介绍面对这些问题，可以采用哪些与智能运维相关的技术和方案。

第11章　数据中心网络的开放性

本章介绍数据中心网络具备开放性的必要性，并从控制器的开放性和转发器的开放性两个层面介绍开放性带来的能力和价值。

第12章　热点技术一瞥

本章介绍现阶段在数据中心网络中一些备受业界关注的新技术和发展趋势，包括容器、混合云及当下火热的确定性IP网络的基本概念和主流方案。

第13章　智能无损网络助力智能世界2030

AI正在深刻地改变人们的生活，ICT行业也面临着智能化的变革，联接数量、带宽和算力增长速度惊人，数据中心逐渐向算力中心演进，而超级算力需要一个智能无损的数据中心网络作为基础。本章将向读者介绍如何构建一个智能无损的数据中心网络。

第14章　云数据中心网络解决方案的组件

本章介绍构建云数据中心网络时使用到的一些组件的定位、特点和功能架构，这些组件包括CloudEngine数据中心交换机、CloudEngine虚拟交换机、HiSecEngine系列防火墙、iMaster NCE-Fabric网络控制器和SecoManager安全控制器。

本书由华为技术有限公司“数据通信数字化信息和内容体验部”及“数据通信架构与设计部”联合编写。在写作过程中，华为数据通信产品线的领导给予了很多的指导、支持和鼓励，在此诚挚感谢相关领导的扶持！

以下是参与本书编写和技术审校的人员名单。

主编：徐文伟、张磊、陈乐。

编写人员：徐文伟、张磊、陈乐、张帆、陈山、朱小蕾、蒋忠平、吴学锋。

技术审校：徐文伟、郭俊、王建兵、张磊、陈乐、张帆。

参与本书编写和审稿的人员虽然有多年的ICT从业经验，但因时间仓促，文中错漏之处在所难免，望读者不吝赐教，在此表示衷心的感谢。

本书常用图标

第1章　联接变革使能数据中心网络演进

以联接为基础的ICT（Information Communication Technology，信息通信技术），如云计算、5G、物联网等，正成为撬动这个世界可持续发展的杠杆，助力提升国家竞争力。毋庸置疑，ICT基础设施和网络，已如电力和交通等基础设施一样，对各个国家和产业的繁荣发展及竞争力提升起着至关重要的作用。

全球大多数国家已经把ICT投资发展上升到国家战略的高度，通过统一规划充分释放ICT的潜力，以驱动国家经济的良性增长。

2014年，华为基于对25个国家（GDP占全球78%，人口数占全球68%）联接程度的研究，围绕联接现状和增长空间两个维度共16项指标构建了国家联接指数。经研究发现，德国的联接指数全球排名第一，美国和英国紧随其后，发达国家正在借助投资ICT保持良好的竞争活力。

在传统的制造行业，德国正凭借雄厚的ICT基础优势推进工业4.0革命。工业4.0在业界被认为是第四次工业革命，它的本质就是基于“信息物理系统”实现“智能工厂”，通过物联网将制造业的物理设备连接到互联网，形成一个“信息物理系统网络”，从而实现制造向“智造”的升级。德国电子电气行业协会曾预测，工业4.0将使工业生产效率提高30%。

发展中国家通过积极的ICT政策也获得了加速发展，智利、肯尼亚、埃及在国家联接指数的增长空间维度分列前三。

以智利为例，其在这次调研的发展中国家中联接指数排名第一，在全球范围内排名第四。智利政府将GDP总量的0.9%投入通信领域，在所调研的25个国家中排名第四。智利不断加强ICT投入以带动经济发展，通过“智利硅谷”项目，快速地建立起宽带基础设施，鼓励创新，聚集了全面的人才、技术、商业等资源。

华为2014年发布的《全球联接指数》（Global Connectivity Index）指出，联接指数每提升1点，人均GDP增加1.4%～1.9%，发展中国家的提升会明显大于发达国家。这些分析为那些试图利用联接实现社会转型、缩小数字鸿沟、促进创新和提升国家竞争力的市场提供了指导。

2020年，一场突如其来的疫情让远程办公、远程上课、互联网监工等走进公众的生活，让公众更加认识到网络互联的重要价值。数字基础设施较完善的国家，往往能更好地应对此类公共突发事件，降低此类事件对国家经济、民众生活的不利影响。2021年发布的《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》，提出“迎接数字时代，激活数据要素潜能，推进网络强国建设，加快建设数字经济、数字社会、数字政府，以数字化转型整体驱动生产方式，生活方式和治理方式变革”。

毫无疑问，新型ICT基础设施建设已经成为包括中国在内的众多国家的发展战略之一。其中，数据中心作为ICT基础设施的代表，承载着组织的各类核心应用，汇聚了海量的联接，在数字化转型和数字化社会建设的大潮中，必将迎来新一轮的发展机遇。

数据中心内存储和流动着的数据，是组织的核心价值资产，而数据中心贯穿于数据从生产要素到商业价值转换的全流程，在企业数字化转型中，改变了企业的开发、生产和经营模式。ICT行业不仅开发了新的产品类型，还消除了企业与客户之间的物理界限，促进了创新、创业和新的商业模式的衍生。在ICT基础设施的推动下，新旧行业正从销售商品、货物和服务转变为销售体验。

AI（Artificial Intelligence，人工智能）、5G、区块链、工业互联网等场景化应用驱动数据中心不断探索新的建设和运营模式，各类新技术层出不穷。云数据中心网络是当前最热门的数据中心建设方案，同时也是本书描述的重点。