再聊数据中心网络_米乐体育在哪开户,m6米乐app官方官网

当前位置:首页 > 产品中心

产品中心型号:再聊数据中心网络

米乐体育在哪开户:再聊数据中心网络

  前天,小枣君发了一篇关于数据中心网络的文章()。很多读者留言,说没看明白。  1973 年夏天,两名年轻的科学家(温顿 · 瑟夫和罗伯特卡恩)开始致于在新的计算机络中,寻找种能够在不同机器之间进行

米乐体育在哪开户,m6米乐app官方官网

  前天,小枣君发了一篇关于数据中心网络的文章()。很多读者留言,说没看明白。

  1973 年夏天,两名年轻的科学家(温顿 · 瑟夫和罗伯特卡恩)开始致于在新的计算机络中,寻找种能够在不同机器之间进行通讯的法。

  src=几乎在同时,施乐公司的梅特卡夫和博格思,发明了以太网(Ethernet)。

  我们现在都知道,互联网的最早原型,是老美搞出来的 ARPANET(阿帕网)。

  ARPANET 最开始用的协议超烂,满足不了计算节点规模增长的需求。于是,70 年代末,大佬们将 ARPANET 的核心协议替换成了 TCP/IP(1978 年)。

  进入 80 年代末,在 TCP/IP 技术的加持下,ARPANET 迅速扩大,并衍生出了很多兄弟姐妹。这些兄弟姐妹互相连啊连啊,就变成了举世闻名的互联网。

  可以说,TCP/IP 技术和以太网技术,是互联网早期崛起的基石。它们成本低廉,结构简单,便于开发、部署,为计算机网络的普及做出了巨大贡献。

  src=但是后来,随着网络规模的急剧膨胀,传统 TCP/IP 和以太网技术开始显现疲态,无法满足互联网大带宽、高速率的发展需求。

  早期的存储,大家都知道,就是机器内置硬盘,通过 IDE、SCSI、SAS 等接口,把硬盘连到主板上,通过主板上的总线(BUS),实现 CPU、内存对硬盘数据的存取。

  后来,存储容量需求越来越大,再加上安全备份的考虑(需要有 RAID1/RAID5),硬盘数量越来越多,若干个硬盘搞不定,服务器内部也放不下。于是,就有了磁阵。

  硬盘数据存取,一直都是服务器的瓶颈。开始的时候,用的是网线或专用电缆连接服务器和磁阵,很快发现不够用。于是,就开始用光纤。这就是FC 通道(Fibre Channel,光纤通道)。

  当时,公共通信网络(骨干网)的光纤技术处于在 SDH 155M、622M 的阶段,2.5G 的 SDH 和波分技术才刚起步,没有普及。后来,光纤才开始爆发,容量开始迅速跃升,向 10G(2003)、40G(2010)、100G(2010)、400G(现在)的方向发展。

  好在那时服务器之间的通信要求还没有那么高。100M 和 1000M 的网线,勉强能满足一般业务的需求。2008 年左右,以太网的速率才勉强达到了 1Gbps 的标准。

  除了存储之外,因为云计算、图形处理、人工智能、超算还有比特币等乱七八糟的原因,人们开始盯上了算力。

  摩尔定律的逐渐疲软,已经无法支持 CPU 算力的提升需求。牙膏越来越难挤,于是,GPU 开始崛起。使用显卡的 GPU 处理器进行计算,成为了行业的主流趋势。

  得益于 AI 的高速发展,各大企业还搞出了 AI 芯片、APU、xPU 啊各自五花八门的算力板卡。

  算力极速膨胀(100 倍以上),带来的直接后果,就是服务器数据吞吐量的指数级增加。

  除了 AI 带来的变态算力需求之外,数据中心还有一个显著的变化趋势,那就是服务器和服务器之间的数据流量急剧增加。

  互联网高速发展、用户数猛涨,传统的集中式计算架构无法满足需求,开始转变为分布式架构。

  src=举例来说,现在 618,大家都在血拼。百八十个用户,一台服务器就可以,千万级亿级,肯定不行了。所以,有了分布式架构,把一个服务,放在 N 个服务器上,分开算。

  分布式架构下,服务器之间的数据流量大大增加了。数据中心内部互联网络的流量压力陡增,数据中心与数据中心之间也是一样。

  这些横向(专业术语叫东西向)的数据报文,有时候还特别大,一些图形处理的数据,包大小甚至是 Gb 级别。

  综上原因,传统以太网根本搞不定这么大的数据传输带宽和时延(高性能计算,对时延要求极高)需求。所以,少数厂家就搞了一个私有协议的专用网络通道技术,也就是Infiniband 网络(直译为 无限带宽 技术,缩写为 IB)。

  IB 技术时延极低,但是造价成本高,而且维护复杂,和现有技术都不兼容。所以,和 FC 技术一样,只在特殊的需求下使用。

  算力高速发展的同时,硬盘不甘寂寞,搞出了 SSD 固态硬盘,取代机械硬盘。内存嘛,从 DDR 到 DDR2、DDR3、DDR4 甚至 DDR5,也是一个劲的猥琐发育,增加频率,增加带宽。

  src=学过计算机网络基础的同学都知道,传统以太网是基于 载波侦听多路访问 / 冲突检测(CSMA/CD) 的机制,极容易产生拥塞,导致动态时延升高,还经常发生丢包。

  TCP/IP 协议的话,服役时间实在太长,都 40 多年的老技术了,毛病一大堆。

  举例来说,TCP 协议栈在接收 / 发送报文时,内核需要做多次上下文切换,每次切换需要耗费 5us~10us 左右的时延。另外,还需要至少三次的数据拷贝和依赖 CPU 进行协议封装。

  这些协议处理时延加起来,虽然看上去不大,十几微秒,但对高性能计算来说,是无法忍受的。

  除了时延问题外,TCP/IP 网络需要主机 CPU 多次参与协议栈内存拷贝。网络规模越大,带宽越高,CPU 在收发数据时的调度负担就越大,导致 CPU 持续高负载。

  按照业界测算数据:每传输 1bit 数据需要耗费 1Hz 的 CPU,那么当网络带宽达到 25G 以上(满载)的时候,CPU 要消费 25GHz 的算力,用于处理网络。大家可以看看自己的电脑 CPU,工作频率是多少。

  但是通信网络技术,是外部互联技术,是要大家协商一起换的。我换了,你没换,网络就嗝屁了。

  不可能。所以,就像现在 IPv6 替换 IPv4,就是循序渐进,先双栈(同时支持 v4 和 v6),然后再慢慢淘汰 v4。

  数据中心网络的物理通道,光纤替换网线,还稍微容易一点,先小规模换,再逐渐扩大。换了光纤后,网络的速度和带宽上的问题,得以逐渐缓解。

  网卡能力不足的问题,也比较好解决。既然 CPU 算不过来,那网卡就自己算呗。于是,就有了现在很火的智能网卡。某种程度来说,这就是算力下沉。

  搞 5G 核心网的同事应该很熟悉,5G 核心网媒体面网元 UPF,承担了无线侧上来的所有业务数据,压力极大。

  src=现在,UPF 网元就采用了智能网卡技术,由网卡自己进行协议处理,缓解 CPU 的压力,流量吞吐还更快。

  如何解决数据中心通信网络架构的问题呢?专家们想了半天,还是决定硬着头皮换架构。他们从服务器内部通信架构的角度,重新设计一个方案。

  在新方案里,应用程序的数据,不再经过 CPU 和复杂的操作系统,直接和网卡通信。

  src=RDMA 相当于是一个 消灭中间商 的技术,或者说 走后门 技术。

  RDMA 的内核旁路机制,允许应用与网卡之间的直接数据读写,将服务器内的数据传输时延降低到接近 1us。

  同时,RDMA 的内存零拷贝机制,允许接收端直接从发送端的内存读取数据,极大的减少了 CPU 的负担,提升 CPU 的效率。

  RDMA 的能力远远强于 TCP/IP,逐渐成为主流的网络通信协议栈,将来一定会取代 TCP/IP。

  RDMA 有两类网络承载方案,分别是专用 InfiniBand和传统以太网络。

  但是,InfiniBand 是一种封闭架构,交换机是特定厂家提供的专用产品,采用私有协议,无法兼容现网,加上对运维的要求过于复杂,并不是用户的合理选择。

  RDMA 对丢包率要求极高。0.1% 的丢包率,将导致 RDMA 吞吐率急剧下降。2% 的丢包率,将使得 RDMA 的吞吐率下降为 0。

  src=InfiniBand 网络虽然贵,但是可以实现无损无丢包。所以 RDMA 搭配 InfiniBand,不需要设计完善的丢包保护机制。

  现在好了,换到传统以太网环境,以太网的人生态度就是两个字—— 摆烂 。以太网发包,采取的是 尽力而为 的原则,丢包是家常便饭,丢了就再传。

  于是,专家们必须解决以太网的丢包问题,才能实现 RDMA 向以太网的移植。再于是,就有了前天文章提到的,华为的超融合数据中心网络智能无损技术。

  说白了,就是让以太网做到零丢包,然后支撑 RDMA。有了 RDMA,就能实现超融合数据中心网络。

  关于零丢包技术的细节,我不再赘述,大家看前天那篇文章(再给一遍链接:这里)。

  值得一提的是,引入 AI 的网络智能无损技术是华为的首创,但超融合数据中心,是公共的概念。除了华为之外,别的厂家(例如深信服、联想等)也讲超融合数据中心,而且,这个概念在 2017 年就很热了。

  准确来说,超融合就是一张网络,通吃 HPC 高性能计算、存储和一般业务等多种业务类型。处理器、存储、通信,全部都是超融合管理的资源,大家平起平坐。

  超融合不仅要在性能上满足这些低时延、大带宽的变态需求,还要有低成本,不能太贵,也不能太难维护。

  未来,数据中心在整体网络架构上,就是叶脊网络一条路走到黑()。路由交换调度上,SDN、IPv6、SRv6 慢慢发展。微观架构上,RDMA 技术发展,替换 TCP/IP。物理层上,全光继续发展,400G、800G、1.2T …

  我个人臆测,目前电层光层的混搭,最终会变成光的大一统。光通道到全光交叉之后,就是渗透到服务器内部,服务器主板不再是普通 PCB,而是光纤背板。芯片和芯片之间,全光通道。芯片内部,搞不好也是光。

  路由调度上,以后都是 AI 的天下,网络流量啊协议啊全部都是 AI 接管,不需要人为干预。大量的通信工程师下岗。

  好了,关于数据中心通信网络的介绍就是这么多。不知道大家这次有没有看明白?

  苹果高管谈WWDC22:关于iOS16、Mac玩游戏和CarPlay的未来

  九号总动员海口站完美收官!九号公司携手bilibiliGoods喵铃铛,共创线下爆款

  「乐胶网」完成Pre-A轮融资,整合包装耗材行业上下游资源,打造包装行业产业集群

  微软最畅销游戏主机!Xbox Series X/S国行上市一周年:你抢到没

上一篇:易华录:目前公司已有23个示范湖建设完成并开始运营部分二期产业园及IDC数据中心机房在建建设期预计2-3年 下一篇:切忌盲目迷信新技术 数据中心节能改造应因地制宜