阮涵 . 《数据中心网络技术浅析》

Sina WeiboBaiduLinkedInQQGoogle+RedditEvernote分享

[原文可参阅:新浪阮涵的博客

数据中心网络技术浅析

随着云计算/大数据/移动互联等技术的推动下,作为在网络设备商做了多年研发的我近期一直在想这个问题:云计算下的数据中心网络到底是怎么样?怎么样的基础网络才能满足当前云计算下变化复杂的业务? 首先,我理解网络架构的设计仍然还是自顶向下的,运行的业务、用户的投资回报(opex/capex)等因素影响着数据中心网络架构以及网络设备软硬件特性的变化。 从目前的种种迹象表明云计算是对数据中心网络的最大驱动力,我们先从当前业务模式技术驱动力开始。

1. 当前业务模式的技术驱动力

最上层是从不同的用户入口接收数据,首先是一个不依赖硬件的云OS, 完成应用、连接和交互,接着是数据智能从海量的数据进行语义分析,再下来是软件基础架构的变化(分布式软件系统等),进而影响着数据中心以及网络、服务器等基础设施的变革。云计算(数据中心计算)的主要技术领域涵盖了存储、计算、超大规模系统、数据中心等,比如存储,不仅要考虑文件、对象以及表等数据组织结构,也要定义访问模式,读少写多、读多写少以及是否实时存储等不同模式会在很大程度上影响存储系统的设计。再如计算,也分为数据密集型、通讯密集型和计算密集型。

2. 数据中心计算对网络的需求

上面简单了解一下目前业务驱动的一个总体架构,数据中心计算对基础网络有哪些需求呢?从用户直观体验上看,用户对于云端数据中心直接关心是提供运算能力和存储服务,因此狭义的数据中心主要包含计算和存储,但是如果没有数据中心网络的话又把我们带回仅仅scale-up的大型机时代,网络把数据中心的计算和存储连接在一起,在Scale-up和Scale-out两种模式的螺旋状上升中满足云计算的大规模提供能力的需求,因此网络在数据中心的地位同样也是非常重要的。对于数据中心的网络接入需求主要有下面几类:

(1).                 HPC/离线计算的通讯密集型:该类型主要是计算和通讯都有一定的要求,对网络的总体要求:流量是东西向多,由于大量分布式计算会有多打一的情况,因此网络尽可能的无收敛比,TOR接入大部分要求单网卡即可(除了HPC的Master节点要求双网卡接入),要求时延低,丢包率低, 不涉及虚拟机迁移(由于计算能力要求高,hypervisor还是耗资源的,暂时没有跑在虚拟机上面),由于一般情况下是TOR直接是三层网关,因此对于ARP/MAC等表项没有很大的要求。

(2).                弹性计算:弹性计算会涉及虚拟机以及虚拟机的迁移,那么网络至少要有一定的二层能力(不一定要超级大的二层),对于MAC/ARP的表项有一定的要求,对于时延和丢包相对不太敏感,流量南北向相对多,对于收敛比没有要求。

(3).                 分布式存储:对于HDFS的存储采用多份(本地一份,本机架交换机另外一个端口一份,跨机架一份),流量在TOR交换机间,不同的机架之间都很大,网络尽可能的无收敛,对于时延和丢包要求敏感,不涉及虚拟机的迁移。

阅读全文»

(7个打分, 平均:4.71 / 5)

李凯 。 谈 DataDomain

(没有打分)

普林斯顿 。 李凯

(没有打分)

腾讯 。 《打造支撑海量用户的高性能Server》(1)

(1个打分, 平均:5.00 / 5)

The Future of Networking and Past Protocols

(5个打分, 平均:4.40 / 5)

OpenStack发展历史

(2个打分, 平均:4.50 / 5)

Jeff Dean讲座必读:Large-Scale Data and Computation: Challenges and Opportunities

特别是关于Google的Deep Learning的工作。

(没有打分)

Deep Learning for Efficient Discriminative Parsing

Deep Learning在自然语言理解中的应用,和Senna的源代码实现了POS/NER/SRL/Syntactical Parsing诸多功能。

(1个打分, 平均:5.00 / 5)

哈佛大学校园

(5个打分, 平均:5.00 / 5)

Google Megastore论文《Megastore: Providing Scalable, Highly Available Storage for Interactive Services》

(没有打分)