探索UCS（2）- UCS的架构
作者 吴朱华 | 2010-03-29 07:06 | 类型 云计算, 行业动感, 通讯产品 | 31条用户评论 »
系列目录 探索UCSUCS的架构图
UCS总体由六大部分组成：
1. Cisco UCS 6100系列互联阵列（Fabric Interconnect）：是思科统一计算系统的核心组成部分，提供线速、低延时、无丢包10Gbps以太网和 FCoE（以太网光纤通道）统一通信给 UCS 5100 系列刀片机箱和机箱里面的B系列刀片服务器。所有连接到 Cisco UCS 6100 Fabric Interconnect 的机箱和刀片服务器，将组成一个统一高可用的管理域，并输出10G网络流量给上层的网络交换机（比如，思科的 Catalyst 6500系列）和4G的光纤流量给上层的存储交换机（比如，思科的 MDS 9000系列）。6100系列是在 Nexus 5000交换机的基础上开发，但是两者之间有明显差异。 6100系列除了提供强大的通信能力之外，还内嵌了可管理这个UCS的系统管理程序（Manager），具体细节请查看下段。6100系列现有两个型号可供选择：一个是提供20个端口的6120XP，另一个则是提供40个端口的6140XP。 评论：首先，由于UCS系统通过Fabric Interconnect来统一所有的通信，无论是以太网流量，光纤流量，机箱内部的刀片之间的流量，还是刀片上面的虚拟机之间流量，所以使得网络方面的管理得以简化，而且使用的cable数量非常少，这将降低安装和维护的复杂度。其次，这个Fabric Interconnect可扩展性极强，它能支持40个刀片机箱，总共多达320台刀片。最后，因为UCS自带的刀片服务器和刀片机箱不包含存储设备，所以企业需要自备存储，并将其连到和Fabric Interconnect相连的存储交换机上。 2. UCS 管理程序（Manager）：能为UCS系统创建和管理一个统一的域，可被视为UCS的中枢系统，提供图形界面（GUI）、命令行（CLI）和 XML API这三大接口。直观的GUI模式是采用类似于Java Applet技术，在浏览器上运行的Java应用，它主要有四个特点：
评论：总体而言，其功能主要针对硬件管理，比较接近IBM的Director，它不支持软件方面的管理，比如：操作系统和应用。估计主要原因不是思科没有这个实力，而是因为UCS是为 VMware ESX 虚拟化系统量身定做的，而VMware vCenter 对虚拟化系统上面的东西都有非常好的支持，所以估计思科不想碰 VMware 的“蛋糕”，怕引发一些VCE联盟“内部”之间的矛盾。还有，一些使用者说，因为GUI使用 Java 技术，所以速度偏慢。我身为一个靠 Java 吃饭的人，对于这种观点不予置评。 3. Cisco UCS 2100 系列扩展模块（Fabric Extender ）：它安装在刀片机箱的I/O模块里面，在刀片服务器和 Fabric Interconnect 之间提供多达四个10Gbps以太网和FCoE的连接，同时每个刀片机箱能配置两个矩阵扩展器。 评论： 大多数刀片机箱都在I/O模块里面内置交换机，但是由于这等于给数据中心的网络又多加了一层，这将提升数据中心的成本和复杂度。为了解决这个问题，思科以扩展模块的形式替换刀片机箱的I/O模块里交换机，将刀片服务器和 Fabric Interconnect 直接连起来。除了这个之外，扩展模块还涉及到UCS的一个非常核心的技术，叫做“VN-Link”，这个技术简化了UCS系统整体I/O的架构，具体细节将在下一篇里面进行详细描述。 4. Cisco 5100系列刀片服务器机箱：是UCS的重要构建模块，支持扩展，高度为6U，能装在业界标准的19英寸机架上。机箱后端包括8个热插拔风扇、4个电源接口和2个用于放置Cisco UCS 2104XP阵列扩展模块的I/O托架。一个无源中间面板为每服务器插槽提供高达20 Gbps的I/O带宽，两个插槽共40 Gbps的I/O带宽。该机箱能支持未来的40Gb以太网标准。每个机箱能装8个半宽（Half-Width）或者4个全宽（Full-Width）B系列服务器，整个UCS系统可支持多达40个机箱，总共320的半高刀片服务器。 评论：在这里提一下，UCS的一个优点，它在冗余方面非常强大，从 Fabric Interconnect，到刀片的风扇和硬盘都有相应的冗余选项，比如刀片的电源，它支持三种配置，包括非冗余、N+1冗余和N+N。但是，冗余的代价也非常简单，那就是贵。 5. Cisco B 系列刀片服务器：总体而言，B系列和大多数刀片服务器相差不大，但是它的“内存扩展技术（Cisco Memory Extension）”相当惊艳。这种技术通过一个“内存扩展模块（memory extension module）”将每个至强5500处理器中的 DIMM 插槽数量增加了4倍。与普通双路系统一般可用内存为96GB到144GB相比，该技术能将内存容量增加到384GB，这就意味着每台物理服务器所能托管的虚拟机数量也增加了4倍，同时降低了每个虚拟机承担的能耗和制冷成本。此外，客户不再需要仅仅为了更大内存容量去购买更贵的4路服务器。B系列分为半宽（Half-Width）和全宽（Full-Width）两种，目前只有全宽的支持内存扩展。 还有，年初随着基于Intel 32nm制程Xeon 5600 CPU 的推出， 最近思科也相应推出新的刀片服务器系列，称为：“C系列”。 评论：虽然现在对PC而言，内存的多少已经快无关轻重了，只要有2G，连星际2都能跑的很舒服。但由于数据库，memcache和虚拟机这些吃内存的应用在数据中心中占据了越来越大的比例，使得内存在服务器端的重要性不降反升。我感觉思科的“内存扩展技术”将在服务器界得到极大地推广，成为各大服务器厂商的标配，而且最近，IBM eX5 架构也已经提供相应的技术。 6. Cisco UCS 网络适配器（Network Adaptor）：为了满足用户不同的需要，每个刀片服务器可搭配不同的网络适配器，都是Mezzanine（注1）规格的PCI-E卡，共有三种型号可供选择，它们分别是：
评论：这种对于不同的workload，可以使用不同的adaptor组合，比如：如果数据中心里面已经有很多QLogic和Emulex的设备，可以配Menlo卡来提升兼容性；如果安装的是IBM WebSphere的中间件，可以使用Oplin卡，因为它只需网络通信；如果安装vSphere，那么很简单，Palo就是它的绝配。 本篇结束，下篇将关注UCS的三大核心技术。 注1： 什么是Mezzanine卡？这个我也不太清楚，囧。Mezzanine的英文原意是夹层，我觉得Mezzanine卡就是小卡的意思，如果那位同学有相关知识，就请指正！ 参考资料： | |
  (8个打分， 平均：4.88 / 5) |
雁过留声
“探索UCS（2）- UCS的架构”有31个回复
好文，领教了。
一下子看不明白，慢慢来。
hao
不知道价格比如何？
“首先，由于UCS系统通过Fabric Interconnect来统一所有的通信，无论是以太网流量，光纤流量，机箱内部的刀片之间的流量，还是刀片上面的虚拟机之间流量，（此处删去20个字）所以使得网络方面的管理得以简化”
话好像没说完？:-)
对于门外汉读者，文章的信息量有些大，期待下文，最后通读一遍。
to 阳光宅男:
不好意思，对于性价比，因为牵涉的面比较广，所以本系列不涉及。
to 胡不才：
呵呵，这个问题会在下一篇中详述的
to appleleaf：
慢慢看
占座，保持关注，期待楼主下一篇，看CISCO到底能在数据中心搞出什么新创意
思科搞服务器？是自己搞的，还是买的技术？做服务器，思科的品牌可以吗？软件是个软肋吧，当然，硬件也是。
注1： 什么是Mezzanine卡？这个我也不太清楚，囧。Mezzanine的英文原意是夹层，我觉得Mezzanine卡就是小卡的意思，如果那位同学有相关知识，就请指正！
——————————————
应该主要是指扣在blade上的一些小卡，个人了解的一些信息
to Nanjing:
因为网上的消息很少，能提供关于Mezzanine卡更详细的信息吗？
To Ikewu83：
我没有详细资料，但有接触过这类东西，个人理解只不过老外起个名字而已，估计大概就这个意思，这玩意儿西方自由世界混的人应该非常清楚，呵呵
还请教 Ikewu83：
还不理解UCS6100是个什么东西，感觉还是像个交换机，专给UCS5100这些blade server提供交换空间，可能只是和交换机不一样，从硬的方面是不是这样理解？
另外觉得，Cisco的这个UCS说白了就是个高级一点儿的Blade Server cluster，不知道这样理解对不对？
也就是这个东西让HP不爽至极！？
TO NanJing:
也让IBM Dell不爽之急 现在基本上IBM已经和Juniper绑在一起了。国外已经有好多案例，最有名的是纽交所的网络已经被Juniper+IBM了。 思科这条路是对是错，现在说为时过早
to NanJing:
呵呵，谢谢你的comments。
1. UCS6100支持交换机模式，但是它还有很多其他功能，我将会在下面的几篇文章中进行讲解，如果你等不及的话，可以看这个链接：http://viewyonder.com/2009/09/28/cisco-6100xp-aint-switches-like-vmware-esx-aint-linux/
2.的确可以将UCS理解成高级一点儿的Blade Server cluster。
3. 这个东西的确让HP不爽至极。因为在这方面我了解的不是很深，我只能做一些个人推断，就是因为Itanium的失败，使得blade成为HP在IT方面唯一的金牛，而她的“亲密的战友”竟然想抢她的金牛，她不抓狂才怪了。
和HP刀片比，我认为UCS一个很大的优势是扩展性强，最多可以实现320个刀片集群，HP基本上是单机框配置，最多32个刀片；
十分感谢Ikewu83，明天学习你给的reference
提到Cisco的UCS，想听听各位对HP收购3Com后如何看H3C？个人来说是希望H3C的兄弟更上一层楼，起码不要辛辛苦苦来补贴3Com.奶奶的，斗胆在这个网络同仁居多的地方放言，Network products总比printer要有技术含量一点儿吧？：-）
如果HP要做大全球企业网市场，那么H3C就可能伟大，当然还要看HP能否真正挑战C的企业网商业模式，无论如何这是一项艰巨的任务，否则C就不能垄断企业网这么多年了。
如果C在服务器和存贮市场高速发展威胁到HP，那么就可能刺激HP围魏救赵，去大举进攻C的企业网市场
对于消费者，希望是他们之间死掐，从而获得渔翁之利
HP也好，思科也罢，都在向IBM学习，转向服务。所以最不爽的应该是IBM。
感觉思科还是比HP更高一招，开始在运营商市场真正发力了。
HP在个人和SMB业务这块有很强的优势，在PC，存储，打印等产品上有很多的积累。鉴于运营商也面临转型，所以从终端角度切入或引导新市场也可能是一个方向，在这条路上，思科就弱了许多。
To # Nanjing
# Nanjing 于 2010-03-30 6:23 am
注1： 什么是Mezzanine卡？这个我也不太清楚，囧。Mezzanine的英文原意是夹层，我觉得Mezzanine卡就是小卡的意思，如果那位同学有相关知识，就请指正！
——————————————
应该主要是指扣在blade上的一些小卡，个人了解的一些信息
—————————–
Mezzanie的确是这个意思，他是有标准的，详见Wiki，通常为PCI-E接口，提供NIC/HBA/CNA等功能。在UCS里面，实现了刀片本身的I/O连接至机箱的I/O中板（mid-plate）.
To droplet
——————
# droplet 于 2010-03-30 2:50 am
思科搞服务器？是自己搞的，还是买的技术？做服务器，思科的品牌可以吗？软件是个软肋吧，当然，硬件也是。
——————
的确是自己搞得。软件的确是软肋，UCS里面的管理软件是和BMC一起搞得。BMC算是IT Business Service Management 领域（可以理解为是IT的ERP）的大牛, 就像是把SAP那套应用在IT管理里面。因此，软件上面不吃亏。
UCS的管理软件是自带免费的。BMC自己的一些管理软件同样可以用在UCS上面。
－－－－－－－－－－
但由于数据库，memcache和虚拟机这些吃内存的应用在数据中心中占据了越来越大的比例，使得内存在服务器端的重要性不降反升。我感觉思科的“内存扩展技术”将在服务器界得到极大地推广，成为各大服务器厂商的标配，而且最近，IBM eX5 架构也已经提供相应的技术。
－－－－－－－－－－
更好的虚拟化应用支持等等这只是一个好处。大内存支持的另一个好处是内存槽多了，实现相同容量的内存成本可以更低，因为原来需要巨贵的8M等条子，可以用4根便宜的2M搞定。
UCS是另外一种形式虚拟。我的理解是将数据中心虚拟。刀片是dumb的，就是死的。要让刀片活起来，需要配置刀片的属性，就是XML配置文件。如果一个刀片死了，你把配置文件拷到另外一个刀片，那么所有和在死了的刀片上的服务便马上在另外一个刀片上运行起来。另外Nexus 6100，就是Fabric Interconnect，从vSphere看来是一个Distributed vSwitch， 其实就是把vSphere里的vSwitch用硬件来实现，offload到硬件上。通过CNA卡，你可以虚拟几十个不同的网卡或者FC卡。这样一来，数据中心看上去有点像vSphere里的一个Host，一个刀片，有点像一台VM，Nexus 6100就是vSwitch。好处就是数据中心可以很容易的迁移，服务可以很容易从Private Cloud迁移到External cloud。 个人的一些理解。
从承载角度看，UCS就是思科DC3.0方案刀片化：
UCS 6100=Blade N5K
UCS 2100 =Blade N2K
N5K与N2K之间的通过FEX互联简化网络结构（避免VLan跨汇聚层），2100的VN-Link是硬件的V-Switch。FCoE、V-Switch其实都是N5K的功能（N2K可是看作N5K端口拉远）。
UCS最大的影响在于思科推出了自己的服务器，突破了厂商之间承载/计算的边界，导致HP取消了与思科的OEM和代理协议，转而收购北美老牌交换机厂家3Com，IBM也加强了与Juniper、Brocade合作，数据中心混战就此开始。
320个刀片/系统没有意义，多个刀片机箱通过外置交换机互联一样可以达到这个数量，何况N5K只是性能一般的L2交换机，这个位置上放N7K更合适。
不管是IBM、HP还是思科，其刀片系统都需要外接存储设备，如果存储可以插进机箱做统一交换，才是真正的革命。
刀片之间的应用迁移，乃至DR，那是IBM、HP的强项。思科的暂时优势在于结合FEX和VN-Link，可以实现跨机箱的迁移。
为什么我看不到图，是我单机问题，还是图片服务器挂了。。。
更新了！
To # Nanjing
# Nanjing 于 2010-03-30 6:23 am
注1： 什么是Mezzanine卡？这个我也不太清楚，囧。Mezzanine的英文原意是夹层，我觉得Mezzanine卡就是小卡的意思，如果那位同学有相关知识，就请指正！
——————————————
应该主要是指扣在blade上的一些小卡，个人了解的一些信息
—————————–
Mezzanie的确是这个意思，他是有标准的，详见Wiki，通常为PCI-E接口，提供NIC/HBA/CNA等功能。在UCS里面，实现了刀片本身的I/O连接至机箱的I/O中板（mid-plate）
———————
Mezzanie是ATCA标准中的，AMC子卡，采用PCI-E接口与大板通信。详细标准可以查阅PICMG3.x即可，以上为个人意见！