思科核心路由器CRS-1与SPP处理器的研究–前言介绍

Sina WeiboBaiduLinkedInQQGoogle+RedditEvernote分享




前言:

在通信领域的高端设备上,核心路由器历来是皇冠上的珍珠。本文对思科的核心路由器CRS-1和CRS-1上的重要部件SPP网络处理器进行考察,从而使得读者能够对SPP和CRS-1的体系结构有个基本的了解和把握。

2004年5月25日,思科正式发布其下一代IP核心路由器CRS-1。其原文可参阅:思科CRS-1新闻发布稿。在CRS-1的新闻发布中,关于CRS-1系统的创新和亮点思科是这样描述的:

*  Cisco IOS® XR Software, a new member of the Cisco IOS Software family, designed for terabit-scale routing systems built on massively distributed multi-shelf architectures

【笔者译:】思科的IOS-XR操作系统。一个为支持多机箱互联的大规模分布式体系结构而量身定做的一个崭新的IOS家族成员。

* System capacity of up to 92 terabits per second (Tbps)
【笔者译:】系统容量,(在最全配置时),可高达92太比特每秒。(太比特:Terabits。1 Tbps = 1000Gbps)

* Industry’s first Optical Carrier (OC)-768c/STM-256c packet interface

【笔者译:】工业界的首次的40G的OC-768光网络接口。(OC-768接口线速为39,813 Mbit/s。通常简称为40G端口。但不要与40G以太端口相混淆。这里是SONET光网络接口。是一种WAN,广域网接入接口。以太端口相当而言是一个局域网端口的范畴,如现在广泛采用的10GETH以太网端口。OC-XXX指的是数据信号在SONET光纤上传输的速率。)

* Cisco Silicon Packet Processor (SPP), the world’s most sophisticated 40-Gbps application-specific integrated circuit (ASIC)
【笔者译:】思科的SPP网络处理器,(在2004年),世界上最复杂,最强大的支持40Gbps的ASIC芯片。

* Extensible Markup Language (XML)-based Cisco Craft Web Interface (CWI), a visual management tool that can manage single-shelf or multishelf systems.
【笔者译:】基于思科的CWIde扩展XML描述语言,一个基于图形界面的管理工具。

* The Cisco Intelligent ServiceFlex design for service flexibility and speed to service

【笔者译:】思科的智能ServiceFlex设计方法,确保服务商能在各个层面提供层2和层3的数据服务。

本文将会把注意力集中在CRS-1的SPP网络处理器,CRS-1体系结构和相应的IOS-XR操作系统方面。力图把一个高端核心路由器的整体全貌分析,解释给有兴趣的读者。

(6个打分, 平均:5.00 / 5)

雁过留声

“思科核心路由器CRS-1与SPP处理器的研究–前言介绍”有35个回复

  1. 老韩 于 2009-04-02 6:57 下午

    又能看到陈老师的大作了,期待!

  2. Matrix 于 2009-04-18 5:24 上午

    现在思科号称系统容量191T。

  3. Matrix 于 2009-04-18 5:51 上午

    记错了,又看了一眼当时的标书,是151T。当时就没想明白怎么算的,现在算明白了。交换矩阵容量2.1G, 2.1G×72=151.2T。呵呵,这么算也行。

  4. 陈怀临 于 2009-04-18 8:20 下午

    说说我的感觉。我前段时间研究了一段ASR1000和QuantunFlow。我自己的评价是我的技术和管理能力足够把握ASR1000这样的系统。

    但是,对CRS-1,我现在只写了一半不到,就感觉能力不够。主要是在CRS-1的大规模互联机组的控制平面上。太复杂。HA和ISSU太难做了。我在ISSU方面需要补充知识。
    但ISSU往往却是非常proprietary的东西。没有一个什么标准可遵循。。。。。。

  5. 思科CRS-1诞生5周年 : 弯曲评论 于 2009-05-29 2:42 下午

    [...] 关于思科CRS-1核心路由器的技术体系结构,可参阅:思科核心路由器CRS-1与SPP处理器的研究 (没有打分) [...]

  6. 秋风 于 2009-06-03 7:53 上午

    HA包含很大的范畴(进程,主机,网络等),NSF NSR ISSU都中主机可靠性的重量级特性
    从设计实现的角度来看,NSR与ISSU是最难的,不过NSR做出来了,ISSU也就完成了80%。
    看了一些本站的贴子,好像转发平面的讨论很多,但核心路由器最重要的并不是转发平面的事,而是控制平面的架构。
    CRS这种分布式的平台架构还是值得分析和探讨的
    另外之前分析过Juniper 和Cisco 的NSF实现,感觉更有千秋,个人还是更佩服Juniper 的实现,既没有未必GR协议,又能做好最大程度的互通兼容,非常极得称道。

  7. 陈怀临 于 2009-06-03 8:22 上午

    谢谢秋风。是的,我也有同感。ISSU最难处理。关于CRS-1的分析,由于系统确实庞大,目前还没有设计到控制平面。我一定会在以后的章节中着重描述。另外,感觉您是新来的朋友。希望多多参与讨论。如果能把您对J和C在NSF方面的比较分享,读者一定很感谢。

  8. 秋风 于 2009-06-03 9:14 上午

    陈老师这么快就回了评论,深为感动。。。
    对陈老师后续对控制平面的分析翘首期待
    NSR据我所知,现在都还不是真正的商用,只是测试比拼中秀场,
    从近来途听的情况来看,目前ISSU这块做的最成熟的应该是alcatel,alcatel在数通上确定崛起很快,一个7750就世界第三了。
    NSR与ISSU也是近来核心路由竞争最激烈的特性,但说实在的我并不看好NSR ISSU的正真商用。还是回报小,投入大,稳定要求太高,NSR系统失效很容易导致主备都死机(这个在设计上无论采用哪种方案,好像都不能完全避免)。多进程、分布式(基于业务的,主要是BGP、L3VPN)、NSR、ISSU、必然是核心路由器的主流。
    目前商用的NSF+FRR方案已经相对成熟了。对于大运商来说,一般都有主备双平面(网络级),所以也能做到不间断业务升级。
    —–
    写的有点乱,见笑了。
    之前分析的资料现在不在手头边上,以后有时间可以写的可靠性方面的粗浅文字,还请陈老师指点。

  9. 陈怀临 于 2009-06-03 9:03 下午

    哪里哪里。应该的。来的就是客。我倒是希望我有周公之涵养,结交天下英雄。我现在对技术就是爱好。没有什么上进心了。真的感觉天下之大,到处都是高手。所以我就希望我谦卑之心,不剑之剑,引来天下豪杰。讨论技术,人生快事。

    秋风贤弟,一看便知是江湖道上的夜行人。不在是在H扛枪还是在Z抬炮?

  10. 秋风 于 2009-06-04 7:02 上午

    做技术是很残酷的。
    记得当时跟一个技术牛人聊到这个话题,记得他说过一句话,“对技术没兴趣就别做技术,做管理去吧,在一个领域没有前三,只有第一”。很多爱好技术,同时也做的不错的朋友由于稍微欠缺一点,“无赖”的转了管理(管理也未必就好)。
    我自己是凭着的兴趣一路做下来,几个年头下来发现技术也不再是仅是那些有写在Datasheet,RFC…上的东西,更多的对于周边环境的理解和把握,并要学会给所做的技术在内部或外部寻找“市场”。
    做技术真是需要莫大的智慧呀。。。
    所以我特别佩服那些能十年,甚至几十年还在技术(技术管理也是技术)线上的人,因为这些人绝对不是书呆子,而是能够掌控环境具有核心竞争力的精英。
    而tektalk仿佛就潜伏着很多这样的人,由此看出陈老师在行业不可思议的凝聚力。

  11. 老韩 于 2009-06-04 7:07 上午

    秋风说的有深意啊,不会是陈老师的马甲吧:D

  12. 陈怀临 于 2009-06-04 8:24 上午

    小韩,我们可出自同门,一起努力,不忘校训。

  13. 秋风 于 2009-06-04 8:37 上午

    先生真乃神人也!!!

  14. asnoka 于 2009-06-11 7:34 上午

    首次看到陈先生的网站,真是一番新天地,只可惜刚看几篇,就已经很晚了,改日再来细心学习大作.

  15. puzzled 于 2009-06-14 7:29 下午

    先生能不能写个有关ASR方面的文章,比如,定位,ESR的应用,等等

  16. 陈怀临 于 2009-06-14 7:34 下午

    不知您是指ASR1000还是9000. 我写了一个系列ASR1000和QuantumFlow处理器的分析整理。请参阅:

    http://www.tektalk.cn/?p=4331

  17. puzzled 于 2009-06-14 7:57 下午

    博士,什么时候给兄弟们讲讲中高端路由器的体系结构,尤其是线卡的结构,一些网络处理器如 IXP, XLR, OCTEON 在卡上怎么应用

  18. 陈怀临 于 2009-06-14 9:36 下午

    在线卡上,例如ASR系列里,通常不会用XLP,XLR,Octeon等“网络服务处理器”。请注意我的用词,Network Service Processor。在线卡上,除了主控管理CPU,Data Path还是以ASIC为主,这里包括EZChip。

  19. puzzled 于 2009-06-15 4:16 上午

    呵呵,EZChip也是网络处理器啊,博士还能做些主流NP的对比,IXP,Ezchip,多核的RMI, Cavium的,谢谢

  20. 陈怀临 于 2009-06-15 6:47 上午

    这就是我为什么说要注意我的用词的原因。网络服务处理器–Network Service Processor。

  21. 东张西望 于 2009-07-02 3:52 上午

    最好对Juniper的也有个研究分析

  22. TNC 于 2009-07-12 10:37 下午

    确实很期待首席对Juniper的Matrix也来个精彩分析。另外如果首席能更开放,顺便把参考文献的地址一并贴出那就更好了。无论如何佩服首席的精力和热情。

  23. 水煮 鱼 于 2009-09-25 7:04 下午

    现在思科号称系统容量191T。
    ————————
    赤壁之战,曹军号称兵力80万。这也就是忽悠一下读者而已。

  24. 平常心 于 2009-09-26 12:16 上午

    to水煮鱼美女:
    在哪里号称的?给大家一个连接看看呢?

  25. ASR1k 于 2009-09-26 2:14 上午

    哈哈, 老陈啊. 说错咯 , NSP在ASR上真的还有, 那个webex-node的SPA就是一块octeon. 至于QFP, 说实在的, 要把它做成一个NSP也挺好的啊.反正该有的PFE都有, code嘛写复杂点就行了. 毕竟LC对服务的需求也越来越多, LC上放NSP没什么不好的. 试想有个服务, 例如网真. 数据流非常大. 你要把它从LC上收到的东西, 转到service blade上处理完了, 再扔回来, 那不是要占用2倍的带宽么, 一路网真就25M, 100路就 2.5G, 要是1000路那还不得搞死人啊.

    对于Juniper嘛, 换汤不换药. 一块叫PD还是什么的ASIC负责做调度处理到不同的平面上. 然后F16的ASIC拆一些链路出来做多机箱互联. 之所以叫F16是因为这块ASIC是一个16×16的crossbar.

    由于沿用了原来的老的F16的转发ASIC, 所以做成了标准的CLOS结构. 至于报文怎么在多机箱发的. 一般来说是等长分割成信元后, 根据这些信元头部来做self-routing.

    参考资料嘛 , 可以看:
    http://www.poplar.ru/dwnload/pdf/High_performance_carrier_architecture.pdf

  26. 水煮 鱼 于 2009-09-26 4:49 上午

    呵呵,这个我想不用解释了,如果是业界内部的人都很清楚。

  27. 水煮 鱼 于 2009-09-26 4:50 上午

    PS:俺是GG,不是啥美女,可能你要失望了“`

  28. 平常心 于 2009-09-26 3:21 下午

    to 25楼ASR1K:
    网真带宽:
    单屏幕1080p,带宽5M,720p的,2M
    网真TP3200,是3个屏幕,1080p带宽为15M
    从来没有过25M带宽的

    to 26楼水煮鱼:
    你这样就不对了,哈哈,有糊弄大家的嫌疑啊,
    我在网上使劲使劲地搜索,也没看到哪里有说啊

  29. ASR1k 于 2009-09-26 5:51 下午

    的确是我记错了, 向您道歉. 大致带宽是这样的, 1080p每路是4M, 音频是64k每路, 然后 auto collaborate之类的东西有一路 500k的video 和 64k的audio. 再加上20%的L2~L4 header的大小, 因此3200总带宽是15.307kbps. 当然还要加上一个presentation codec的话, 这个基础上还要再消耗4.2Mbps的带宽, 所以总共就是接近20Mbps了. 当然有些会议还会给meeting place , Cisco的 CUVC/CTM/CTMS 通信, 所以一般来做在做带宽预估的时候, 加上一些链路抖动的因素, 都应该按照25Mbps做预估. 不知道这样给您解释如何?

  30. 平常心 于 2009-09-27 4:07 上午

    哈哈,多谢,我跑题了。。。

    其实,1080p又分三种:
    Best、Better、Good
    720p亦是如此;
    你统计的,因该属于Best画质时带宽。

    再说presentation codec,我咨询ATP实施的人,应该不会4.2M,通常是500k左右;

    再说CUVC(Cisco Unified Video Conference),属于网真和传统视频会议系统互通,这部分可以算在TP的标准带宽里吗?

    CTM是何物?就是CTMS(Cisco Telepresence Multipoint Switch)?CTMS因该已经算在带宽计算里的吧?

    至于MeetingPlace,那确实难说,因为MeetingPlace里还有很多形式,web的,video的,纯audio的,如果开TP,同时开MP,因该需要增加MP带宽

  31. ASR1k 于 2009-09-27 7:19 下午

    CTM是 Cisco Telepresence Manager , 主要是一些xml的东西和exchange server 这些东西互通用的. CTMS是一个会议网桥. 一般放在HQ侧的, 也不需要考虑太多的带宽. 我给你的值都是 1080p的best , better 是3.5M , good 是 3M. presentation codec 也是如此, 我是看的内部的一个文档. 是TSBU给我的.

    总体来说基本上还是把每个TP预留25Mbps的带宽比较合适. 虽然实际上可能只用15Mbps~20Mbps, video流量你也知道, VBR的, 画面变化过大会产生一些峰值的, 虽然做shapping也可以, 但预估的时候, 还是会故意将其搞大一点.

  32. Will Chie 于 2011-03-03 6:09 上午

    首席讲的很清楚,可看评论就蒙了,什么是:NSF NSR ISSU啊?求教高人。

  33. 嗣同同乡 于 2011-03-07 11:44 下午

    个人理解,供参考。
    NSF:一般只涉及硬件层面的转发平面,转发不受影响就行。
    NSR:这个跟控制平面的路由协议不中断有关系,貌似是路由协议的socket有备份或者同时运行多个实例。
    ISSU:是跨版本的HA

  34. 理客 于 2011-03-08 12:11 上午

    NSF: Non Stop Fowarding,就是主控故障时,转发不中断,具体处理就是线卡的转发相关的表项不会因为主控板故障而立刻失效,而是等待主控的主备倒换或者故障恢复,实际实现时一般会有短时的丢包,很难0丢包。为了保证邻居能忽略自己的故障,此时控制层面一般要始能GR(Graceful Restart)
    NSR: Non Stop Routing,是主控做完全的热备份,包括所有的控制层面的session,不需要邻居配合,完全是自主行为,并且是0丢包,这个实现技术难度很高
    ISSU(In Service Software Upgrade):无损升级,就是软件升级的时候,没有任何业务中断,这个具体实现中,经常要利用上面NSF/NSR的技术,同样,如果要0丢包,技术实现难度很大,目前似乎没有最美的实现

  35. Will Chie 于 2011-03-08 3:21 上午

    小弟多谢两位高人指点,眼泪飞奔ing。