思科核心路由器CRS-1与SPP处理器的研究–FCC多机交换(3)

Sina WeiboBaiduLinkedInQQGoogle+RedditEvernote分享




在上一节中笔者阐述了2LCC+1FCC的CRS-1系统的互联结构。本节介绍2LCC+2FCC,和2LCC+4FCC的互联方案。

上图所示为笔者绘制的2FCC+2LCC的一个CRS-1系统多机互联结构示意图。在这个系统中,读者始终要牢牢抓住的一个CRS-1的最重要的概念是:8个独立的,并行工作的交换平面(S13卡+S2卡)。

首先,这个拓扑结构中,两个FCC–FCC0和FCC1 各贡献4个OIM卡,其编号分别是上排的0,9和下排的12和21。8个OIM卡都分别在不同的电源控制区域(Zone)。

两个LCC–LCC0和LCC1分别将自己的8个S13交换卡通过光缆接口链接到FCC0和FCC1的OIM卡的光缆接口上。

图中的红,蓝,绿,棕色的线段为逻辑示意。

在FCC0上,

红色光缆把LCC0的S13交换卡(编号为SM0),FCC0的OIM卡(编号为OIM0)和LCC1的S13交换卡(编号为SM0)互联。并形成一个交换平面。

蓝色光缆把LCC0的S13交换卡(编号为SM1),FCC0的OIM卡(编号为OIM9)和LCC1的S13交换卡(编号为SM1)互联。并形成一个交换平面。

由于篇幅关系,笔者没有画出FCC0上OIM12和OIM21与LCC0和LCC1的S13卡(编号为SM2,SM3)的互联线段。其实很简单,道理与红色和蓝色组合是一样的。

同理,在FCC1上,

绿色光缆把LCC0的S13交换卡(编号为SM6),FCC1的OIM卡(编号为OIM12)和LCC1的S13交换卡(编号为SM6)互联。并形成一个交换平面。

棕色光缆把LCC0的S13交换卡(编号为SM7),FCC1的OIM卡(编号为OIM21)和LCC1的S13交换卡(编号为SM7)互联。并形成一个交换平面。

由于篇幅关系,笔者没有画出FCC1上OIM0和OIM9与LCC0和LCC1的S13卡(编号为SM4,SM5)的互联线段。其实很简单,道理与绿色和棕色组合是一样的。

有兴趣的读者可以尝试把上述设计图的其他4个交换平面勾画出来。从而加深对交换平面相关概念的理解。

通过上述图解和分析,读者可以清晰的知道,2LCC+2FCC互联之后,形成了8个交换平面。

对于位于一个LCC的一个线卡MSC上的一个数据单元 (Cell),通过基本的轮询算法,该数据单元会被发送到一个S13卡的S1芯片上,该芯片将此数据单元通过互联光纤,发送到相应的FCC上,例如FCC0或者FCC1。FCC1的OIM卡把数据单元接受并被相应的S2卡的S2芯片接收处理,并根据该数据单元的目的地的地址,将其发送到相应的S13卡。例如,对于红色通道,如果数据是从LCC0来的,要朝LCC1去(这个信息是填写在Cell的报头里的。信息的产生很简单。路由查询是在线卡就完成的)。如果系统决定这个数据要通过红色通道,在FCC0的相应的S2交换卡,会把数据传给LCC1的编号为0的S13卡。从而,数据抵达了LCC1机器。以前笔者反复强调了这个概念,在S3芯片上,通过中间平面(Midplane)存在着 连接各个本地LCC线卡的通道(Channel)。S3芯片通过数据单元的路由信息 ,把数据发送给相应的线卡的MSC芯片(SPP)。

这样,就完成了一个跨越两个LCC和两个FCC的一次数据交换过程。

从2LCC+1FCC体系结构与2LCC+2FCC体系结构来比较,读者要牢牢抓住一个概念:2个FCC的引入只是为了容错和提高可扩展性,别无其他技术上的目的。

一个数据单元从FCC0被交换到其他的LCC,还是从FCC1被交换到其他的LCC,是一样的,等价的。

在把握了上述的一些知识和概念之后,我们来讨论一下2LCC与4个FCC的体系结构设计。

2LCC+4FCC中的4FCC的目的与2LCC+2FCC是一致的:尽量的把交换平面均匀的分布开。例如在2LCC+1FCC结构中,所有8个交换平面都在唯一的这个FCC中。在2LCC+2FCC中,2个FCC各支持4个交换平面。上下两排各两个。

那么如何设计 一个2LCC+4FCC的8个独立交换平面呢?

很简单。 8/4=2。每个FCC贡献2个交换平面。

因为每个FCC有上下两排OIM卡。因此,很简单,最好的设计方案是上排贡献一个OIM卡,形成一个交换平面;下排贡献另外一个OIM卡,形成另外一个交换平面。或者是挑选在同一排,但位于两个电源控制区域的两个OIM卡,例如上排最右侧的OIM0和左侧的OIM9。

然后,一个典型的设计方案可以如下所示:

FCC0 OIM0: LCC0: SM0的A0-A2<—> FCC0 OIM0 J0–J2;LCC1: SM0的A0-A2<—> FCC0 OIM0 J3–J5

FCC0 OIM9: LCC0: SM1的A0-A2<—> FCC0 OIM9 J0–J2;LCC1: SM1的A0-A2<—> FCC0 OIM9 J3–J5

FCC1 OIM0: LCC0: SM2的A0-A2<—> FCC1 OIM0 J0–J2;LCC1: SM2的A0-A2<—> FCC1 OIM0 J3–J5

FCC1 OIM9: LCC0: SM3的A0-A2<—> FCC1 OIM9 J0–J2;LCC1: SM3的A0-A2<—> FCC1 OIM9 J3–J5

FCC2 OIM0: LCC0: SM4的A0-A2<—> FCC2 OIM0 J0–J2;LCC1: SM4的A0-A2<—> FCC2 OIM0 J3–J5

FCC2 OIM9: LCC0: SM5的A0-A2<—> FCC2 OIM9 J0–J2;LCC1: SM5的A0-A2<—> FCC2OIM9 J3–J5

FCC3 OIM0: LCC0: SM6的A0-A2<—> FCC3 OIM0 J0–J2;LCC1: SM6的A0-A2<—> FCC3 OIM0 J3–J5

FCC3 OIM9: LCC0: SM7的A0-A2<—> FCC13OIM9 J0–J2;LCC1: SM7的A0-A2<—> FCC3 OIM9 J3–J5

从上述设计可以得出,LCC0与LCC1各自的8交换卡(SM0-1SM7)被均匀的分布了连接在4个FCC机器的OIM卡上,与相应的S2交换卡互联,并形成了8个独立的交换平面。 从而,任何一个LCC线卡MSC上的一个数据单元(Cell)可以通过位于4个FCC中任何一个交换平面被发送到相应的LCC的线卡上。

到目前为止,笔者阐述了2LCC+1FCC,2LCC+2FCC,2LCC+4FCC的系统互联原理和配置。读者应该很容易的推广到2LCC+8FCC的配置–每个FCC贡献出一个S2卡(一个OIM卡)。

对于 3LCC+ xFCC的情况,其实与2LCC的原理是一样的。因为每个OIM卡有9个光纤接头,因此,对于3LCC的系统布局,可以简单的把第3个LCC相对应的S13卡的A0-A2通过互联光纤接入到相应的FCC的OIM卡的J6,J7和J8上。

从交换平面的角度,2LCC多机互联相与3LCC多机互联 的区别是:

2LCC多机互联:一个交换平面是:2个S13卡 +1个S2卡

3LCC多机互联:一个交换平面是:3个S13卡 +1个S2卡

换言之,如果不考虑S13卡,基本的结论是:对于上述CRS-1系统而言,1个S2卡提供而且完全提供一个独立的交换平面。

现在的问题是,如果是4LCC,5LCC,8LCC,系统该如何互联?

从另外的一个角度,为什么FCC是24个S2交换卡,或者24个OIM卡?

从2LCC和3LCC多机互联结构,我们可以得知,其仅有的8个S13卡已经都全部被使用了形成其8个交换平面。那么,如果系统再引入新的LCC,新的LCC的交换卡如何接入系统,更重要的是,如何从这个新的LCC的任何一个线卡,数据单元能够抵达(Reach)这个CRS-1环境中的任何一个其他LCC的线卡?

上述问题,其实也是从体系结构的角度来提问,为什么说CRS-1,从理论上,可以提供72个LCC互联?

(3个打分, 平均:5.00 / 5)

雁过留声

“思科核心路由器CRS-1与SPP处理器的研究–FCC多机交换(3)”有15个回复

  1. 陈怀临 于 2009-07-06 2:09 下午

    再写一节,把CRS-1如何支撑72个LCC的机理阐述。然后就汇总形成一个PDF文件“思科核心路由器CRS-1与SPP处理器的研究(上)”。否则,每章节上来就是10几个index,屏幕凭空先去掉了半页,不方便。

  2. 帅云霓 于 2009-07-07 4:29 上午

    曲高和寡。光读懂首席这些心血凝成的文字就需要非常耐心的思考,有勇气提出自己的意见的就更是阳春白雪一般了。
    多么希望自己有一天能具备与陈首席讨论这些问题的资格…

  3. ALL IP? 于 2009-07-07 6:27 上午

    等陈先生结集之后再仔细拜读,正好前段时间研究过CRS-1的控制平面,到时再请教

  4. ABC 于 2009-07-08 1:10 上午

    如果画个三维的图,并用虚线将单机上的板卡圈出来会否更容易让读者理解这种交换结构?

  5. liqiangln 于 2009-07-08 1:11 上午

    绿色光缆把LCC0的S13交换卡(编号为SM6),FCC1的OIM卡(编号为OIM0)和LCC1的S13交换卡(编号为SM6)互联。并形成一个交换平面。

    棕色光缆把LCC0的S13交换卡(编号为SM7),FCC1的OIM卡(编号为OIM9)和LCC1的S13交换卡(编号为SM7)互联。并形成一个交换平面。
    ———-
    楼主,这个对应的应该是FCC1的OIM-12和21不是0和9,楼主辛苦啊!

  6. liqiangln 于 2009-07-08 1:40 上午

    从理论上,可以提供72个LCC互联?
    ——–
    个人理解是如果从光口数量上看72*LLC = 72*8*3 = 1728;8*24*9 = 1728,这样看刚好完全匹配。
    如果这1728个光口映射成8个平面,每个平面就要216个光口,如果这216个光口从72个LLC来,那么每个LLC只能提供3个光口,这样看8个平面不合理,应该是更细的平面。
    个人假想是,每一个LLC出一个光口(每个LLC 24个光口),共72个光口组成一个平面,那么就是24个平面,由8个FCC来构成,每个FCC提供3个平面在满配的时候,就是需要8个OIM在midplane处级联。

  7. 陈怀临 于 2009-07-08 5:41 上午

    5:改正了。谢谢。

  8. 陈怀临 于 2009-07-11 8:29 上午

    8个交换平面是CRS-1的底线。例如,对于LCC而言,有而且只有8个交换卡插槽。因此,系统是而且一定是,有而且只有8个交换平面。

  9. 无名小猪 于 2009-07-20 1:54 上午

    市公司在最近2个月将调通2个CRS核心,我真不明白我们县公司才上了2年多的GSR就落伍了?读了本文,虽然我对之间的连接还有些不太明白(要有机会自己操作一下就好了),但至少我对CRS有了个大概的了解。另外,我想问一下,CRS配置是否和CISCO的普通IOS一样呢,是不是只要正确连接好各逻辑平面,无需额外的配置,就可以象1台ROUTER那样工作了?(我是个菜鸟,实在赶不上技术潮流,提个菜鸟问题,不要见笑)

  10. 陈怀临 于 2009-07-20 4:28 下午

    无名小猪,世界上没有菜鸟小猪,只有菜鸟老师。是的,任何一个系统,配置都是很关键的。硬件其实就是一堆废铁。软件赋予其灵魂。否则为什么CCIE都吃香喝辣的?其实就是会配置一个系统:-)。

  11. 1+4or2+4 于 2010-07-22 11:15 下午

    6楼的大侠太深奥了,不懂。
    我揣测72台这种场景,8台每个FCC是否就代表了一个交换平面?每个LCC也刚好是8个交换卡,每个卡(的3个口)接到一台FCC(的一个卡的3个接口)上,这样每个LCC刚好加入到8个交换平面中。
    24*9/2=72,每个FCC刚好连接到72个LCC的一块交换卡上。

  12. asr1k 于 2010-07-24 3:58 下午

    bingo, per fcc per plat

    IOX not simply like IOS , but involve many carrier grade innovation. like copy “config-lib/commit” procedure from J. Micro-kernel. and many other complex distribute procedure and HA procedure.

    I hate certificate , even some one got certificate from cheating….

    software is very important for a system, but if some one just can play or config with the system is not very important.

  13. viaduct 于 2010-07-31 6:47 上午

    FCC与LCC通过光纤互联。有没有人研究过这种互联机制?对于多T系统,performance efficient, density efficient and cost effective 机架/Chassis互联机制是需要探讨的,包括物理层以及数据/控制层。

    从物理层上,可能目前用得比较多的还是并行VCSEL,每端口跑到12.5G/单通道*12通道 = 150G。另外,还有的就是CWDM (4ch @ 25G/ch)以及 PIC。

    等有时间仔细研究CRS-1采用什么方式

  14. Will Chie 于 2011-03-02 7:03 上午

    顶起来,留着看,还得深入挖掘弯曲啊。

  15. 陈怀临 于 2011-03-02 9:07 下午

    我自己看了一下这个2009年的文章。心想这谁呀,这么牛和花时间。而且名字还与我一样。。。

    基本上不敢想象当时的毅力。有时为了搞清一个问题,需要2,3个星期。基本上无资料。

    天天看着Cisco的building:如果我是设计者,该如何做。然后在这个思路下,去猜。

    其中最大的收获就是:不要把敌人当傻瓜。