分享

从网络数据报文的观点来观察思科的QFP，QFP就是一个数据报文的从层2一直到层7的数据处理与转发的引擎。在基于QFP的思科ASR1000系统中，读者要非常值得注意的一个观点是：QFP扮演的是一个集中式数据处理的角色。换言之，系统中所有的数据的，从线卡（SPA–>SIP）和控制平面卡（RP），都是通过系统的背板Backplane互联ESI，而进入QFP。QFP处理后，决定是应该转发给某个线卡并发送出去，或者是应该转发个控制平面卡。QFP扮演着一个集中式数据控制和处理的角色。具有HA的ASR1000系列，具有两个ESP卡。美国ESP卡上有一个QFP。这两个QFP/ESP的关系是一个Active，另外一个Standby。所有的数据报文都是进出当前的主QFP处理器。辅QFP，通过一个专用的SPI4.2 10Gbps的通道，与主QFP通信，做状态备份。

如上图所示，从报文的观点来观察，QFP的逻辑分为两大部分。第一个部分是QFP-Processor Engine。第二部分是QFP-Traffic。第一个部分主要就是那40个Tensilica的Xtensa ISA的处理器单元。第二部分是由一些数据缓存，队列（Queue）和相应的调度算法逻辑组成。下图所示为Traffic Manager的一个逻辑结构图。

1. 当一个数据报文通过一个相应的SPI-4.2数据通道抵达后，QFP的报文分发部件（Dispatcher）会将报文层2的Frame所以数据都传送到QFP的内部报文缓存里（On-Chip Packet Memory）。也就是说，不仅仅是报文的头（Header），是包括数据（Payload）都存放在QFP芯片内部的缓存中处理。这部分的功能还包含一些基本的数据报文的处理和分析工作

2.  QFP的报文分发部件将这个新的数据报文分配给一个计算单元（一个CPU核的一个硬件线程）。这个线程将从头到尾的负责这个数据报文的处理序列，其中包括：

进入时：要进行Netflow，MQC/NBAR Classify, Firewall, RPF, mark/Police, NAT, WCCP, Deep Inspection, 等等。

转发功能：QFP当然首先是一个路由器的数据平面的一个引擎。所以要处理这个报文该往哪里转发的问题。因此QFP的Processor Engine要完成如下工作： IPV4的FIB，MPLS, Multicast等等。

当要离开QFP Processor Engine时，还需要 Netflow，MQC/NBAR Classify, Firewall, NAT, Police/Mark和Crypto 等功能。为什么要考虑加密呢，因为，有可能是VPN tunnel的数据报文。

这时，一个数据报文就已经完成所有的软件处理可以被释放给QFP的Traffic Manager做最后的调度并发出离开QFP了。这个数据报文会被传送到相应的Traffic Manager的队列中。这个过程与这个报文是一个Trhough Traffic（要去另外一个线卡端口），或者是一个去控制平面（RP）的报文，或者是一个HA报文，有关系。不同的报文类型将被放到不同的队列中。从而Traffic Manager的队列调度器可以通过不同的调度算法去相应的发送一个报文。

3. QFP的Traffic Manager的队列调度功能将决定一个报文的去向。目前，Traffic Manager可以支持128K个队列。强大的队列调度器可以应用许多QoS算法在系统的数据报文上。值得注意的两点是：如果一个数据报文被一个Processor Engine的线程处理完之后，还需要再来一遍，Traffic Manager负责相应的队列中的数据报文再次转发到On-chip数据报文缓存中；如果一个数据报文需要加密，Traffic Manager会通过相应的SPI通道启动QFP外部（在ESP板子上）的加密部件。

分享

分享

 考察一个高级网络处理器时，其互联结构（Interconnect）是一个非常重要的一环。对于一个SoC芯片而已，CPU核本身，作为一个计算单元，只是众多的计算逻辑的一个子部分（Sub-System）。系统中的许多其他部件，如硬件加速器，网络报文处理逻辑等等，都是非常重要的组成部分。因此，如果将这些处理部件有机的互联起来，从而达到快速，低功耗，和其他诸多电气要求，就成为一个现代高级芯片设计的关键。

不同的网络处理器设计公司通常 采用不同的方法。各有优缺点。例如，RMI的XLR系列是通过FMN（Fast Message Network）的环结构（Ring），从而使得系统的CPU Core，报文处理单元PDE，加密单元Cypto引擎，多处理器互联的HT接口（HyperTransport），PCI-X等等，都互联在一起。值得注意的是XLR的内存模块并没有挂在FMN的环上。这也是RMI XLR体系结构的一个特点–通过将FMN和MDI（内存互联结构）分拆，从而达到，数据通道通过FMN，而通常比较慢的内存访问通过MDI互联。另外一款著名的网络处理器是Cavium的Octane系列。Octane芯片的内部互联相对而言略简单一些–仍然通过经典的支持Cache Coherence的共享内存总线（Memory Bus）的方式将CPU核与内存互联。其它部件，例如网络加速部件，DFA查询部件，SPI端口等等都是通过一个I/O总线的方式互联，然后通过一个接口转换桥（Bridge）挂在内存总线上。关于RMI的XLR系列和Cavium的Octane系列的体系结构，笔者会在将来的文章中做更详细介绍。

思科的QFP是一个inhouse的网络处理器，因此基本上不可能有公开的资料显示其内部详细结构，特别是其互联结构。上图所示，是笔者从其公共的一些产品文档中多QFP的一些介绍，对其互联结构做出的一些基于个人技术观点的推测。

总体而言，QFP的互联是一个基于二维的Crossbar的互联。在这个互联上，每个逻辑部件对于互联逻辑而言，都是一个节点（node）。这个节点除了实现自己的计算逻辑之外，实现一个与这个互联网络协议的接口（interface），通常而言，是一个命令（command）协议和一个数据（data）协议。这个互联协议的重点是通过在这个互联网络上发送命令和数据单元，从而可以从一个节点抵达任何另外一个节点。

如图所示，40个基于Tensilica的Xtensa ISA的CPU核都是这个互联上的节点。QFP的另外一大部件Traffic Manager也是一个节点。在这个互联上，还拥有许多其他的网络加速，内存，和为了与QFP芯片外部互联的逻辑部件。

HT: HyperTransport接口。这是用来使得ASR1000上的ESP（Embedded Service Processor）模块（板）上的主控CPU与QFP互联的主要接口。通过HT互联，从主控CPU的角度，QFP就是一个设备，从而可以使得主控CPU可以通过HT来操作QFP，例如通过读写控制寄存器的方式等。

TCAM：这是QFP做数据报文查询（lookup）的外挂 CAM存储器。

DDR2：QFP应该是内含有两个DDR2的控制器。一个是给40个CPU核要用的RLDRAM的控制器；一个是给Traffic Manager的DRAM。

On-Chip SRAM：QFP的报文，当通过入口逻辑（Ingress）抵达之后，是被全部（报文头和报文数据）都被放到了QFP内部的报文内存中，而非在外挂的DRAM。这一点是QFP有高性能的重要技术亮点之一。许多其他类似的网络处理器都是将数据报头可以放到芯片的内含逻辑中（如寄存器，或L2 Cache里），但数据包的数据（Payload）通常是通过DMA引擎传送到外挂的DRAM里。

SPI-4.2的Packet Dispatcher：QFP的Ingress是支持4个SPI 4.2的接口。也就是说，可以支持40G的线速。这4个SPI在QFP在ASR1000上其实是有分工的。从不完全的资料显示，应该是2个SPI是QFP，通过外部系统互联，链接线卡（SIP）。其他2个SPI是链接其他的ESP/QFP（支持HA）和控制平面RP（Routing Processor）的。值得注意的是，QFP芯片本身不内含有加密逻辑部件。加密逻辑部件是外挂的，并且通过SPI接口与QFP互相连接和通信。

SGMI：QFP应该还支持2个1G的以太端口，作为控制使用。

QFP 除了 上述主要互联部件之外，还支持许多叫做Internal Resources的硬件加速部件，并且作为节点挂在这个二维的互联结构上。其中一个特别值得注意的是硬件锁机制。笔者相信这个部件是提供了一系列的spinlock，mutex等逻辑，从而可以使得40×4=160个硬件线程可以通过高速的锁机制，从而达到并行计算中所必须的同步机制。

除了硬件锁机制，QFP还提供了许多其他的硬件加速模块，例如NBAR, FRM，Traffic Policing， WRED等等。

分享

分享

    [引子]
    笔者从2004年12月底开始写“中国IPv9调查”以来，一直想到一个可以把自称是具有“自主创新、另辟途径,建立新的互联网理论基础建立新的互联网架构”的IPv9商品营销问题写一写。

2007年11月30日，由中央党校经济学部主办的

“提高自主创新能力，建设创新型国家” 研讨会在中共中央党校举行。

    这一方面是自己觉得，“中国将诞生首位世界级富豪—两万亿财富”这样的经济学预言，如果没有市场经济营销手段做支持，那将是一个十分艰难的事儿;

中国将诞生首位世界级富豪（2005年12月《经济》）

      另一方面，从2004年12月底至今己经是第5个年头，这个声称“中国IPV9技术孕育而生，使得我国从此就能够有效地打破美国当今在国际互联网技术上和产业链上的垄断地位，并已使我国事实上成为继美国 之后世界上第二个拥有和掌控网络域名和地址分配等核心技术和上游产业链稀有信息资源的国家”（谢建平：《互联网产业的本质与中国下一代互联网(IPV6)的产业地位》2008年12月24日）的如此革命性产品，以笔者作为中国ChinaNet第一批（1995年10月上网）3000个用户之一，浸泡在网络这么多年，却无法从它自称是“域名”这个角度去触摸到它的存在—那怕是让笔者扮演一次成语故事“盲人摸象”中的盲人也成。

    不过，2009年春节前的1月23日，笔者邮箱中收到一封笔者在IPv4网看不到图片贺卡，才顿时感悟到：其实，IPv9一直在做网络营销，只是它的网络营销理论可能与IPv4的网络营销模型不同而已。由此产生了写此《IPv9营销聊》系列冲动。

    [一封IPv4看不到贺卡]
    From: 13386036170@133sh.com
    Sent: Friday, January 23, 2009 11:02 AM
    To: 为防止spam，编辑在此隐去25个电子邮件地址
    Subject: [贺卡] 十进制网络科技有限公司 祝您春节愉快、阖家幸福

  
    这封由“13386036170@133sh.com”（133上海手机用户）发出的邮件，笔者在IPv4网看不到图片贺卡（把此邮件分别搬在我家有2台台式电脑、3部笔记本不同的操作系统浏览都同样结果，见抓图）。不过，从笔者的存档文件中，还是查出这个“13386036170@133sh.com”邮箱是2004年12月底开始与本人有邮件及电话联络的香港永久居民、中国IPv9数项专利持有人谢建平先生。

    而在上面邮件收件人中，有浙江大学平玲娣教授等一些似乎是这些年来“沾染”了与IPv9有关的人士（包括笔者，哈哈）。

    不过，这封谢建平先生发出的邮件让笔者似乎发现了几个有趣的问题：

    一是“十进制网络科技有限公司”取代了那“上海通用化工技术研究所”了（？）
    二是之前据笔者了解到，很多媒体记者在试图打谢建平先生的13386036170手机、及向此“13386036170@133sh.com”邮箱发邮件预约采访谢建平先生，都不成功。而这封邮件似乎告诉大家：谢建平先生的13386036170手机及“13386036170@133sh.com”邮箱都很正常，只是之前可能一直比较不方便与大家沟通联络。
    三是上述邮件收件人都是对中国IPv9有“沾染”的人士，今后大家不妨向这些邮箱发一下采访预约，一定会有收获。当然，笔者的那个邮箱是比较少用了（垃圾邮件占98%，一个月最多收几次信），有兴趣可以从下面附上邮件信息中直接发给俺。

    好了，2009年牛年俺的第一篇IPv9文章就这样与大家见面了，后面会陆续写下去，感谢十进制网络科技有限公司谢建平先生的看不到图片贺卡！

    中国IPv9调查系列文章网址：http://w.org.cn/user1/4/subject/72.html

    沈阳（网名：sz1961sy）
    2009年1月30日 16时30分写于北京家中
    QQ：13022830  
    MSN：sz1961sy@hotmail.com
　  家庭博客：http://w.org.cn

分享

分享

      何大庆现为美国匹兹堡大学（University of Pittsburgh）信息学院助理教授。何教授持有北航计算机系学士（1992年）和硕士学位（1995年），并于2001年获得英国爱丁堡大学（University of Edinburgh）计算机专业博士学位，博士导师为Graeme Ritchie和John Lee教授。在任教匹兹堡大学以前，何教授还曾于美国马里兰大学（University of Maryland）从事研究工作。

      何教授的研究方向包括计算语言学、信息存取、和互联网页面分析等。他还在各种期刊发表过多篇论文，并参与组织多个学术会议。

      何教授的联系方式为：

Daqing He, Ph.D.
Room 618, Information Science Building
135 North Bellefield Avenue, Pittsburgh, PA 15260
Tel: (412) 624 2477 Fax: (412) 648 7001
Email: dah44 AT pitt DOT edu

点击这里进入何教授主页（英文）。

分享