分享

        存储和计算结合之后，是什么样的产品形态啊？计算，存储，都很牛叉的机器？
JIM GRAY，有一篇论文谈到，真正成本最高的地方在网络…我们也确实可以感觉到，在同步数据，或者做灾备的时候，最头疼的还是两个节点之间的通道有多大
       这里有个观点，叫做三统，哪三统呢？首先是集群的统一，大家知道目前有各种各样的集群，比如计算集群 、存储集群，存储集群中又分为汲取SAN、集群NAS、分布式文件系统、集群文件系统等，那么如此多样的集群，其本质无非就是一堆x86的节点，用某种网络连接起来，后面挂了大量磁盘的，他就是存储集群中的节点，拥有大量CPU和内存的，它就是计算节点，如果两者皆有，那就是统一集群了。为何计算与存储以前要分开呢？因为以前的DAS直连存储性能和容量均跟不上，而且是属于孤岛形态，必须要将其与计算分开独立发展，先发展为双控制器传统网络存储，此时计算与存储无法合体，但当外置存储发展到集群化形态之后，虽然其表像仍然是分的，但是其里面却是合的，对外合为一体的。此时，计算与存储集群经历了长久分开之后，也必将会重新合体，寻回其本源。大家可以看到这是一个轮回。如今，存储系统正在向集群化发展，而计算也是集群化，那么计算集群与存储集群就可以完美的被融合起来了，形分神合。这种形态也属于之前提过的“自助型存储集群”。除了主机集群与存储集群的合体之外，集群SAN与集群NAS其实也可以统一，目前很多厂商都推出了块虚拟化产品，它们的Lun在后端其实就是一个文件，可以被打散存放在底层磁盘各处。既然SAN设备底层都使用类文件系统来管理了，那么SAN与NAS的后端其实就已经被统一了，剩下的，就是前端访问协议的统一了（见下）。此外，集群硬件也将变为一个平台，其上的各种协议、应用，则变成了一种服务，比如SAN服务、NAS服务，而分布式文件系统则是集群NAS的支撑层，其本身与集群NAS属于一种本质上的东西。至此，集群硬件形态与上层软件充分解耦。
       其次是访问协议的统一。既然集群已经变为一个通用集群，那么访问这个集群的方式也应该被融合。上文中曾经提到过，文件与块的本质其实是一样的，只是组织与访问方式不同罢了。如今块虚拟化的存储系统比比皆是，它们无一例外都将Lun像一个文件一样来对待，恨不得直接在纯种文件系统中用文件虚拟出一个Lun来岂不快哉？既然这样，底层其实是被文件系统给统一了，那么外围的访问方式上，也应该被统一。本质上讲，不管是块还是文件，其实它们都用同一种协议访问：操作码、目标、起始偏移、长度。对于块访问，目标就是Lun ID，而对于文件，目标就是某路径，比如/a/b/c.txt，那么是否有一种东西来屏蔽目标的不同呢？其实早就有这种协议，说到这里大家可能就悟到了，这就是对象存储系统，对象存储协议就是将文件与块访问大统一的最佳候选协议了，只要时机成熟，文件、块大统一的访问方式必将席卷存储技术领域。块与文件这两种访问协议分开太久了，有合的趋势与欲望，底层技术也很给力。其实对象存储协议早在上世纪80年代就被提出了，时隔30年，如今终于有了用武之地，就是利用对象协议，可以将文件与块的访问完美的融合统一起来。如果真的可以用对象存储做到统一，那么主机端会出现一种新的HBA，即OSD HBA，其将OSD Initiator集成到硬件中，存储对象既可以表现为一个目录，又可以表现为一个卷。
       最后，就是网络的统一。不管第一网第二网还是第三网（分别指代前端业务LAN，中间的存储SAN以及后面的集群通信网），如果有一种网络可以同时满足需求，那么为何不统一呢？比如以太网。
       做到这三统，这才是真正的统一存储，而不是同一个机头同时出块和文件协议，这就叫统一存储？噱头而已，看似统一，实则意义不是很大。
       再说回来，这种统一之后到底是个什么牛x机器？答案是不是单独的机器，就是一群机器，通过软件模块联系起来，对于计算机来讲，硬件属于物质本源，属于阴，属于形；软件则属于精神本源，属于阳，属于神。用软件模块将计算和存储颗粒汇总起来发挥作用，并且将原本的以计算为中心的计算方法变为以存储为中心的计算方法，把计算颗粒分配到存储了计算所需要的数据的节点上，在哪存储就在哪计算，大幅提高效率和速度，避免了频繁大量数据传输，这也回答了你的另外一个问题“成本最高的是在网络上”，其实这句话暗指，数据移动起来成本太高了。网络本身成本不高。但是如果要容灾，依然可以使用这个思想，即在哪存储就在哪计算，可以在业务层面进行双份，而不是数据层面，比如一笔交易，可以在业务层面将其同步到远端，远端针对这笔交易生成自己的数据然后下盘，一个实际例子比如数据库日志同步方式的容灾，同步量相比直接底层数据同步来的少很多。
       你说的那种“计算与存储都很牛x的机器”，也不是没有，但是还不到时候，到了量子计算和分子存储时代，那时候计算机形态又会轮回到初始原点状态，单台机器，确实很牛x，大家都拿高速网络来连接到这台超级计算机上获取资源
       最后，预知详情，请阅将在明年3月出版的鄙人专著《大话存储2》

分享

分享

【前言：有一种说法[1]是Google的程序里面80%用的是MapReduce，20%用的是Pregel。今天就来介绍一下这个Pregel。想要深入研究的同志们，可以参考最新的SIGMOD 2010 ppt[2]。】

简介

Pregel是一个用于分布式图计算的计算框架，主要用于图遍历（BFS）、最短路径（SSSP）、PageRank计算等等。共享内存的运行库有很多，但是对于google来说，一台机器早已经放不下需要计算的数据了，所以需要分布式的这样一个计算环境。没有Pregel之前，你可以选择用MapReduce来做，但是效率很低；你也可以用已有的并行图算法库Parallel BGL或者CGMgraph来做，但是这两者又没有容错。所以google就自己开发了这个新的计算框架。

（八卦一下：Pregel的名字来历很有意思。是为了纪念欧拉的七桥问题[7]，七座桥就位于Pregel这条河上。）

核心概念

从高层次看，Pregel是BSP[8]模型，就是“计算”-“通信”-“同步”的模式，参看图1。

图1: BSP Model

在Pregel中，以节点为中心计算。Step 0时每节点都活动着，每个节点主动“给停止投票”进入不活动状态。如果接收到消息，则激活。没有活动节点和消息时，整个算法结束。

图2: Vetex State Machine（参考2）

容错是通过检查点来做的。在每个超步开始的时候，对主从节点分别备份。

核心的概念就是这些，其他还有一些消息聚集(combiner)等优化。有兴趣可以看看Lixiang的阅读笔记[6]和Pregel Slides[2]。

类似开源实现

人人都喜欢免费。跟Pregel最像的是Hama[5]，也是基于BSP，但是，开源的Hama还未成气候。笔者原来打算拿它来做些实验，结果还不能运行。

国内似乎还没有类似Pregel的计算引擎，不知道百度和淘宝这些公司有没有需求。淘宝最近9月份开源了他们的文件系统TFS[3][4]，很敬仰。不知道上面的运行环境是不是在开发中。大宋的开源软件也要有自己的创新，不能老是拿老外的改改就用了。

参考资料

1. Pregel: Google’s other data-processing infrastructure, http://www.royans.net/arch/pregel-googles-other-data-processing-infrastructure/

2. Pregel: A System for Large-Scale Graph Processing, SIGMOD 2010的ppt, http://www.slideshare.net/shatteredNirvana/pregel-a-system-for-largescale-graph-processing

3. 淘宝文件系统TFS开源代码，http://code.taobao.org/project/view/366/

4.  淘宝文件系统TFS介绍，http://rdc.taobao.com/blog/cs/?p=128

5. Hama homepage, http://incubator.apache.org/hama/

6. 论文阅读笔记：Google的图模型分布式计算框架Pregel

7. Seven Bridges of Königsberg, http://en.wikipedia.org/wiki/Seven_Bridges_of_K%C3%B6nigsberg

8. http://en.wikipedia.org/wiki/Bulk_synchronous_parallel

分享

分享

Traffic-Histogram 9月份流量图表

首先感谢青岛某外资企业IT的袁经理，提供给我们宝贵的测试机会。就如他所说，他们的网络架构是一个标准的跨洋、VPN数据链路，100M网通共享带宽，我在之前提到过，测试结果发现国内共享链路的传输效率依然很糟糕，下载速度尚能接受，往外发送速度是一个瓶颈。（上述图表选择范围是1年，其实就是9月份的测试结果，这是因为9月之前的数据因修改时间bug而丢失，从美国得到的消息是demo机的版本低，但完全不影响使用和展示）

在这样的情况下，我们依然得出FastSoft能够在数据传输量不大的情况下，加速比还是很可观，见下图。

Speedup Histogram 9月份加速比图表

我们在向加拿大传输100M的文件，加速和没有加速的实际效果是：大概是20分钟对2个小时左右。况且这是走VPN到加拿大，对端是3M ADSL+7M的Fiber。

青岛的WAN节点是一台WatchGuard X550E，通过建立VPN，走国产的100M共享（工业区内）连到加拿大。

另外，青岛的应用是条码扫描产品，实时传输扫描内容到加拿大的数据库，还有小部分的RDP应用-加拿大连到青岛服务器，或者青岛连到加拿大服务器等等，其他一部分的高峰流量显示是员工传输视频等:)，还有员工上网流量。

总结：工厂处于投资人计划增长期间，没有标准的机房（网络和服务器等设备堆放在房间桌子上），车间实际生产的数据日产量很少，但是却需要实时传输到加拿大服务器，这在将来潍坊总厂的数据也汇入到青岛机房，对FastSoft来说是一个好机会。但是目前已存在瓶颈的状态下，我们还是建议客户尝试更改国内链路供应商（如电信，MPLS，或干脆用专线），并且让IT架构更加上一个层面，这样，相信FastSoft会比其他加速方案要更加适用。

有兴趣的朋友可以来信咨询，或者由我们提供中文资料，或者由我们为您和您的客户提供免费试用，测试服务。

xu.buyu@trustfuture.com

Michael Xu.

Best Regards.

———————————————

2010/12/5 by xubuyu update.

FS如何判断能帮到您的网络？请看下图：

分享

分享

因为在写探索UCS系列的时候，我发现弯曲的受众群主要以从事网络和通信为主，对系统虚拟化这方面不是特别熟悉，从而导致大家有可能无法很好地吸收UCS的一些技术，所以我特地准备写一个关于系统虚拟化的系列，来帮助大家加深对虚拟化技术的了解，希望大家能喜欢。

简单而言，虚拟化（Virtulization）是表示计算机资源的抽象方法。通过虚拟化可以对包括基础设施，系统和软件等计算机资源的表示，访问和管理进行简化，并为这些资源提供标准的接口来接受输入和提供输出。

虚拟化技术有很多种，比如，网络虚拟化，内存的虚拟化，桌面虚拟化，应用虚拟化和虚拟内存等等。因为篇幅的原因，本系列将重点关注系统虚拟化，特别是X86平台。今后此系列当中提到的虚拟化皆指系统虚拟化。

系统虚拟化的目的通过使用虚拟化管理器（Virtual Machine Monitor，简称VMM）是在一台物理机上虚拟和运行一台或多台虚拟机（Virtual Machine，简称VM）。VMM主要有两种形式：

1. Hypervisor VM，它直接运行在硬件（Bare Metal）上面，提供接近于物理机的性能，并在I/O上面做了特别多的优化，主要用于服务器类的应用，也被称为“Type 1”。
2. Hosted（托管）VM，它运行在物理机的操作系统上，虽然其本身性能不如Hypervisor（因为它和硬件之间隔了一层OS），但是其安装和使用非常方便，而且功能丰富，比如支持三维加速等特性，常用于桌面应用，也被称为“Type 2”。

系统虚拟机的分类

由于采用技术的不同，可以将系统虚拟化分为五大类：

硬件仿真（Emulation）

简介：属于Hosted模式，在物理机的操作系统上创建一个模拟硬件的程序（Hardware VM）来仿真所想要的硬件，并在此程序上跑虚拟机，而且虚拟机内部的客户操作系统（Guest OS）无需修改。知名的产品有Bochs，QEMU和微软的Virtual PC（它还使用少量的全虚拟化技术）。

图1. 硬件仿真架构图

优点：Guest OS无需修改，而且非常适合用于操作系统开发，也利于进行固件和硬件的协作开发。固件开发人员可以使用目标硬件 VM 在仿真环境中对自己的实际代码进行验证，而不需要等到硬件实际可用的时候。

缺点：速度非常慢，有时速度比物理情况慢100倍以上。

未来：因为速度的问题，渐趋颓势，但是还应该有一席之地。

全虚拟化（Full Virtulization）

简介：主要是在客户操作系统和硬件之间捕捉和处理那些对虚拟化敏感的特权指令，使客户操作系统无需修改就能运行，速度会根据不同的实现而不同，但大致能满足用户的需求。这种方式是业界现今最成熟和最常见的，而且属于 Hosted 模式和 Hypervisor 模式的都有，知名的产品有IBM CP/CMS，VirtualBox，KVM，VMware Workstation和VMware ESX（它在其4.0版，被改名为VMware vSphere）。

图2. 全虚拟化架构图

优点：Guest OS无需修改，速度和功能都非常不错，更重要的是使用非常简单，不论是 VMware 的产品，还是Sun（Oracle？）的 VirtualBox。

缺点：基于Hosted模式的全虚拟产品性能方面不是特别优异，特别是I/O方面。

未来：因为使用这种模式，不仅Guest OS免于修改，而且将通过引入硬件辅助虚拟化技术来提高其性能，我个人判断，在未来全虚拟化还是主流。

半虚拟化（Parairtulization）

简介：它与完全虚拟化有一些类似，它也利用Hypervisor来实现对底层硬件的共享访问，但是由于在Hypervisor 上面运行的Guest OS已经集成与半虚拟化有关的代码，使得Guest OS能够非常好地配合Hyperivosr来实现虚拟化。通过这种方法将无需重新编译或捕获特权指令，使其性能非常接近物理机，其最经典的产品就是Xen，而且因为微软的Hyper-V所采用技术和Xen类似，所以也可以把Hyper-V归属于半虚拟化。

图3. 半虚拟化架构图

优点：这种模式和全虚拟化相比，架构更精简，而且在整体速度上有一定的优势。

缺点：需要对Guest OS进行修改，所以在用户体验方面比较麻烦。

未来：我觉得其将来应该和现在的情况比较类似，在公有云（比如Amazon EC2）平台上应该继续占有一席之地，但是很难在其他方面和类似VMware vSphere这样的全虚拟化产品竞争，同时它也将会利用硬件辅助虚拟化技术来提高速度，并简化架构。

硬件辅助虚拟化（Hardware Assisted Virtualization）

简介：Intel/AMD等硬件厂商通过对部分全虚拟化和半虚拟化使用到的软件技术进行硬件化（具体将在下文详述）来提高性能。硬件辅助虚拟化技术常用于优化全虚拟化和半虚拟化产品，而不是独创一派，最出名的例子莫过于VMware Workstation，它虽然属于全虚拟化，但是在它的6.0版本中引入了硬件辅助虚拟化技术，比如Intel的VT-x和AMD的AMD-V。现在市面上的主流全虚拟化和半虚拟化产品都支持硬件辅助虚拟化，包括VirtualBox，KVM，VMware ESX和Xen。

优点：通过引入硬件技术，将使虚拟化技术更接近物理机的速度。

缺点：现有的硬件实现不够优化，还有进一步提高的空间。

未来：因为通过使用硬件技术不仅能提高速度，而且能简化虚拟化技术的架构，所以预见硬件技术将会被大多数虚拟化产品所采用。

操作系统级虚拟化（Operating System Level Virtualization）

简介：这种技术通过对服务器操作系统进行简单地隔离来实现虚拟化，主要用于VPS。主要的技术有Parallels Virtuozzo Containers，Unix-like系统上的chroot和Solaris上的Zone等。

图4. 操作系统级架构图

优点：因为它是对操作系统进行直接的修改，所以实现成本低而且性能不错。

缺点：在资源隔离方面表现不佳，而且对Guest OS的型号和版本有限定。

未来：不明朗，我觉得除非有革命性技术诞生，否则还应该属于小众，比如VPS。

五大类之间比较

根据个人的经验，我在性能，用户体验和使用场景这三方面对这五大类进行了比较，具体请看下图：

表1. 系统虚拟化五大类之间的比较

因为这表只是我笼统的经验之谈，仅供参考，特别在操作系统级虚拟化这块。

系统虚拟化的用处

主要有那些用处呢？

1. 软件测试，通过使用VirtualBox和VMware Workstation来配置测试环境，不仅比物理方式快捷很多，而且无需购买很多昂贵的硬件，更重要的是，通过它们自带的SnapShot/Pause功能可以非常方便地将错误发生的状态保存起来，这样将极有利于测试员和程序员之间的沟通。现在已经有很多软件都通过虚拟机的形式进行测试，最著名的例子，莫过于以VirtualBox虚拟机形式发布的Chrome OS测试版。我第一次接触到虚拟化技术强大威力就是在软件测试方面。
2. 桌面应用，通过诸如VirtualBox和VMware Workstation等桌面虚拟化软件能让用户使用其他平台的专属软件，比如使用Linux的用户能够通过VirtualBox上虚拟的Windows环境来访问使用ActiveX技术的网上银行。
3. 服务器整合，通过 VMware ESX 和 Xen 能够将多台物理机上的工作量整合到一台物理机上。现有普遍的整合率在1：8左右，也就是使用这些软件能将原本需要八台物理机的工作量整合到一台物理机上。服务器整合不仅能减低硬件，能源和场地等开支，还能极大地简化IT架构的复杂度。
4. 自动化管理，通过使用类似DRS（Distributed Resource Scheduling，分布式资源调度），Live Migration（动态迁移），DPM（Distributed Power Management，分布式电源管理）和HA（High Availability，高可用性） 等高级虚拟化管理技术，能极大地提高整个数据中心的自动化管理程度。
5. 加快应用部署，通过引入虚拟化应用发布格式OVF（Open Virtualization Format），不仅能使第三方应用供应商更方便地发布应用，而且使系统管理员非常简单地部署这个应用（大多数情况下只要轻轻一个点击就可以完成整套部署工作）。

本篇结束，下篇将关注X86虚拟化技术的发展。

参考资料：

1. 《虚拟化与云计算》
2. 《系统虚拟化 – 原理与实现》
3. 虚拟化的定义
4. 虚拟 Linux

分享

分享

IPV6的商用还需要一个长期的过程来演进，在很长一段时间需要IPV4/IPV6共存。城域网全网使用IPV6是未来一段时间的目标，预计要到2020年左右才能实现全网IPV6。升级到IPV6需要从核心层、业务控制层面、接入层面和业务应用均要全面支持IPV6，从现网IPV6城域网升级至IPV6城域网至少需要下述几个阶段：

1、 IPV4城域网(现网)

2、 IPV4/IPV6共存

3、 IPV6城域网

其中IPV4与IPV6共存阶段是一个较为长期并需要大量设备升级和割接扩容的阶段，是以后城域网一个重要的阶段。对于该阶段我们建议关注以下内容：

1、 地址规划

2、 核心和业务层面升级至IPV6

3、 接入层面升级至IPV6

4、 IPV4组播业务升级至IPV6

IPV6地址管理一直是所有运营商最关心的问题，合理的地址分配方式和地址标识易于推进IPV6运营和管理。核心和业务层面的现网大部分设备可支持IPV6，因此在过渡阶段对于核心层面与业务层面建议部署dual stack，核心层面和业务层面设备同时提供IPV4与IPV6网络环境。而接入层面由于现网设备种类繁多，功能支持不一，需要进行大量的设备扩容、升级或替换后才能支持IPV6，因此接入层面的升级将是城域网升级至IPV6的关键的一部分，接入网演进至IPV6阶段需要两个方向：1、BRAS连接支持IPV6的接入网为用户提供直接的IPV6服务；2、BRAS(dual-Stack)通过隧道或6RD为接入网用户提供服务，接入网不能完全支持IPV6，用户使用dual stack，在过渡阶段将接入网慢慢升级至IPV6。另外一个IPV6问题是组播业务的升级，需要将原有IPV4组播升级至IPV6，该方式只能在接入网过渡阶段采用两个方向的情况下才能进行IPV4组播业务至IPV6升级。

图示：

城域网IPV6演进思路：

1、核心层面：

1.1、在整个城域网中启动IPV6,实现部署IPV4/IPV6 Dual Stack，城域网中IPV4与IPV6网络共存；

1.2、当IPV6业务发展到一定阶段，用户大面积采用IPV6后可以考虑取消IPV4承载。

1.3、核心层面需要支持6PE/6VPE；支持Carrier Grade NAT(CGN)或者是叫Large Scale NAT(LSN)

2、业务控制层面：

2.1、业务层面BRAS大多数已经支持IPV6，建议支持IPV6 BRAS部署dual stack，提供IPV4和IPV6网络服务；

2.2、BRAS不支持IPV6可采用L2TP连接至IPV6业务路由器提供IPV6服务。

3、接入层面：

3.1、现网不支持IPV6接入网可采用6RD方式为用户提供IPV6服务，通过6RD中继边界设备访问IPV6应用；逐步进行升级支持IPV6；也可通过BRAS作为LAC通过L2TP方式连接至dual stack的LNS提供ipv6服务；

3.2、根据用户区域逐步新建支持IPV6接入网提供用户IPV6服务，包括IPV6组播视频业务。

4、IPV6/IPV4互访

4.1、核心层面部署CGN实现城域网内ipv4和ipv6用户访问互联网服务(包括ipv4和ipv6服务);

4.2、城域网内ipv4用户使用6RD方式通过6RD中继设备访问ipv6服务;

4.3、当城域网骨干完全升级至IPV6，IPV4用户可通过DS-Lite访问IPV4互联网服务;IPV6用户可通过NAT64访问IPV4互联网服务。

5、组播演进

5.1、在只支持ipv4的接入网中，复制点将终止在BRAS上。

5.2、由于接入网只支持ipv4时候无法有效实现ipv6组播至终端，建议IPV6组播业务提供在新建IPV6接入网中。

5、移动分组核心网

6.1、需要对PDSN进行改造以支持dual stack，并且需支持dual-stack-ip-flow over ppp,可选支持6over4隧道；

6.2、移动分组核心网使用dual stack，部署dual-stack proxy mobile ipv6进行演进，LMA/MAG均需要具有ipv6地址，信令格式基于PMIPv6。

分享

分享

不知道大伙有没有看过韩国一部《IRIS》电视剧，IRIS(国际反动个人集团International Reaction Individuall System)是一部非常精彩的国家间谍电视剧，值得为大家推荐！这里要说的是Cisco 的IRIS,IRIS—>Internet Routing in Space.

Cisco在今年一月份通过intelsat’s IS-14卫星部署IRIS使用IOS实现与地面互通。IRIS计划是美国国防部联合能力技术验证（Joint Capability Technology Demonstration）项目的一部分，主要由思科和Intelsat公司负责实施，第一台IRIS太空路由器与Intelsat IS-14商用卫星一起，在2009年11月23日发射升空。

IRIS是一台针对卫星和航天飞船的耐辐射IP路由器，可以支持语音、视频和数据通信，主要依赖IP协议与地面进行通信，下面是Cisco IRIS的CSR(Cisco Space Router)的样子：

CSR通过Cisco IOS软件提供IP数据通信，增强通信利用率、吞吐量和延时，可以配置RF MIC(Modem Interface Card)、小型的卫星天线，支持配置动态ip路由协议，通过Zero－Touch部署(ZTD) 实现地面部署，当然还有一些Cisco IOS所提供的管理、安全、策略的功能，包括IPV4和IPV6。:)

Cisco Space Router主要的特征：

Cisco Space Router是Cisco NGGS的重要组成部分，NGGS称为Next Generation Global Services，主要为卫星网络提供IP访问服务。下面是NGGS的体系结构：

分享