走出云计算的误区(3)-到底云计算是什么?

Sina WeiboBaiduLinkedInQQGoogle+RedditEvernote分享

本文是和IT168合作的“走出云计算误区”系列的第三篇。

 

谈到云计算的定义,可谓众说纷纭,比如,在维基百科上的定义是“云计算是一种基于互联网的计算新方式,通过互联网上异构、自治的服务为个人和企业用户提供按需即取的计算”;著名咨询机构Gartner将云计算定义为“云计算是利用互联网技术来将庞大且可伸缩的IT能力集合起来作为服务提供给多个客户的技术”;而IBM则认为“云计算是一种新兴的IT服务交付方式,应用,数据和计算资源能够通过网络作为标准服务在灵活的价格下快速地提供最终用户”。

虽然这几个定义都有一定的道理,但在我看来还没抓住云计算的核心,接下来,我将给大家介绍一下什么是我眼中的云计算?

clip_image002

图1. 云计算的定义

在我看来,云计算就是在后端庞大的云计算中心的支撑下能提供方便的用户体验和低廉的成本的新一代IT模式

具体而言:由于在后端有规模庞大、非常自动化和高可靠性的云计算中心的存在,人们只要接入互联网,就能非常方便地访问各种基于云的应用和信息,并免去了安装和维护等繁琐操作,同时,企业和个人也能以低廉的价格来使用这些由云计算中心提供的服务或者在云中直接搭建其所需的信息服务,在收费模式上,和水电等公用事业非常类似,只需为所使用的部分付费。接下来,将进一步从于云计算的使用者(主要是个人用户和企业)的角度来分析云计算在用户体验和成本这两方面给他们带来了什么好处?

用户体验方面

对个人用户而言,在云计算的时代,会出现越来越多的基于互联网的服务,这些服务丰富多样、功能强大、随时随地接入,同时也无需购买、下载和安装任何的客户端,并只要使用浏览器就能轻松访问,而无需为软件的升级和病毒的感染操心。还有,人们可以将文档等数据放在云来进行共享和协作,比如,共同编辑同一篇文章,而且通过严格的权限管理机制,来确保协作是在安全的环境下进行。对企业用户而言,可以利用云技术来优化其现有的IT服务,使现有的IT服务更可靠和更自动化,更可以将企业的IT服务整体迁移到云上,使企业卸下维护IT服务的重担,从而更专注于其主营业务。

成本方面

对个人用户而言,由于所使用的服务运行在云端,本地计算需求比较少,所以无需像过去那样不断地升级电脑的配置或者购买昂贵的新电脑,只需一个廉价的可以上网的智能终端,比如:手机和上网本等。同时由于互联网服务是按需使用,而无需在初期购置不廉价的软件客户端。对企业用户而言,除了可以通过利用先进的云技术来降低企业IT初期的投资成本和后期的维护成本之外,更可以通过将IT服务外包或者整体迁移来削减IT部门,使得公司成本的结构更完善。

(4个打分, 平均:4.25 / 5)

ISF & CSA 2010会议–上海 。11月。网络安全业界高峰会

ISF2010

云安全联盟 CSA(Cloud Security Alliance成立于2009年的RSA大会,云安全联盟成立的目的是为了在云计算环境下提供最佳的安全方案。自成立以来, CSA迅速获得了业界的广泛认可。现在,CSA和ISACA、OWASP等业界组织建立了合作关系,很多国际领袖公司成为其企业成员。
到目前为止,CSA的企业成员多达50个以上,名单中涵盖了国际领先的电信运营商、IT和网络设备厂商、网络安全厂商、云计算提供商等。云安全联盟中国区分会是CSA在中国的分支组织。

CISRG是一个活跃的技术研究团队,团队成员都拥有自己特定的技术研究方向,目前的研究方向主要有:操作系统内核、逆向工程、漏洞挖掘、WEB漏洞挖掘及漏洞利用、渗透测试、信息搜集与社会工程。
2010年11月,让我们相聚上海,继续讨论信息安全这个永恒的主题。

演讲者名称以字母排序。

《TBD》
演讲嘉宾
许榕生,中科院高能所研究员,博士生导师;
中关村网络安全开放实验室首席科学家;
中国电子学会计算机取证专家委员会副主任委员;
中国互联网协会常务委员。
专著有:《电子商务安全与保密》、《黑客攻击技术揭秘》等。议题介绍
TBD
议题下载

 

《DEFCON 18 CTF Experience with GoN x PLUS》
演讲嘉宾
安東尼賴(aka DarkFloyd) 專注Code Audit, 滲透性測試, 威脅和惡性程式分析, 最緊要Hacking得hack開心, 同時又可以同各方好友交流和互相學習.
他剛剛在Blackhat USA 2010, DEFCON 18 和Hack in Taiwan談過China Malware,網路審查和Crimeware, 請大家多多指教.
我们对他曾经很详细的分析了”Green Dad”这款软件表示祝贺;) by 7all议题介绍
著名的黑客大赛DEFCON CTF一直是众多网络安全爱好者所关注的话题, 该议题将与大家分享参加DEFCON 18 CTF大赛的经验。 参加DEFCON CTF,除了个人水平外,还需要团队之间的密切配合,通过CTF大赛, 我们学习到很多高级的技术和技巧。
如果您对于DEFCON CTF大赛充满兴趣,但是一直没有亲眼目睹比赛现场的火爆, 那么该议题将为您详细的介绍作者参加DEFCON 18 CTF大赛的Hacking经验和技巧。
议题下载

 

《静态代码的安全特性分析技术研究》
演讲嘉宾
丁丽萍,中国科学院软件研究所研究员,研究生导师;
基础软件国家工程研究中心系统安全与可信计算研究室主任;
主要研究领域为计算机取证,系统安全,可信计算。议题介绍
静态代码的安全特性分析技术研究。
议题下载

 

《Insight On Russian Underground Economy》
演讲嘉宾
Fyodor Yarochkin (TSTF, o0o.nu)是阿码科技的一位安全分析师,在业余时间他非常喜欢编程和研究人工智能,他曾经是Snort和 Xprobe项目的开发人员。议题介绍
地下黑客活动和网络犯罪一直是很多安全专家感兴趣和研究的问题,Fyodor从情报分析的角度对俄罗斯的地下网络犯罪进行了深入的分析。
议题下载

 

《The Balancing Pwn Trade Deficit》
演讲嘉宾
Val Smith有超过十年的计算机安全产业的工作经验,他是安全研究方面的专家并且研究安全领域的各种难题,他擅长渗透测试、逆向工程和恶意软件研究,他还是著名的渗透测试项目Metasploit项目的团队成员。
目前,Val Smith致力于如何更加深刻有效的理解计算机攻击机制方面的研究。
Val Smith是Offensive Computing(www.offensivecomputing.net)项目的创始人,一个开源恶意软件研究项目。
他在今年的Blackhat大会上针对中国的黑客地下交易进行了精彩的演讲。议题介绍
The Balancing Pwn Trade Deficit
议题下载

 

《Exploiting Adobe Flash – Building SWF Fuzzer》
演讲者介绍
7all(CISRG),目前就职于某外企,任研究部门经理。
CISRG团队的领导者,同时也是BreakTesting团队的创始人和主要研究人员,BreakTesting 团队目前的主要方向是漏洞挖掘和自动化渗透测试, BreakTesting团队独立研究的自动化渗透测试模型已经趋向于完善,可能在不久的将来与大家见面。
网络安全方向的兴趣主要有: 逆向工程/安全漏洞分析/渗透测试/恶意代码分析/WEB应用安全,主要研究方向是渗透测试自动化。议题介绍
Flash是目前应用最为广泛的浏览器插件,近几年,针对于Flash漏洞的攻击越来越多, 如何挖掘Flash的安全漏洞被越来越多的安全研究人员所关注。 该议题将以Flash文件格式、ActionSctipt脚本和Flash虚拟机为切入点, 演示一套针对于Adobe Flash产品的漏洞挖掘框架。
议题下载

 

《Defense in depth-unified security inside》
演讲者介绍
Archer,擅长IT管理和业务规划,曾任职于中国电子器材总公司,中国移动某无卡充值系统的启动负责人,某使馆考试保密信息系统核心人员。
目前专心于研究虚拟机和云计算技术。
Archer为CISRG核心团队的创建提供了很多宝贵的建议,同时也是我们的好朋友。议题介绍
如何抵御网络攻击?如何确保企业在线数据的安全性?
该议题将利用计算机和网络的本身特性,创造出较为强健的系统雏形。
议题下载

 

《移动终端安全的短板–Android》
演讲者介绍
Tompan, Antiy TMatrix安全小组的发起人,目前是安天实验室武研研发部负责人。
团队的主要方向是移动终端恶意代码分析技术和移动终端取证技术探索和研究。
其技术方向的兴趣主要有:web安全、数据挖掘、移动终端安全、手机取证、操作系统构架等,主要研究方向是移动终端安全和取证技术。议题介绍
对当前的主流移动终端安全平台的hacking技术做简述,重点分析和展示 android平台上的各种安全隐患和问题。
议题下载

 

《一种基于信誉的威胁分析方法》
演讲者介绍
卢小海,绿盟科技的资深安全专家。议题介绍
一种基于信誉的威胁分析方法。
议题下载

 

《Flash in the Cloud》
演讲者介绍
WaterWave(CISRG),资深信息安全专家,从事信息安全工作十年。
长期从事国内各大型企事业单位及机关的信息安全体系规划设计及应急响应工作,熟悉国际国内信息安全法律法规与标准的运用及应对,精通计算机犯罪应用心理学与计算机取证调查。他同时也是一名IT媒体资深撰稿人,在多家专业媒体发表多篇论文,现任某大型软件公司资深信息安全技术顾问。
他也是ISF2009的演讲者之一。议题介绍
随着云计算应用在世界范围内的迅速增加,现在的互联网安全重点关注在了云安全方面。 云计算中的服务器和客户端都可能成为被攻击的目标。
该议题将以“云中闪电”的概念来与大家探讨如何确保云安全。
议题下载

 

《基于浏览链的行为分析和感染链发掘》
演讲者介绍
邹飞,趋势科技资深安全专家。议题介绍
一些基于用户和机器的上网访问序列进行行为分析和感染链发掘的尝试。 包括:基于机器学习发掘用户上网行为模式和监控,检测感染链及深度分析,基于浏览链进行无模式URL分类。
议题下载
(1个打分, 平均:2.00 / 5)

云计算时代的“应用为王”- OVF协议

 

去年年底,我曾经与一位很资深的研究员对云计算这个话题进行非常深入的探讨,而且这场讨论使我对云计算有了新的认识。在那次讨论伊始,为了突显我对云计算的熟知,我连绵不绝地抛出诸如Google App Engine,Amazon EC2这类技术语,或者类似随需应变和动态扩展这类广告语。正当我心中暗暗得意,期望他能对我另眼相看时,他却报之以微微一笑,说道:“你所谈的那些东西,的确很吸引人,也非常不错,但无论是过去的PC时代,还是现在互联网时代,亦或是未来的云计算的时代,都是应用为王,也就是说,无论任何技术或者特性,它们存在都是为了如何更好地支撑应用”。当他提到“应有为王”这四个词,我不禁有点呆滞,因为这点不仅是我不曾想到的,而且一语中的。让我们回想一下,在PC刚诞生的年代,商业表格软件VisiCalc的发布使得Apple II 正式进入主流市场,从此PC不再仅是Geek的玩物,在互联网泡沫破灭的时候更是如此,Google的搜索应用不仅使人们能够轻松访问到全世界的信息,而且使这些各式各样的信息深深融入了我们的生活,从此我们无法离互联网五尺之外,难道在云计算时代,应用不再为王了吗?

 

云计算与应用

既然应用如此重要,那么在即将来临的新时代,云计算技术该怎么更好地为应有服务呢?

首先,思考一下在现有技术支撑下的应用有哪些不足之处?总体看来,在三个方面比较突出:

    1. 开发麻烦,最明显的例子就是在一个普通应用的整个开发和测试过程中,不仅需要兼顾多个平台,比如Windows,Linux等,而且还要注意每个平台的多个版本,比如Ubuntu 9.10,Ubuntu 8.04 LTS等等。
    2. 部署麻烦,因为一个应用的安装是很难离开艰涩的教程和繁琐的步骤, 而且缺乏安全和许可证的管理,使得使用者的利益很难保护,而且开发者的权益更难捍卫。
    3. 维护麻烦,原因是一个应用不仅包括ISV(独立软件开发商)开发的软件,还包括其他供应商的操作系统,中间件和数据库等,使得其升级麻烦,寻求技术支持方面更麻烦。

 

其次,有那些云计算技术能帮助应用呢?虚拟器件(Virtual Appliance)应该是一个相当不错的帮手。虚拟器件,是一个预配置的软件堆栈,包括1个或多个虚拟机,而且其中每个虚拟机都是可以自运行,而且自带操作系统和相关应用,并明确其所需的虚拟资源。(如果大家想进一步了解虚拟器件,可查看《程序员》2010年4月刊的《虚拟器件 – 虚拟化技术的新利刃》),虚拟器件对应用的好处也体现在相似的三个方面:

    1. 开发简单,因为开发人员能限定应用自带的操作系统,中间件和数据库等软件的版本,比如SLES 11,WAS 7和DB2 9.7等,这样将非常有效缩小开发和测试的范围,从而极大地减低开发测试的难度和复杂度。
    2. 部署简单,首先,如果使用虚拟器件方式部署的话,能将本来需要几天的工作缩短到几分钟,能将本来几十步操作精简到轻轻一击。其次,能非常简单的将应用部署或者迁移到公有云上,以应对突发情况。
    3. 3维护简单,因为整个虚拟器件都是来自于同一个ISV,所以任何软件升级和技术支持,都只要和一个ISV联系就可以了,不仅避免了常见的扯皮现象,而且简化了相关流程。

 

虽然虚拟器件这个想法不错,但是大家都知道“无以规矩不成方圆”的道理,所以VMware带领众虚拟化技术提供商提出了Open Virtualization Format (简称“OVF”)协议来规范虚拟器件的发展。

 

OVF协议

OVF协议是用于发布和部署虚拟器件的开放标准,被VMware CTO Steve Herrod喻为虚拟机的MP3格式,由业界著名DMTF(分布式管理任务组) 协会制定和发布,并且隶属于志在推动云计算互操作性的VMAN(Virtualization Management,虚拟化管理) 计划。OVF协议定义了一种开放、安全、可迁移、有效,跨平台以及可扩展的格式,以用于封装和分发将在虚拟机上运行的软件。

设计理念

OVF的设计理念主要体现在三个方面:

    1. 便于分发,其支持虚拟器件的认证和完整性检验等安全措施,并提供软件许可的管理机制。
    2. 支持多种架构,包括单个虚拟机,多个虚拟机或者多层(Multi-Tier)架构。
    3. 开放程度高,因为OVF协议不依赖于特定的虚拟化平台,而且支持一定程度的扩展以满足虚拟器件技术不断发展和某些特殊的需求。

 

组成部分

主要有五种文件组成:

    1. OVF 描述文件(.ovf):通常称为“OVF信封”,是一个XML文档,用于定义整个虚拟器件的组成部分(比如虚拟机),及每个组成部分的特性和其资源需求。
    2. 虚拟磁盘文件:其是虚拟机的二进制磁盘镜像。
    3. 清单文件(.mf):清单包含OVF包中各文件的 SHA-1 摘要,其作用是确保包的完整性。
    4. 证书文件(.cert):作用是通过对清单文件进行数字签名来确保整个虚拟器件的可信性,以 base64编码的X.509 证书形式存储。
    5. OVF环境(Environment)文件 (.env):一个Key-Value形式的XML文档,用于设定和维护虚拟机上软件的配置。

 

OVF信封

OVF信封是整个虚拟器件的核心文件,主要包括以下几个模块:

    1. 磁盘(Disk)模块:用于描述存放在OVF包内的虚拟磁盘的信息,比如磁盘的大小和格式。
    2. 网络(Network)模块:用于描述OVF包内虚拟机的网络拓扑结构。
    3. 启动(Startup)模块:用于定义OVF包内多个虚拟机之间的启动顺序。
    4. 虚拟系统(Virtual System)模块:用于描述一个虚拟机,并且作为一个容器,来包含多个隶属于这个虚拟机的模块,比如:许可协议模块,资源分配模块,操作系统模块和产品模块等。整个OVF信封可包括多个虚拟系统模块以支持多虚拟机部署。
    5. 资源分配(Resource Allocation)模块:定义虚拟机所需要的资源量,比如vCPU的个数和内存的大小等。
    6. 许可协议(Eula)模块:其包含这个虚拟机相关的许可协议和法律条款,并且在这些协议和条款都将在部署时被使用者确认。
    7. 产品(Product)模块:用于描述安装在虚拟机上软件的信息,比如,软件的名字,版本号,供应商等,并定义一些重要的软件配置信息,比如,Web服务器和数据库的开放端口等,而且指定哪些配置是使用默认值,哪些配置是需要在部署时输入的。
    8. 操作系统(Operating System)模块:其定义虚拟机内部操作系统的版本信息,比如Microsoft Windows Server 2008。

 

OVF环境文件

OVF 环境文件常用在部署阶段,里面主要存放并维护在信封内的产品模块里面定义的配置信息。此文件在部署时具体使用流程是:首先,部署工具会让用户回答并确认信封的产品模块内的软件配置选项,比如Linux 系统的IP地址。接着,部署工具会通过刚才的输入生成OVF环境文件,并通过虚拟光驱或者虚拟软驱将环境文件传入虚拟机中。最后,虚拟机上软件会读取这个环境文件,并执行相关操作。

使用流程

在这里,我们以一个典型的Lamp(Linux-Apache-MySQL-PHP)应用为例,来讲述如何利用OVF协议来部署应用。

    1. 启动两个空白的虚拟机。首先,在第一台虚拟机上安装Linux系统,Apache Web服务器和用于设置网络和软件配置的激活软件(比如IBM Activation Engine),并加载PHP应用。其次,在另一台虚拟机上安装Linux 系统,MySQL数据库和激活软件,并创建应用的数据库表。最后,关闭这两台已经安装成功的虚拟机,并导出它们的磁盘镜像。
    2. 在OVF工具(比如IBM OVF Toolkit)上创建和编辑Lamp应用的OVF 信封,并在工具上导入上步骤生成的两块磁盘镜像,最后在工具上生成文件名为Lamp.ova的OVF包。还有,清单文件和认证文件一般都由工具自动生成并放置在OVF包内。下图1为部署之前Lamp应用的内部结构。
    3. 在虚拟化平台上面(比如VMware vSphere 4)部署这个OVF包,首先,在部署时,平台让用户回答并确认信封内的产品模块里面定义的软件配置选项,比如两个虚拟机的网络地址和Apache等软件的配置。接着,虚拟机平台会根据刚才的设置自动生成一个OVF环境文件,并为这个文件创建一个ISO。最后将生成的ISO做为虚拟的CD-ROM插入到虚拟机的虚拟光驱内。
    4. 在两台VM启动的时候,激活软件会作为一个服务被启动,首先,它会读取虚拟光驱内的OVF环境文件。接着,它会根据OVF环境文件来设置虚拟机的网络地址和相关软件配置,最后,确保应用能正常运行。下图2为部署之后Lamp应用的内部结构。

ovf

图1.部署之前的Lamp应用

ovf

图2.部署之后的Lamp应用

 

OVF与云计算实践

虽然现在只是OVF 1.0协议正式发布半年之后,但是有许多厂商已经对OVF协议进行了一定的实践,并在自己的云计算产品中引入了OVF协议并将其作为核心的部署模型,其中包括开源的Xen Cloud Platform,VMware的vCloud Express和IBM的WebSphere CloudBurst Appliance等等,在这些产品中,对OVF最为重视的,非WebSphere CloudBurst Appliance莫属,因为它不仅将整个工作流程都围绕OVF展开,而且还在OVF的基础上加入预优化和自动激活等“灵丹妙药”来让用户更方便地部署应用。

 

OVF的不足之处

虽然OVF协议在很多方面都很优秀,但是还是存在一些不足之处:

    1. 在跨平台方面存在缺陷,虽然OVF协议支持跨平台,但因为镜像格式的限制,所以现在部分虚拟器件无法跨平台,其原因是现有的虚拟器件主要使用VMware的VMDK作为镜像格式,而此格式在非VMware的平台缺乏支持。
    2. 缺乏一部分业界巨头强力的支持。首先,Amazon已经在OVF协议之前推出了类似于OVF的私有格式AMI(Amazon Machine Images),同时使用者甚众,且短期内似乎没有支持OVF的迹象。其次,虽然微软已经表明了对OVF支持的态度,但可惜到现在还未推出相关的产品。
    3. 体积庞大,因为OVF包需携带磁盘镜像的原因,使的OVF包常以GB为单位,导致其难于通过网络传输,这将影响其用户体验,虽然VMware已经提出了Delta Disk和Stream等技术,但在短期内这个问题很难被克服。

 

OVF的未来

谈到OVF的未来,首先,肯定是对现有功能的强化,就像OVF最近推出1.1版本那样,并没有在范围的扩展上做文章,而是增强其原有的部署功能,比如支持文件系统格式的镜像。其次,OVF协议身为VMAN计划的一个核心的组成部分,在将来会进一步为整个VMAN计划服务。

 

总结

在2007年10月初,当我第一次看到OVF协议初稿的时候,我不禁暗暗赞叹这奇思妙想,并深信它将有助于整个IT事业的发展。2年半后,当我看到OVF协议已经茁壮成长的时候,我不仅更坚定了当初对它的期望,更觉得在今后云计算的时代它将进一步推动应用的发展,使应用依旧为王。

 

参考资料

    1. OVF 1.1 规范
    2. 使用 OVF Toolkit 构建虚拟工具
    3. Inside the OVF Package
    4. 《虚拟器件 – 虚拟化技术的新利刃》,《程序员》2010年4月刊
    5. WebSphere CloudBurst Appliance 中的 “特殊原料”。
(2个打分, 平均:5.00 / 5)

全新苹果MacBookAir

(3个打分, 平均:5.00 / 5)

AMD TFE 2010–死拼到底! Go, AMD,Go!

(1个打分, 平均:4.00 / 5)

施一公 。千人计划的必要和紧迫 

【陈怀临注:此文为转载。原文可参阅:http://www.1000plan.org/blog 】 

【序:这是我在9月3日《科学网》组织的关于高层次人才引进会议上的发言总结,综合了我对千人计划的很多看法。发言着重阐述了千人计划的必要性、迫切性,也回答了网上的一些质疑。请大家不要忘记:中国在迄今为止的过去二十多年的时间里始终在积极引进海外人才,因为这些人才是中华民族的人才储备。事实上,现在国内科技界的领军人物以及行政领导大多数是我们过去从海外引进的人才,他们对中国的发展起到了至关重要的作用。现在的千人计划是过去二十年国家人才政策的自然和必然延续,只是根据创新型国家建设的需要把引进重点之一放在了海外高层次人才。过去一年,千人计划在国内外引起轰动效应,也已经开始显现效果。但千人计划作为一个刚刚实施不到两年的高端人才引进计划,当然还不完美,甚至还有不少缺陷。这一点也正是为什么千人计划需要大家充分理解并进行理性思考,从国家长远发展的角度去提出建设性的意见和建议,支持千人计划做得更好、更成功。】

  今天听了前面几位的演讲我很激动,大家有的观点不同,但有一个共识,那就是所有人都希望这个国家强大、和平发展以及有一个很好的前途。但是在和平时期,在生活丰衣足食的时候,我们更多的是在想自己的一些事情,想周围的一些事情,眼光放得很近,有时包括我自己在内,眼光放得很短。可是,可能我受“生于忧患死于安乐”的思想影响太深了,我经常很忧虑,当报道中国不如国外的时候我忧虑,当报道我们一些重要成就的时候我依然担心。我经常想万一不行怎么办?我宁愿咱们比世界其他国家好很多的时候你还认为不行,有种紧迫感和压力,而不希望在自己还很差的时候却夜郎自大地认为自己很好。

  今天是讲国家高端人才引进,我以这个为开场,来讨论有没有必要引进高端人才。回答这个必要性当然是和我们的科技现状有关。中国科技究竟是什么水平?在各行各业,各个领域究竟到什么水平?在生命科学、制药界,重大创新制药我有很强烈的看法,今天我不想多说了,在座有懂这个领域的都知道,我们很落后!其他的领域我不知道,只能道听途说。

  刚才李国杰老师讲得非常好,包括他提到的李凯教授,我们在普林斯顿就是很好的朋友,他也给我讲了一些事情。各行各业我也有一些朋友,我也得到一些消息,总的来说,中国的科技大多数领域跟外国差距很大。这些事实令我忧虑,很难平静。刚才陈老师提到的日本,尽管感情上我很不喜欢这个国家,但是科学技术上人家确实走在了我们的前面,我们也得承认人家还有几十位科学家有获得诺贝尔奖的潜力,而中国有几个?当然我也觉得前途会是好的,我们要等待,有耐心。但是机制不好的话,我们怎么办?科技现状和人才直接相关,所谓的科技强不就是人才强吗?我非常同意刚才陈杰老师说的一流人才用二流设备是可以做出一流成果的,但是二流三流的人才用一流的仪器是不可能做出一流的科学成果的。
阅读全文»

(6个打分, 平均:4.50 / 5)

4G大会 。芝加哥 。华为

【陈怀临注:4G,4G,4G。全世界都为之疯狂。。。本来想去的。但月底要回大宋,不忍心再出差。OSDI也是这个原因没有去。。。唉。Keynotes里我认识两个人。BTW,华为的CTO Matt Bross也将在星期三粉墨登场。其演讲题目如下:Wednesday, October 20, 2:00pm 4G’s Impact to the Evolution of Generations X, Y and Z: The Global Cyberfication of our Society and the Digital Economy。Matt的简介如下:Chief Technology Officer, Vice Chairman, Huawei USA。 】

(没有打分)

2010中国通信展 。华为

(没有打分)

数据中心可扩展网络设计

(注:IEEE Micro杂志7月份有一期专门讲数据中心级别的计算。小组学习的时候挑了这篇文章:Scale-Out Networking in the Data Center [2,4](数据中心可扩展网络设计),介绍UCSD(Univ. of California, San Diego)的Triton网络,并且分析了拓扑、商品化部件、2层或3层局域网交换选择和多路转发等设计考虑,各位可以作为借鉴。)

过去的十年,扩展模型(Scale-Out)代替了升级模型(Scale-Up)作为大规模计算和存储的基础。传统的升级模型要求系统架构师用高端的部件替换掉原来计算或者存储能力不够的部件。这要求过一段时间就将应用和数据从一台机器移动到另一台。更糟糕地是,高端的部件使得我们不能使用商品化部件的好处,每个计算周期或者单位字节花的钱比起商品化部件要贵10倍以上。对于十万级别服务器的数据中心来说,使用商品化部件或是非商品化部件(noncommodity)的差别会有几十亿美金之多。

成本驱使了通过必要的软件开发来得到部署可增加、水平可扩展的商品化服务器和硬盘。在可扩展模型中,理想情况下要增加计算或者存储资源只需要往系统中增加服务器和硬盘就行了。比如,增加10%的计算能力,只需要往集群增加10%的服务器就行了。可扩展模型要求负载的并行度,对于来自很大用户群的许多小请求来说,比如搜索,这样的并行度是很容易达到的。

虽然可扩展模型提供了清晰且吸引人的好处,但是数据中心可扩展模型最后一个挑战来自网络。在数据中心部件之间协调和传输数据需要一个面向几万台服务器的高速互连网络。然而,当前情况下,为更大的集群提供带宽需要专门的非商品化交换机和路由器。比如,同一个机架服务器的互连可以用一个商品化的48端口非阻塞机顶交换机。但是,几千个机架之间的高速互连就需要一个分级网络。虽然分级互连叶子节点可以使用商品化交换机,更高级别的需要能力更强的专用交换机(更多端口和背板带宽)。目前数据中心使用的专用网络价格增加和性能限制相比商品化解决方案有10倍之多。

下面我们来看一下UCSD的Triton网络的结构。

需求

一个理想的网络特征应该是可扩展、可管理、灵活和便宜。

可扩展:这个网络必须支持100,000端口的数据中心,将近1 petabit/s的聚合带宽;并且,尺度必须是增量可扩展的——端口数可以以几百的粒度增加,聚合带宽可以以terabit/s的粒度增加。可管理:开发者应该可以把整个网络作为单一逻辑层(L2)的域来管理,实现即插即用的部署。扩充这个网络不需要配置DHCP、子网数、子网掩码和网络映射。同时,要避免布线的复杂性。灵活:任何服务应该可以灵活地可以在数据中心任何一处运行来支持终端和网络的虚拟化。便宜:单位节点的开销应该很低——从资本和维护的角度,相对于计算和存储都要低。从维护的角度还包括了管理的开销和每个端口的能耗。

拓扑

传统的数据中心网络(比如Cisco Data Center Infrastructure 2.5 Design Guide)最佳的方案是在树状的拓扑上,聚合到更密、更快速的交换机。根节点最高密度交换机限制了这些环境的网络性能。直到最近,非阻塞10-Gbps以太网交换机仍限制于128个端口。假设网卡是Gbps级别,这就使得单个网络的尺寸限制在几千个节点。

Triton的解决方案使用胖树拓扑,folded-clos拓扑使用相等交换的一种特殊缓冲实现。当然,胖树并不是什么新鲜事,在高性能计算里面很常用。但是,在大规模以太网和TCP/IP网络中使用它的需求是最近因为巨大的服务量和激增的数据集需要全交换(all-to-all)通信而出现的。

Sample fat tree topology

图1. 胖树拓扑的例子。在合适的调度下,这个拓扑可以提供单级交叉开关交换机一样的吞吐率。每个组(Pod)里面的边交换机在第二层为终端主机和聚合(aggregation)交换机提供互连。(参考资料1)

图1 [1] 显示了一个简单的胖树拓扑。这个拓扑用20个4端口交换机搭成了1个等价于16端口的交换机。通过合适的调度,这个拓扑可以提供单级交叉开关交换机一样的吞吐率。换句话说,它可以达到仅受限于每个端口速度的等分聚合带宽。达到这个功能在计算量上有挑战,但实际上Triton取得了不错的实际结果,在后面“多路转发”小节还会讨论。

商品化硅件

大规模网络设施的两个挑战是将整个网络作为一个逻辑交换机管理,以及连接拓扑需要的大量布线。比如,很多所谓的商品化硅件提供商,比如Fulcrum Microsystems、Marvell和Broadcom,正在把24-、48-或者64-端口10Gigabit以太网(GigE)交换机移植到芯片上。对于k=64的例子,可以组建一个65,636端口的10GigE交换机,划分成64个组(Pod),每个组1,024个端口。不幸地是,这个拓扑同时需要5,120个单独的64端口交换机和131,072根网线(见图2 [3] )。要管理这么多交换机和网线是一件不小的挑战,这使得胖树在资本投入上的优势可能因为在管理上建造和管理的困难而失去。

The "Yellow Wall"

图2. The "Yellow Wall" (参考资料3)

UCSD使用模块化的交换机[3]来解决这个问题。通过定制底板和定制ASIC以太网扩展协议模块,降低了开销和功耗,并且将131,072根网线降到了64根。这个交换机就是Triton的核心技术了(有兴趣的读者可以参考资料3)。

两层交换或者三层交换的选择

拓扑和交换机选定后,另一个独立的问题是路由机制:局域网L2或者L3地址域的选择[5]。L2网络是即插即用的,L3网络需要管理员手动配置子网掩码并和DHCP同步;L2网络的地址空间是平的,交换机转发表的项数就会很多,L3网络的地址空间是分层的,转发表就比较简洁;最后,因为虚拟机在数据中心里面的广泛应用,L3网络中虚拟机的迁移受到限制,而L2就没有类似问题。综合这些考虑,UCSD采用在L2网络基础上插入伪MAC地址,使用定制的位置发现协议得到和模块化交换机的关系。

多路转发

为了更好的消除长流的冲突,UCSD的网络中使用了动态的流控。通过统计交换机部件的流量计数,得到流量需求矩阵来分配最佳路径。

参考资料:

1. 100,000-port Ethernet switch anyone?http://www.networkworld.com/community/node/44473

2. Scale-Out Networking in the Data Center, http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=5550998&tag=1

3. Data Center Switch Architecture in the Age of Merchant Silicon, http://www.nathanfarrington.com/presentations/merchant_silicon-hoti09-slides.pdf

4. www.nathanfarrington.com/papers/scale-out-micro10.pdf

5. LAN switching, http://en.wikipedia.org/wiki/LAN_switching

(1个打分, 平均:5.00 / 5)

科学、科学迷信、中医

有感于方舟子挨了锤子。对方舟子的精神还是很佩服的,只不过对他的有些观点不是很赞同。总觉得方有点太偏执了,有点“迷信”科学。所以随便写了几句。

什么是科学?从方法论上讲,科学就是观察、假设和验证。从结果上讲,科学就是建立在假定基础上,经逻辑推理导出的理论体系,只要这理论体系能经得起已观测到的现象的验证,能够自圆其说,那么这理论就是正确的,就是“科学”的。理论只能在一定范围内适用,如果有一天观察到新的现象,而原有的理论不能很好的解释这种现象,那么理论就要被修正或者被抛弃。“假定”是一切科学理论的基础,它不能够被理论体系自身证明为“正确”。我们只能说还没有发现与“假定”相悖的现象,我们姑且认为它是“正确”的。“假定”是必须要能够证伪的,如果不能证伪,那么就不是科学的态度,就不在科学的研究范围之内。这一点是科学与宗教的根本区别。宗教的理论基础是不能够证伪的,谁能证明上帝不存在?除可证伪之外,科学在选择“假定”时,还要遵循简单原则。如果两套理论都能被现象验证,第一套理论需要一个“假定”,第二套理论需要两个“假定”,那么科学就认定第一套理论是“正确”的,第二套理论是“不正确”的。这就是大名鼎鼎的剃刀原则。

科学理论本质上只是“假定”,是人对现象的一种解释,而不是客观世界的自然属性。比如万有引力,它就只是一种“假定”,它是牛顿为了解释运动而发明(不是发现,小学语文会拿这个当考试题,如果对科学理解太深的话,在语文考试中是要丢分的)出来的。相对论的体系里不需要引力,并且相对论能够解释更多的物理现象,于是,“引力”就可以不存在了。插一句,相对论之所以难以理解,是因为人们对旧的理论太熟悉了,以至于不知不觉地把很多“假定”认定为“常识”,于是当相对论放弃旧理论的“假定”时,人们一下子就会反应道:“怎么可能?这不是和常识冲突吗?”其实,就连有没有不依赖于人的观测而独立存在的客观世界这个问题,科学也语焉不详——这不是科学的研究范围,科学只关心能直接或间接观测到的东西,其他都是“没有意义”的。从这个角度讲,可以说科学压根儿就是“唯心”的。关于科学的“唯心”,物理学家惠勒有个描述。惠勒说:“车库里有一条龙。”他的朋友问:“在哪里,我怎么看不到?”“噢,这条龙是透明的。”“那为什么我也摸不到?”“这条龙就是摸不到的。”“那能用红外仪器看到吗?”“也看不到,这条龙没有温度。”对于这样一条龙,看不见,摸不到,也不能用红外仪看到,不能用任何人类已知的手段观测到,这条龙存在吗?如果说这样的龙不存在,那有什么理由说一个独立于人类观测手段之外的“客观世界”存在呢?如果存在即被感知,那这不是彻头彻尾的唯心吗?

科学是人类探索世界的一种方法,是人类对世界的一种解释。但是,科学并不是唯一的方法和唯一的解释。科学之外,还有哲学、宗教以及不太好用西方体系分类的东方的东西如易经等,这些东西是与科学平行的。你不能粗暴地用一个体系里的方法和理论去解释或者否定另外的体系——要协调这些体系之间的冲突,需要站在更高的层次上,用更“元”的元规则。现实中,只要一个体系能够自圆其说,能够解释现象,那就够了。同样是感冒,西医说病毒感染,中医说邪火入侵,在各自的理论体系内都能把事情说圆了,都能把病治好了,不就得了。至于西医说我在显微镜下观察不到“邪火”,那是你西医体系内的事情,跟中医何干?

最近发现以前上学的时候对“唯物”、“唯心”的理解太机械和肤浅了。闭上眼睛月亮还在那里;虽然看不到,但每个人的祖先肯定都是存在的;“唯物”的正确和“唯心”的荒谬不是很自然的吗?其实上面的例子里,问题的关键在于对“感知”的理解太狭隘了,不管你闭上还是睁开眼睛,月亮的存在都是能够和已经被感知到的事情,而每个人的存在,本身就是对祖先存在的一种感知,因此上面的例子并不能作为批判“唯心”的依据。

最新一期的《环球科学》上有一篇文章:《时间只是错觉?》。里面的说法:时间也只是为了保证理论的完备而人为定义的东西,时间并不是这个世界的自然属性。这一点,于我很有戚戚焉。

(13个打分, 平均:2.85 / 5)