分享

这是一篇来自Facebook的white paper。作者的主要观点是：在以Key－Value为典型查询的SNS系统中，可以通过（即使是低频率的）基于众核（Many Core）芯片，可以达到，或者更好的与基于高端Intel，AMD芯片的平台达到同样或者更好的吞吐率，响应时间和功耗。

分享

分享

Preliminary Version

分享

分享

【陈怀临注：这是一个辽国教授推荐的一篇文章。这方面的工作Ohio的张晓东老师和Feng Qin研究的非常优秀。希望有兴趣的读者阅读并展开。】

分享

分享

当当网预售链接：（折后￥73）

http://product.dangdang.com/product.aspx?product_id=21058708&ref=search-1-pub

各位读者好，在《大话存储2》即将出版之际，我将这本书的写作过程做一个总结，也是对自己的一种鼓励，希望能够让自己继续卧薪尝胆，写出《大话存储3》。

前言

各位读者好，很高兴再次为大家“大话”存储。记得上一次是在2年前。当《大话存储》一书在2008年11月出版面世之后，我当时就许下承诺，要写《大话存储2》。当时之所以敢于夸下海口要继续写第二本，是因为《大话存储》只介绍了存储领域最基本的概念和架构，而并没有包罗存储领域最新的技术，比如重复数据删除、Thin Provision、动态分级存储、CDP连续数据保护、SSD固态硬盘、FCoE、SAS、云计算和云存储等等。《大话存储》确实满足了广大读者的需求，出版之后也获得了好评和诸多奖项，至今已经销售了超过一万四千册，这个数字对于技术书籍，而且是受众面如此狭窄的技术书籍来讲，已经是个不小的数字了。但是这些成果逐渐让我感觉到更大的责任和压力，即中国的IT行业确实迫切需要被普及存储基本知识。正因如此，所以我深知我绝对不能就此停歇，学习是永无止境的，技术是不断发展的，所以我先向大家做了承诺，这样就可以无时无刻的激励我继续学习研究下去了。

写作的过程是极其困难的，尤其是当一字一句都需要精雕细琢，并且时刻以通俗表达且让所有人都能看懂的原则和基准去写的时候，其所耗费的精力和脑力是巨大的。记得在一年前撰写本书主体的时候，基本上每天都是早晨七八点钟起来，从床上直接到书桌上开始写，直到中午吃饭，吃饭过程中依然在脑海中构思着，就这样一直到晚上，最晚的一次记得是做一个实验，通宵达旦，直到第二天天亮，实在体力不支，去床上躺到中午，然后继续写。每次睡觉之前，都会带着一个疑问入睡，躺下之后就在脑海中构思、建模，一旦想到某些重要的东西，就用笔记几个关键词，否则第二天准忘。大部分时间一般都是没想到什么思路就已经呼呼大睡了。这种状态持续了半年之久。当完成了所有主体稿件之后，真的有一种如释重负的感觉。可惜，好景不长，随着不断的学习和深入，逐渐发现已经写完的内容当中有大量需要补充完善、修饰的部分，在修饰完善的过程中，继续思考，结果发现又引申出更多的东西，有些甚至推翻了以前的结论。这种状态又持续了半年。最终定稿交给编辑之后，依然发现还有零碎的东西需要完善甚至推翻，结果一再将更新的内容同步给编辑，直到最后一个月的时间内没有再发现需要完善的内容，达到了最终收敛。后面这个过程感觉更加耗费精力，因为当你重新审视之前内容的时候，一旦发现不完善甚至错误，就会感觉到一种挫败感和愧疚感，使你的激情和斗志有所丧失。

写书不但是给他人共享知识的过程，它更是一个总结自身知识体系、提高自身修养以及让自己学习更多知识的途径。比如，我在写书过程中，不但通过各方面渠道纠正了之前对某项技术的一些错误认识，而且还学习了更多的知识，并且将这些知识进行深度理解分析，之后通俗的表达出来。当你发现其他人通过你所共享的知识快速提高之后，这种感觉是最充实的。人只有在奉献之后才会感到充实，而不是一味的去索取，这样只能更加空虚。

冬瓜头 2011年3月10日于北京

序言1

我关注张冬这个名字是在«大话存储»一书刚出版的时候。作为一个长期从事信息存储技术研究与教学的大学教师，自认为对于国内外关于网络存储方面的各种书籍和资料比较熟悉，对业界有哪些牛人也算比较了解。但我在书店偶然发现一本名为«大话存储»书的时候，确实感到有点意外和惊喜。好像在熟悉的武林圈子之外，突然出现一位武林高手在那里论道。好奇心驱使我赶紧买了一本书回家研读，结果发现这本书确实与众不同。

与我们这些所谓学院派写的中规中矩的书相比，此书风格特立独行，语言形象生动，潇潇洒洒，颇具武侠之风。书中充满着智慧的思考和有趣的比喻，将各种原本枯燥深奥的技术概念和原理论述得十分透彻明白。不仅如此，该书还收集了大量的实例，使读者在系统获得网络存储知识的同时，还能了解典型实际系统的工作原理和技术细节，具有很好的实用性。我读完之后，对这本书的作者十分好奇。一个80后而且还是学化学出身的年轻人，如何就能写出这种行文老到而风格独特的专业技术书籍呢？上网查了一下冬瓜头（张冬的网名）的技术博客和他在各种论坛留下的文字，我得到了答案。这是一个完全由兴趣驱动而对技术极端痴迷的人，也是一位善于思考、富于想象力的人。这种纯粹的、不含任何功利成份的兴趣与痴迷，才是促进科学技术发展的真正原动力。

真正和张冬接触，是因为他来信质疑我们实验室申报的一项专利。收到质疑的来信，我和提出这项专利的博士生经过仔细研究，发现我们提供的图上因为少了一个非门，结果将会因为反相而出错。对如此细致具体的问题，一般人是难以发现的。如果没有打破砂锅问到底的较真精神，哪里会发现如此细节的错误呢？这种质疑的精神，在科学研究中是极为宝贵的。我们学校被称为“根叔”的李培根校长，在2010年的新生开学典礼大会上，就以“质疑”为题作了讲演，激励青年学子发扬质疑精神。有质疑精神的人，不唯上，不唯权威，只认真理，这正是我们这个时代所稀缺的精神。

强烈的兴趣，对技术的痴迷，加上质疑精神，成就了一本存储领域的一本好书。我在研究生新生入学之后，就推荐他们先读一下«大话存储»这本书。一方面此书对研究生而言，确实是一本网络存储技术入门的好书，另一方面我还有一个用意，就是让他们知道，要从事科学研究，强烈的兴趣比什么都重要。

信息存储是信息跨越时间的传递，也是人类传承知识的主要手段。在信息存储技术上，人类有超过万年的发明创造史。早期就地取材，人类利用石刻、泥板、竹简和羊皮来记录信息，后来发明了纸张和活字印刷来保存和传播信息，近代发明了照相、录音和录像技术来存储信息。利用这些发明和创造，人类留下了极为丰富的文字、绘画、图像、语音和视频信息。正是这些信息，记录了人类创造的知识体系，使我们能够传承文明，并在此基础上创造新的文明。

从计算机的发明为开端，人类的信息技术进入了一个以数字化为特征的历史性新阶段。各种形式的信息被转换成数字后，以统一的方式进行处理、传输和存储，然后再转换为各种形式的信息被人们所利用。这种前所未有的方式发明之后，一个以数字化为特征的信息革命浪潮就波澜壮阔地形成。各种信息都被大规模数字化，使数字化的信息呈爆炸性增长。特别是互联网的兴起和普及，大大加快了信息的流通过程，使数字信息加速产生。图灵奖获得者Jim Gary观察这种数据急速增长的趋势后，总结出一个规律：人类每十八个月新增的数据量，将是历史上所有数据量之和！如此下去，对信息存储的需求将是无止境的，信息存储技术在这种强烈的需求驱动下得到了空前的发展。

为了保存数字化的信息，当代的科学家和工程师在最近的几十年中发明了磁存储、光存储、半导体存储等多种存储技术，其中大容量的硬盘在海量信息存储中扮演了主要的角色。硬盘的密度在短短几十年中增长了一百万倍以上，在近期，硬盘密度每年增长都接近一倍，而且还有不小的增长空间。由硬盘作为基本单元，通过各种总线、网络将硬盘连接成不同层次和不同规模的存储系统，就构成了我们目前的网络存储系统。例如由硬盘组加上冗余纠错技术构成磁盘阵列，再由磁盘阵列通过局部高速网络连接形成存储区域网；又如通过包含硬盘的大规模集群和文件系统形成的海量存储系统成为大型网站和数据中心新的存储架构。人们发明了各种技术来提高存储系统的容量、性能、效率、可用性、安全性和可管理性。存储虚拟化、归档存储、集群存储、云存储、绿色存储等新名词不断涌现，SSD固态存储、重复数据删除、连续数据保护、数据备份与容灾、数据生命周期管理等新技术层出不穷，令人应接不暇。

在这种情况下，广大的信息领域的从业人员，信息系统的用户，以及学习信息技术的大学生和研究生，迫切需要一本既全面论述网络存储技术原理、又有丰富实例，既反映最新技术进展、又通俗易懂的书来满足他们的需求。张冬的«大话存储»就是这样一本恰逢其时的好书。

«大话存储»已在业界产生了很大的影响，对存储技术在我国的普及起到了良好的推动作用。该书还被引进到我国的宝岛台湾，可见其影响深远。张冬再接再厉，以他对技术的痴迷继续钻研，对第一本书作了工作量巨大的改动与增补，并增加了云存储等全新的三章内容，全面反映了他对技术的重新思考和对最新技术的深刻理解。我相信，这些新的内容将给读者带来惊喜。

在技术发展十分迅速的领域，赶时髦的书籍多如牛毛，书店里充满了应景之作，真正经过深入思考、用心写作的书是不多的。而«大话存储II»却是一位技术高手的呕心沥血之作，书中对每一项技术的介绍都经过深入的思考和反复的推敲，这在当前浮躁的气氛中显得弥足珍贵。在«大话存储II»即将出版之际，我要向作者表示深深的敬意和衷心的祝贺，并郑重向读者推荐这本学习网络存储技术的好书。

谢长生

华中科技大学计算机学院 教授        信息存储系统教育部重点实验室 主任

序言2

在过去的近二十年中，存储领域在国内外都发生了巨大的变化。存储系统已经从早期的服务器附庸形态中脱离出来，而作为独立的产业走向了应用的前台。作为存储领域的一个从业人员，我有幸地经历了其中许多变化阶段。而更为幸运的是存储领域的发展势头不是日趋渐微，而正是方兴未艾。
存储领域的发展形成了众多的产业环节，也正是这些产业环节支撑着存储领域的持续发展和变化。其中，技术驱动和应用拉动的重要性往往得到人们的亲睐，而存储技术及其相关应用技术面向社会的教育和普及则常常受到人们的忽视。而对于专业人员（包括专业应用人员）极度匮乏中国的今天，这个环节的重要性是不言而喻的。
最初看到《大话存储》，我只是觉得作者想法有新意，没有十分在意。当时国内在存储方面已经有了一些从国外引入的书籍，而且IT方面的经典书籍一向出自国外，不知道这本书是否能突出重围成为凤毛麟角。与之同时，国内的网络存储研究和应用虽然热火朝天，但占有一席之地的自主存储产品却是少之又少。我所隶属的依托于中科院计算所的蓝鲸存储团队虽然有了较好的技术基础，但市场如何突破也依然处于艰难的摸索阶段。
时至今日，《大话存储》已经在存储技术及其相关应用技术面向社会的教育和普及方面起到了重要的作用，形成了自己的品牌。而我们的蓝鲸存储产品不仅在国内实现了规模化应用，打破了国外产品的垄断；而且在国外高端应用环境形成部署。或许是由于同属国产品牌，在与作者的交流中，作者对存储技术和产品的执著态度使我们深受感动，轻松但不乏深度和严谨的表述模式让我们收益匪浅。
转眼之间，《大话存储》第二版已经要面市。文风深入浅出，举重若轻；内容洋洋洒洒，上下求索。在此之际，我将我们团队实现突围的一些感想与作者和读者一起分享：
1.       胸怀理想才能有毅力面对突破过程中内部和外部的挑战；
2.       找准定位并持续专注为突破提供了可能性；
3.       切中要害、关注细节并保证品质是突破的基础；
4.   找到对用户有价值的创新而不盲从是突破的关键

中科院计算技术研究所  研究员 许鲁

序言3

第一次听说冬瓜头是因为《大话存储》，而见到冬瓜头本人时，已经听他说在写《大话存储2》了，我们一起有过不长时间的沟通，全是讨论最新的存储技术， 有一些内容，我相信他在书中都有写到，在同他见面前，我一直在嘀咕怎么去跟他沟通，但是，看到现实中的他朴实、憨厚、腼腆，但是对技术极其敏感，说起来一套一套的，我就开始为这个山东大汉折服了，还好我是做了准备的，否则非被问倒不可。

他是个靠笔说话和表达的人，在网络论坛里，写的文字常常是洋洋洒洒，时而言辞激烈，时而意气风发，这分明是一位才高八斗的江南才子，又像是一个书场中幽默诙谐的说书人。从此之后，我经常关注他的个人博客，他会经常在博客释放一些思想出来，豪放不羁，甚至还写过长诗以及各种各样的打油诗，有些还写得非常棒，配上那个流着鼻涕的冬瓜头漫画形象，真是绝配了。

这么一个内秀的北方大汉，用的豪放气势描述一个个生涩、枯燥的技术领域，他的思想遍布他的文字，通过笔端流放在读者面前，并且还一直这么坚持，听他说，大话2出来后，还会继续写大话3，毕竟技术是日新月异的，尤其是在IT领域，正如他所言，昨天的中国同仁在存储技术还是个初学者，今天已经开始从蹒跚学步到自主创新了，而明天，有什么理由不能期盼他们引领潮流的身影呢，我想，这也是冬瓜头要写大话3的动力所在吧。

《大话存储2》的篇幅已经超过了一千页。在浏览了全部章节之后，发现这一千页中真的是字字珠玑！看得出来，是冬瓜头一个字一个字写出来的，更加可贵的是，全书字里行间透着他那独特的思想，对技术、对世界的理解以及他做人的态度，能够将这些世界观的东西融入一本技术书籍，这在以前是绝无仅有的！比如书中多次提到“轮回”、“阴阳”等，最后还有一节是用中医的思想来“诊治”系统性能瓶颈，看后真是另我等感叹至极！世间万物都是相互联系的，都可以找到类比和轮回，这也是冬瓜头所描述的世界观的一种。

在和冬瓜头的交谈中获知，他大学学习的专业是化学，因为高中时他化学成绩最好所以就报了化学专业，而且其间还自学过分子生物学领域的内容，我更加惊讶了！按照他的话来说，就是“兴趣是第一驱动力”。是的，好奇和探索正式人类不断发展的第一动力，说到这我对《大话存储2》中关于冬瓜头所设想的“机器如何认知自身”这段内容产生了强烈共鸣，人可以认识自身认识世界，那么机器为何不能呢？冬瓜说他学习和接触存储业不过三四年的时间，在这短短的几年内，竟然能有如此造诣，到这里我感觉到，强烈的好奇心可以创造奇迹！可以让机器开口，可以让机器进化！这也正是冬瓜头所表述的世界观的一种！

《大话存储2》对各项存储技术的细节描述已经可以说是达到了研发级别，有很多部分甚至可以指导我们的研发！但是他却并没有用代码来表述，而是用通俗的语言和详实的图示，将原本通过阅读代码才可以理解透彻的原理，就这么轻而易举的表述了出来，这是目前我所看到的任何存储书籍或者文章都无法做到的。就这一点我曾经也问过冬瓜头，问他如何做到的。他每次的回答很简单，一针见血，实实在在，他这么说：“因为我就是一个从不懂钻到懂的草根，我深知一个根本不懂存储的人最想了解的东西和切入角度，并且愿意毫无保留的帮助其他草根生长！” 是啊，只有亲历过那悬梁刺股的学习之路的不易，才能产出精华！

在与冬瓜头的交谈中，他还常提到一句口号：“振兴民族科教”。从他说话的眼神和口气看得出来，振兴民族科技已经成为他的信仰，他也说到，他现在所做的一切都围绕着这个信仰，他愿意为中国存储事业鞠躬尽瘁死而后已，出版《大话存储》只是他要做的第一个环节而已，今后他还会有一系列的动作来兑现他的诺言。信仰可以改变一个人的心态与行为，我们目前太缺乏信仰，我想如果我们所有人都有这种信仰，那么“振兴民族科教”这句口号早就可以实现了。

信息存储已经成为了一个时刻影响人们生产、生活的新兴行业，他的发展也代表着世界未来的发展，让我们再来看看国产存储信息产业的发展正在经历着怎样的变革和转变。

我国即将进入“十二五”，“十二五”的提出也就意味着我国要实现三大转变目标：从国强到民富、从外需到内需、从高碳到低碳，这也意味着国家的发展需要依靠科技，需要大力发展新技术，尤其以信息化技术为主轴，信息化技术的发展带动重点工程的推动，势必对国产产品催生更大的需求，我相信存储行业也会有更多的民族产业佼佼者诞生。

IT环境日益复杂，数据量快速膨胀，存储行业也进入了一个技术更新极为活跃的黄金发展时期，行业发展迅速，技术活跃度高，这对国产厂家来说，无疑是一个脱颖而出的良好契机，那我们要如何在这个时代背景下产生代表着民族存储行业的国产佼佼者？

在这个时代，我们应该遵守什么？我们应该坚持什么？商业道德、创新精神、客户意识，我想只有将这些融入到企业性格中才能为企业注入新的活力。作为一家有理想的企业，需要具备一定的时代精神，而在存储技术日新月异的今天，企业打造独有的技术张性，终究才会超越历史，才会产生新时代的民族企业，我相信现在越来越多的企业更正朝这个方向发展。

大话存储正以通俗易懂的语言，风趣的行文手法向读者阐述枯燥难懂的技术精髓，致力于存储信息技术发展的民族企业也同样可以在深刻理解本土文化精髓的前提下为中国写下辉煌的历史篇章，我想这个世界没有什么不可能的，只要有这份热爱，专注和执着，又有什么是不可能实现的呢？

这样的一本特立独行的书，他就是时代的产物，他就是时代的精髓。

爱数软件   总经理贺鸿富   产品总监李基亮

序言4

存储是个大市场，有意向在数据和信息系统上做投资规划的企业逐年提高，这标志着越来越多的企业意识到自身的数据安全问题。

早在十几年前刚刚踏入存储圈子之时，数据安全问题只被金融、电信等少数行业所考虑，而如今，几乎各个行业都存在数据保护与信息安全的需求。随着用户需求的急速增长，无论是硬件设备还是软件产品都是生机一片。但是，多年来我国在这个领域一直被国外产品所垄断，究其原因，是我国存储领域技术相对滞后。

我们在经营企业的过程中，花费了大量的精力进行人才的培养。在国内，计算机行业的传统教育大多集中于软件应用与网络维护上，对于专业存储的技术培训几乎为零，而存储行业又在飞速地发展着，因此，存储市场的需求与人才滞后的落差越拉越大，我们急切渴望拥有存储专业的人才去发展存储领域。“人才为本，教育当先”，人才的培养离不开教育。多年以来，存储领域的教材乃至书籍几乎是一片空白，有的也只是太过于教条以及模式化的书籍，当看到张冬先生的《大话存储》后，我深刻地体会到存储行业开始有了专业的教科书，中国的存储业有了崭新的明天。

之所以赋予《大话存储》如此高的评价是因为他的语言通俗而不失专业，幽默而不失严谨。张冬先生用读者极易接受的语言道出了存储领域的精髓。对于初学者来说，能使存储领域不再陌生，而又充满吸引。我曾了解到，《大话存储》已经成为某院校计算机专业的教材，这不仅是存储业的幸事，同时也是现代教育的幸事。坦率地讲，我们做企业，时刻关心教育的发展，我们需要新鲜的血液来继承和发展我们的事业。《大话存储》作为能够真正做到学以致用的教材之一，使我们倍感欣慰。我为我们选择的存储道路之前景充满信心，为振兴我们的民族工业充满信心，同时，为张冬这样的后继人才而倍感骄傲。

《大话存储》能够成为教材是张冬对于存储领域不懈努力的成果，《大话存储二》的出版，更是他不断追求与探索的结果。《大话存储二》在《一》的基础上更加深入地剖析了存储技术，以及存储对于今天市场的广泛应用。书中不乏出现一些当今企业的存储实例，也包含了国内外软硬件厂家的存储技术应用，加入了更多实际范例，使读者更易理解，同时具有很强的应用性。

我相信《大话存储二》会给广大读者很大的帮助，同时也希望此书能够带领更多的有识青年进入存储领域，为我国民族产业的振兴而奋斗。

认识张冬，是因他的《大话存储》，曾在去年拜读过此书，感觉一个80后的小伙子能用如此通俗的语言诠释存储技术，实属存储行业的一大喜事。这本书，让不了解存储的人认识存储，能够了解到存储并不是高深莫测，即使一个存储行业以外的人去阅读《大话存储》，也一定能够读懂。用什么样的语言和叙述方式不重要，重要的是把要说的说明白。

张冬本人就像他的书一样，饱含着严谨的作风和真诚的态度，而又不乏幽默的风格。看过他的BLOG，人气一直很旺，这个致力于为国产存储行业鞠躬尽瘁的年轻人是我对他更加刮目相看。他在博客中写到：“我所能够做的，只有让中国人，让所有中国存储行业的人，以及中国存储行业本身，有一个扎实的基础。如果能够促进国产存储软件硬件的发展，那鄙人就是鞠躬尽瘁，死而后已，死而无憾！”一个80后年轻人有这样的雄心壮志，我们有什么理由不去努力不去发展国产存储行业呢？

记得十几年前，我刚刚进入存储领域，那个时候相关的书籍非常少，完全要靠自己进行反复的试验。那时（IT行业根本不成形，姑且称作计算机行业）计算机业的从业者都是抱着掌握20世纪末最具科技含量的技术的心态进行工作，从根本上说，对存储技术充满了崇拜，甚至有一丝恐惧。在探索期间，也走了不少弯路，耽误了很多时间。如果那个时候有这样一本关于存储的书籍，那简直是一大幸事！书中并没有把存储看做是多么高深的技术，而是任何一个普通人都能掌握的技术。和张冬开玩笑说，如果你早生10年，你就可以带领我们走向一条存储道路的捷径。

看到张冬最新写作的《大话存储二》时，我就感觉到这又是一本好书。不仅延续了《一》中通俗易懂的语言及“武侠”式的章节回目，在技术深度上，也有很大的挖掘。书中不仅囊括了时下最先进的“云”技术以及持续数据保护（CDP）技术，还牵扯到了很多非常底层的架构。在《一》的基础上，有了更为深刻的剖析。值得一提的是，张冬在最后还加入了Q&A的内容，把几年来读者以及网友提出的问题一一列出，并作出详细的解答，能够体会张冬在这一年多的时间里，对于存储技术的探索花了很大的心思。最可贵的是，年轻人不已如此成就为骄傲，继续着他谦虚而谨慎的态度。

《大话存储二》是一本好书，作者那严谨而真诚的态度以及致力于发展本国存储行业的信心注定能够成就这样一部优秀的作品。我完全有理由相信此书能够给从业者乃至热爱存储的读者带来帮助。从中，你会受益匪浅，并乐意向你的朋友推荐此书

存储是个大市场，有意向在数据和信息系统上做投资规划的企业逐年提高，这标志着越来越多的企业意识到自身的数据安全问题。早在十几年前刚刚踏入存储圈子之时，数据安全问题只被金融、电信等少数行业所考虑，而如今，几乎各个行业都存在数据保护与信息安全的需求。随着用户需求的急速增长，无论是硬件设备还是软件产品都是生机一片。但是，多年来我国在这个领域一直被国外产品所垄断，究其原因，是我国存储领域技术相对滞后。 我们在经营企业的过程中，花费了大量的精力进行人才的培养。在国内，计算机行业的传统教育大多集中于软件应用与网络维护上，对于专业存储的技术培训几乎为零，而存储行业又在飞速地发展着，因此，存储市场的需求与人才滞后的落差越拉越大，我们急切渴望拥有存储专业的人才去发展存储领域。“人才为本，教育当先”，人才的培养离不开教育。多年以来，存储领域的教材乃至书籍几乎是一片空白，有的也只是太过于教条以及模式化的书籍，当看到张冬先生的《大话存储》后，我深刻地体会到存储行业开始有了专业的教科书，中国的存储业有了崭新的明天。 之所以赋予《大话存储》如此高的评价是因为他的语言通俗而不失专业，幽默而不失严谨。张冬先生用读者极易接受的语言道出了存储领域的精髓。对于初学者来说，能使存储领域不再陌生，而又充满吸引。我曾了解到，《大话存储》已经成为某院校计算机专业的教材，这不仅是存储业的幸事，同时也是现代教育的幸事。坦率地讲，我们做企业，时刻关心教育的发展，我们需要新鲜的血液来继承和发展我们的事业。《大话存储》作为能够真正做到学以致用的教材之一，使我们倍感欣慰。我为我们选择的存储道路之前景充满信心，为振兴我们的民族工业充满信心，同时，为张冬这样的后继人才而倍感骄傲。 《大话存储》能够成为教材是张冬对于存储领域不懈努力的成果，《大话存储二》的出版，更是他不断追求与探索的结果。《大话存储二》在《一》的基础上更加深入地剖析了存储技术，以及存储对于今天市场的广泛应用。书中不乏出现一些当今企业的存储实例，也包含了国内外软硬件厂家的存储技术应用，加入了更多实际范例，使读者更易理解，同时具有很强的应用性。 我相信《大话存储二》会给广大读者很大的帮助，同时也希望此书能够带领更多的有识青年进入存储领域，为我国民族产业的振兴而奋斗。                                             火星高科  总经理龚平

认识张冬，是因他的《大话存储》，曾在去年拜读过此书，感觉一个80后的小伙子能用如此通俗的语言诠释存储技术，实属存储行业的一大喜事。这本书，让不了解存储的人认识存储，能够了解到存储并不是高深莫测，即使一个存储行业以外的人去阅读《大话存储》，也一定能够读懂。用什么样的语言和叙述方式不重要，重要的是把要说的说明白。张冬本人就像他的书一样，饱含着严谨的作风和真诚的态度，而又不乏幽默的风格。看过他的BLOG，人气一直很旺，这个致力于为国产存储行业鞠躬尽瘁的年轻人是我对他更加刮目相看。他在博客中写到：“我所能够做的，只有让中国人，让所有中国存储行业的人，以及中国存储行业本身，有一个扎实的基础。如果能够促进国产存储软件硬件的发展，那鄙人就是鞠躬尽瘁，死而后已，死而无憾！”一个80后年轻人有这样的雄心壮志，我们有什么理由不去努力不去发展国产存储行业呢？记得十几年前，我刚刚进入存储领域，那个时候相关的书籍非常少，完全要靠自己进行反复的试验。那时（IT行业根本不成形，姑且称作计算机行业）计算机业的从业者都是抱着掌握20世纪末最具科技含量的技术的心态进行工作，从根本上说，对存储技术充满了崇拜，甚至有一丝恐惧。在探索期间，也走了不少弯路，耽误了很多时间。如果那个时候有这样一本关于存储的书籍，那简直是一大幸事！书中并没有把存储看做是多么高深的技术，而是任何一个普通人都能掌握的技术。和张冬开玩笑说，如果你早生10年，你就可以带领我们走向一条存储道路的捷径。

看到张冬最新写作的《大话存储二》时，我就感觉到这又是一本好书。不仅延续了《一》中通俗易懂的语言及“武侠”式的章节回目，在技术深度上，也有很大的挖掘。书中不仅囊括了时下最先进的“云”技术以及持续数据保护（CDP）技术，还牵扯到了很多非常底层的架构。在《一》的基础上，有了更为深刻的剖析。值得一提的是，张冬在最后还加入了Q&A的内容，把几年来读者以及网友提出的问题一一列出，并作出详细的解答，能够体会张冬在这一年多的时间里，对于存储技术的探索花了很大的心思。最可贵的是，年轻人不已如此成就为骄傲，继续着他谦虚而谨慎的态度。 《大话存储二》是一本好书，作者那严谨而真诚的态度以及致力于发展本国存储行业的信心注定能够成就这样一部优秀的作品。我完全有理由相信此书能够给从业者乃至热爱存储的读者带来帮助。从中，你会受益匪浅，并乐意向你的朋友推荐此书

火星高科  技术总监黄疆（Win98时代《中文之星》软件作者）

全书目录：

首先对不起各位读者，为了尽量压缩图书页数，尽可能的降低成本，出版社采用了比一般书稍微小一点的字号，有些图片也压缩的比较厉害，终于将原稿1400页压缩到了900页内，虽说浓缩的都是精华，但是可能比较费眼睛，辛苦大家了～

在此附赠两张19章里的大图，估计印刷后被缩成小图了。

另外，鉴于具有中国特色的国情决定，再有价值的图书，价格也决不能跟着价值往上走，在此出版社和作者自身都做出了巨大的牺牲，定价99元（网店等折后大概80包运费），对我个人收入而言，大家是可以查到的，版税率网络上都是公开的，大家可以查查，绝对不是册数×定价，否则那是暴发户了。正因如此，希望大家体谅作者废寝忘食耗费巨大精力的劳动成果，体谅中国国情，也就是体谅自己，支持正版，反对任何形式的盗版散发！！

北京的同志们，签售时见！

当当网预售链接：（折后￥73）

http://product.dangdang.com/product.aspx?product_id=21058708&ref=search-1-pub

阅读全文»

分享

分享

ASPLOS ( Architectural Support for Programming Languages and Operating Systems) 是计算机系统领域一个比较重要的会议。 Architecture, programming language 和 operating system 的人都会来。 俺有幸去 ASPLOS 11 转了一圈，这里总结一下。

*很可惜，我们的论文没能得到 best paper, 不过非常高兴的是看到我们 paper 的 impact. Dave & John 决定把我们的 paper 放到他们下一版的红宝书中，这个对我们的论文是极大的肯定。 学术界和工业界的人都对我们的工作感兴趣。 Power/energy efficiency system 是现在很多人关注的领域。 在我们的论文里边，我们两个主要的 statements 是软件有非常大的空间影响系统的 power/energy。 不同语言的 workload 的行为是不一样的。 Qualcomm 问我们有没有进一步研究软件如何影响 power/energy. 我们的一篇 paper 提到了相同的 java application, 不同的 jvm 的 performance, power, energy 的曲线完全不同。 下一步我们组有的人会继续沿着这个方向往下走。Kathryn 在 HPCA/PPoPP 的 keynote 讲了我们的论文，Mark Hill （不知道是谁的请google) 问了个很好玩的问题 “为什么这个工作是被作 programming language 的人完成的，而不是体系结构的人”.  Intel Austin 也在作类似的研究。

*体系结构的人已经没有什么想法来自动加速系统。 和很多人聊天，都认为异构系统已经并且会更流行。CPU本身会变得越来越不重要。 支撑 Application 的系统是根本，同时这也要求 software hardware co-design.

*Power/Energy 貌似很火，不过需要更好的理解整个系统的 power & energy 行为, 而不是为了 power 而去想一些根本无所谓的点子。

*Transactions memory still does not work。 这个很好….. 哈哈。

*Phase-change memory 未来会如何整合到 memory subsystem 是个值得关注的问题。

*和 UW Luis 组的学生聊天，他们有PLDI 11 有一个paper 提到 放弃一些可靠性来换取 power/energy 的 benefit. 类似的 software 和 hardware co-design 会是以后的方向， free lunch is over。

*和 berkely parlab 的 Krste 聊到了他们作的 kernel. 他们基本的想法是把 kernel 变成一个单纯的 resource service provider, 而不是猜测 application 的行为来分配资源。 他们的系统里边， application 的 run-time system 会向 kernel 发出各种请求， kernel 的任务就是想办法满足  application 的请求。 我向他提到了在 network 领域，类似的系统存在了很长时间。 Parlab 的人真的是在作好玩的工作，而不是发paper。

*ASPLOS太多 correctness 和 find bug 的工作。 Peter Chen  整个 group 都在作 re-play. 我水平有限，不知道这些工作的意义. 程序员是在fix bug 中成长的。 另外软件有bug 是正常的事情，重要的是在 bug 发现后可以很快搞定。

*碰到了 Doug Lea. 跟他聊了聊 memory consistency 的问题。 CPU 完全可以 有一个相对 strict 的 order, 然后在内部 play 一些 speculation。 太 relax 的 model, 写起来程序是有些麻烦。 X86 的 order 我觉得程序员完全可以搞定。跟他提到了我的 master thesis, 他狠感兴趣 并且同意 review 我的 thesis.

*和很多作体系结构的学生聊天，基本上他们都对系统软件完全没有概念，在 co-design 的时候会是非常大的问题。

*和 Yale Patt 的学生聊了很久，可惜 Yale 去了欧洲，没能见到真容。 他的学生狠聪明。 主要是和他们聊 怎么把 application 精确的 semantics 和 体系结构联系起来 来提高 系统资源的 utilization. 在 architecture level 对软件系统透明的优化很难提高 utilization 了，他们对我提出的 idea 狠感兴趣 并且说 希望有机会合作。

*首席名头很响。一报名字，全场肃静！！

分享

分享

【前言：有一种说法[1]是Google的程序里面80%用的是MapReduce，20%用的是Pregel。今天就来介绍一下这个Pregel。想要深入研究的同志们，可以参考最新的SIGMOD 2010 ppt[2]。】

简介

Pregel是一个用于分布式图计算的计算框架，主要用于图遍历（BFS）、最短路径（SSSP）、PageRank计算等等。共享内存的运行库有很多，但是对于google来说，一台机器早已经放不下需要计算的数据了，所以需要分布式的这样一个计算环境。没有Pregel之前，你可以选择用MapReduce来做，但是效率很低；你也可以用已有的并行图算法库Parallel BGL或者CGMgraph来做，但是这两者又没有容错。所以google就自己开发了这个新的计算框架。

（八卦一下：Pregel的名字来历很有意思。是为了纪念欧拉的七桥问题[7]，七座桥就位于Pregel这条河上。）

核心概念

从高层次看，Pregel是BSP[8]模型，就是“计算”-“通信”-“同步”的模式，参看图1。

图1: BSP Model

在Pregel中，以节点为中心计算。Step 0时每节点都活动着，每个节点主动“给停止投票”进入不活动状态。如果接收到消息，则激活。没有活动节点和消息时，整个算法结束。

图2: Vetex State Machine（参考2）

容错是通过检查点来做的。在每个超步开始的时候，对主从节点分别备份。

核心的概念就是这些，其他还有一些消息聚集(combiner)等优化。有兴趣可以看看Lixiang的阅读笔记[6]和Pregel Slides[2]。

类似开源实现

人人都喜欢免费。跟Pregel最像的是Hama[5]，也是基于BSP，但是，开源的Hama还未成气候。笔者原来打算拿它来做些实验，结果还不能运行。

国内似乎还没有类似Pregel的计算引擎，不知道百度和淘宝这些公司有没有需求。淘宝最近9月份开源了他们的文件系统TFS[3][4]，很敬仰。不知道上面的运行环境是不是在开发中。大宋的开源软件也要有自己的创新，不能老是拿老外的改改就用了。

参考资料

1. Pregel: Google’s other data-processing infrastructure, http://www.royans.net/arch/pregel-googles-other-data-processing-infrastructure/

2. Pregel: A System for Large-Scale Graph Processing, SIGMOD 2010的ppt, http://www.slideshare.net/shatteredNirvana/pregel-a-system-for-largescale-graph-processing

3. 淘宝文件系统TFS开源代码，http://code.taobao.org/project/view/366/

4.  淘宝文件系统TFS介绍，http://rdc.taobao.com/blog/cs/?p=128

5. Hama homepage, http://incubator.apache.org/hama/

6. 论文阅读笔记：Google的图模型分布式计算框架Pregel

7. Seven Bridges of Königsberg, http://en.wikipedia.org/wiki/Seven_Bridges_of_K%C3%B6nigsberg

8. http://en.wikipedia.org/wiki/Bulk_synchronous_parallel

分享

分享

【陈怀临注：这是多伦多大学Livio对过去N年来操作系统领域Top会议文章的一些调查数据。调查数据表明，在系统软件领域，工业界Applied Research的贡献的比重在不断的上升。由此可见，系统软件确实是一个强应用的学科。。。另外，对作者人数的调查发现，基本上都是团队作战。很难相信一个人能整一个系统软件。。。。。。另外，在2000年，Bell Lab的Rob Pike曾经发表了其著名的系统软件无路可走的观点–Systems Software Research is Irrelevant。 在学术界和工业界，其实附和的观点很多。我个人认为，在多核，众核和将来Massive核，然后是NUMA basedMassive核的将来，系统软件的将来还是明朗的。有许多事情值得去创造。经典的OS是不适合新的应用的。新的应用会催生新的系统研究的发展。。。BTW，Rob现在在Google当差。。。Google的美金和宽松文化吸收了太多太多的精英。。。很难想象世界上哪个公司能抗衡。。。。。。】

分享

分享

（注：IEEE Micro杂志7月份有一期专门讲数据中心级别的计算。小组学习的时候挑了这篇文章：Scale-Out Networking in the Data Center [2,4]（数据中心可扩展网络设计），介绍UCSD(Univ. of California, San Diego)的Triton网络，并且分析了拓扑、商品化部件、2层或3层局域网交换选择和多路转发等设计考虑，各位可以作为借鉴。）

过去的十年，扩展模型(Scale-Out)代替了升级模型(Scale-Up)作为大规模计算和存储的基础。传统的升级模型要求系统架构师用高端的部件替换掉原来计算或者存储能力不够的部件。这要求过一段时间就将应用和数据从一台机器移动到另一台。更糟糕地是，高端的部件使得我们不能使用商品化部件的好处，每个计算周期或者单位字节花的钱比起商品化部件要贵10倍以上。对于十万级别服务器的数据中心来说，使用商品化部件或是非商品化部件(noncommodity)的差别会有几十亿美金之多。

成本驱使了通过必要的软件开发来得到部署可增加、水平可扩展的商品化服务器和硬盘。在可扩展模型中，理想情况下要增加计算或者存储资源只需要往系统中增加服务器和硬盘就行了。比如，增加10%的计算能力，只需要往集群增加10%的服务器就行了。可扩展模型要求负载的并行度，对于来自很大用户群的许多小请求来说，比如搜索，这样的并行度是很容易达到的。

虽然可扩展模型提供了清晰且吸引人的好处，但是数据中心可扩展模型最后一个挑战来自网络。在数据中心部件之间协调和传输数据需要一个面向几万台服务器的高速互连网络。然而，当前情况下，为更大的集群提供带宽需要专门的非商品化交换机和路由器。比如，同一个机架服务器的互连可以用一个商品化的48端口非阻塞机顶交换机。但是，几千个机架之间的高速互连就需要一个分级网络。虽然分级互连叶子节点可以使用商品化交换机，更高级别的需要能力更强的专用交换机（更多端口和背板带宽）。目前数据中心使用的专用网络价格增加和性能限制相比商品化解决方案有10倍之多。

下面我们来看一下UCSD的Triton网络的结构。

需求

一个理想的网络特征应该是可扩展、可管理、灵活和便宜。

可扩展：这个网络必须支持100,000端口的数据中心，将近1 petabit/s的聚合带宽；并且，尺度必须是增量可扩展的——端口数可以以几百的粒度增加，聚合带宽可以以terabit/s的粒度增加。可管理：开发者应该可以把整个网络作为单一逻辑层(L2)的域来管理，实现即插即用的部署。扩充这个网络不需要配置DHCP、子网数、子网掩码和网络映射。同时，要避免布线的复杂性。灵活：任何服务应该可以灵活地可以在数据中心任何一处运行来支持终端和网络的虚拟化。便宜：单位节点的开销应该很低——从资本和维护的角度，相对于计算和存储都要低。从维护的角度还包括了管理的开销和每个端口的能耗。

拓扑

传统的数据中心网络（比如Cisco Data Center Infrastructure 2.5 Design Guide）最佳的方案是在树状的拓扑上，聚合到更密、更快速的交换机。根节点最高密度交换机限制了这些环境的网络性能。直到最近，非阻塞10-Gbps以太网交换机仍限制于128个端口。假设网卡是Gbps级别，这就使得单个网络的尺寸限制在几千个节点。

Triton的解决方案使用胖树拓扑，folded-clos拓扑使用相等交换的一种特殊缓冲实现。当然，胖树并不是什么新鲜事，在高性能计算里面很常用。但是，在大规模以太网和TCP/IP网络中使用它的需求是最近因为巨大的服务量和激增的数据集需要全交换(all-to-all)通信而出现的。

图1. 胖树拓扑的例子。在合适的调度下，这个拓扑可以提供单级交叉开关交换机一样的吞吐率。每个组(Pod)里面的边交换机在第二层为终端主机和聚合(aggregation)交换机提供互连。(参考资料1)

图1 [1] 显示了一个简单的胖树拓扑。这个拓扑用20个4端口交换机搭成了1个等价于16端口的交换机。通过合适的调度，这个拓扑可以提供单级交叉开关交换机一样的吞吐率。换句话说，它可以达到仅受限于每个端口速度的等分聚合带宽。达到这个功能在计算量上有挑战，但实际上Triton取得了不错的实际结果，在后面“多路转发”小节还会讨论。

商品化硅件

大规模网络设施的两个挑战是将整个网络作为一个逻辑交换机管理，以及连接拓扑需要的大量布线。比如，很多所谓的商品化硅件提供商，比如Fulcrum Microsystems、Marvell和Broadcom，正在把24-、48-或者64-端口10Gigabit以太网(GigE)交换机移植到芯片上。对于k=64的例子，可以组建一个65,636端口的10GigE交换机，划分成64个组(Pod)，每个组1,024个端口。不幸地是，这个拓扑同时需要5,120个单独的64端口交换机和131,072根网线(见图2 [3] )。要管理这么多交换机和网线是一件不小的挑战，这使得胖树在资本投入上的优势可能因为在管理上建造和管理的困难而失去。

图2. The "Yellow Wall" (参考资料3)

UCSD使用模块化的交换机[3]来解决这个问题。通过定制底板和定制ASIC以太网扩展协议模块，降低了开销和功耗，并且将131,072根网线降到了64根。这个交换机就是Triton的核心技术了（有兴趣的读者可以参考资料3）。

两层交换或者三层交换的选择

拓扑和交换机选定后，另一个独立的问题是路由机制：局域网L2或者L3地址域的选择[5]。L2网络是即插即用的，L3网络需要管理员手动配置子网掩码并和DHCP同步；L2网络的地址空间是平的，交换机转发表的项数就会很多，L3网络的地址空间是分层的，转发表就比较简洁；最后，因为虚拟机在数据中心里面的广泛应用，L3网络中虚拟机的迁移受到限制，而L2就没有类似问题。综合这些考虑，UCSD采用在L2网络基础上插入伪MAC地址，使用定制的位置发现协议得到和模块化交换机的关系。

多路转发

为了更好的消除长流的冲突，UCSD的网络中使用了动态的流控。通过统计交换机部件的流量计数，得到流量需求矩阵来分配最佳路径。

参考资料：

1. 100,000-port Ethernet switch anyone?http://www.networkworld.com/community/node/44473

2. Scale-Out Networking in the Data Center, http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=5550998&tag=1

3. Data Center Switch Architecture in the Age of Merchant Silicon, http://www.nathanfarrington.com/presentations/merchant_silicon-hoti09-slides.pdf

4. www.nathanfarrington.com/papers/scale-out-micro10.pdf

5. LAN switching, http://en.wikipedia.org/wiki/LAN_switching

分享

分享

此文为转载。

哪些美国高校的计算机系实力最强？4月20日，公认为最具影响力的《U.S. News》美国大学排行榜出炉，为这个问题提供了最新的权威答案。在计算机科学学位项目排行榜中，卡内基-梅隆大学（CMU）、麻省理工学院（MIT）、斯坦福大学和加州大学伯克利分校四大名校并列第一，得分不相上下。

专业方向的排名（如下图所示）则显示了这四大名校各自的优势：麻省理工学院在人工智能和计算理论两个方向折桂，编程语言则落到了第四；加州大学伯克利分校雄踞计算机系统方向冠军，但它的人工智能排在第四；以软件工程闻名于世的卡内基-梅隆大学意料之中地占据了编程语言头名，计算理论方面却排在了第5（排在第3和第4的是康奈尔和普林斯顿）；斯坦福大学除编程语言外第2外各项都不突出，为什么也能在总榜上排在第一呢，难道是因为在硅谷，学生善于创业好找工作？

其他位列第5到第10名的学校分别是：康奈尔大学、伊利诺依大学厄巴尼-尚佩恩分校（UIUC）、华盛顿大学、普林斯顿大学、得克萨斯大学奥斯汀分校和佐治亚理工学院。前20名的学校得分情况如下图所示。

IT领域的另一大专业方向电子电气和通信排名中，麻省理工学院傲视群雄，显示出该校在硬件方面的强大实力，斯坦福大学和加州大学伯克利分校并列第二。

其他位列前十的学校是：

4 伊利诺依大学厄巴尼-尚佩恩分校（UIUC）

5 加州理工学院

6 佐治亚理工学院

7 卡内基-梅隆大学和密歇根大学安亚堡分校（并列）

8 康奈尔大学和得克萨斯大学奥斯汀分校（并列）

分享