传统外置存储系统或将迎来严酷的冬天

Sina WeiboBaiduLinkedInQQGoogle+RedditEvernote分享




版权声明:本文转载至2011年10月刊的《计算机世界》报。(作者:冬瓜头(张冬),《大话存储》及《大话存储2》作者,QQ&Email: 122567712@qq.com

传统外置存储系统或将迎来严酷的冬天

                                                      ——张冬(冬瓜头)

1、存储这十年

    眨眼间,担任存储产品设计规划工作已经一年多了,对存储系统的发展有了一些感触。在2002~2009这7年里,应该说是存储行业在中国落地生根的时期,那时候国内有不少工程师活跃在各种技术论坛,讨论存储系统的基本原理、部署配置等。我记得那段时间内,IBM从LSIOEM过来的FAStT系列的存储系统在国内被广泛使用,技术论坛里基本都是关于这个系列存储系统的讨论。高端存储的讨论则基本聚焦在IBM的Shark系列,当时国内对EMC以及HDS等专业存储公司的产品的关注和探讨明显不如IBM,一个重要原因是因为IBM的存储大量随其服务器捆绑,而EMC和HDS这两家公司当时只有存储产品。再后来就是FAStT的换代产品DS4000系列,再后来就是DS5000,这几代产品均是OEM自LSI,本质上其实就是一个硬件规格不断提升的过程。然而,存储行业就像一个人的成长过程,首先要长身体,但是身体长到一定阶段,就需要长心智了。随着上层业务的多样化发展,底层存储不仅仅再只是一个提供数据存储的盒子,它需要一些灵活易用的数据管理功能来丰富它的价值,比如快照克隆、扩容复制、压缩重删、超供回收以及虚拟化等等。

    在中国,存储从业人员水平也在不断的提高。从这10年期间国内的几个著名存储论坛讨论的课题便可以看出,从当初的一知半解,还在讨论所谓SAN、FC、光纤这三者的概念和区别的阶段,一直到后来讨论起各厂商中高端存储设备的内部架构以及各种数据管理特性原理、实现、价值及应用场景,随后更进一步,讨论起存储系统的选型、部署和规划管理等。我相信随着国内业界对存储的不断认知和积累,首先是厂商与集成商,随后便会是终端客户,随着从业人员水平的提高,终端客户越来越难忽悠,这样就会形成更加专业的气氛和促使国内厂商不断自主研发进取的动力。

十年间,细数存储厂商的变迁。IBM在2008年将早先收购的XIV推向了市场,并且定位在高端存储级别,引起了不小的轰动,这是个里程碑式的事件,它不仅象征着传统高端存储的封闭式架构土崩瓦解,而且还引起了一股Scale-Out热。紧其随后,EMC把经营了多年的传统高端Symmetrix DMX系列的核心软件迁移到了开放式硬件平台上,推出了新一代Scale-Out高端存储系统Symmetrix V-Max;之后一年HDS也按耐不住,将其传统高端存储USP V也迁移到了开放硬件平台,变身成了VSP存储系统,也宣称为Scale-Out架构,但是VSP并不是十分开放,其形态上我认为依然是传统高端的封闭式架构,但是CPU从PowerPC变成了Intel x86,同时保留ASIC芯片,外观上采用大背板,CPU、内存、IO板分离式热插拔,这些依然还是传统高端存储系统的元素。

2011年,EMC将其Celerra产品当做机头,后端挂接Clariion存储,包装成了VNX系列,当然硬件平台是升级之后的。这个产品没有什么本质创新。但是其同时推出了一款低端的VNXe系列,这款产品看似低端,其实暗藏玄机。在笔者在今年3月份的一篇文章《VNXe会给存储系统带来颠覆性变革么》中详细剖析了VNXe内部并且做出推断,存储+虚拟机就是百变金刚。存储+计算,即应用存储很有可能会是后续外置存储系统的发展方向。果不其然,9月份的VMware World大会上,EMC毫无遮拦的表述了这个观点,存储直接运行虚拟机,直接与应用结合,抢占部分服务器市场。(作者:冬瓜头(张冬),《大话存储》及《大话存储2》作者)在应用存储这方面国内某软件公司就颇具前瞻性。

2010年,IBM将其多个产品的多个模块进行了堆叠组合,形成了Storwize V7000中端存储产品,这款产品可以说是IBM真正自研的第一款中端存储系统。EMC在经历了Symmetrix V-Max变革之后,在中端存储系统产品线,也将其CX系列做了终结,换面为VNX系列,后者实则是CX系列升级的硬件版本加上Celerra NAS机头组合而成的一款所谓Scale-Out的统一存储。

就在本月,HP也成功的将收购的3PAR存储硬件升级之后包装为P10000产品型号。

    说道统一存储,不得不说的则是NetApp。作为EMC的头号对手(存储界仅剩的三家专业聚焦存储的巨头为EMC、NetApp、HDS),NetApp是一个老牌存储公司了,上世纪九十年代靠独立NAS起家(取代当时的Linux服务器做NFS共享的方式),本世纪初通过在文件系统上虚拟块空间从而支持了块级访问,并包装为“Unified Storage”概念,广受业界追捧,统一存储的概念一直到现在还没退火。NetApp凭借其强大的增值功能和简便的配置占据了NAS市场老大的位置。从最早期的FAS270、FAS980,到后来的FAS2000、FAS3000和FAS6000,再到后来的FAS3100,一直到最近的FAS3200和FAS6200,NetApp在硬件平台上迁移的很平稳,形态上没有什么大动(除了最近的FASx200系列平台支持IO扩展柜之外)。NetApp的核心竞争力在于其软件,它没有精力去自己搞出类似某公司那样的十几款硬件盒子形态,这样做对它没有任何意义。从其Ontap7.0操作系统开始,支持Flexvol特性,这也是存储业界(作者:冬瓜头(张冬),《大话存储》及《大话存储2》作者)第一个Thin技术的原型,但是Thin这个词好像却并不是NetApp推广出来的。其核心层WAFL文件系统是一个非常强大的角色,号称“The last word in filesystem”的ZFS就是借鉴了WAFL的思想并在多方面进行改良的文件系统,以及变种BTRFS。

    2008年的存储界还有另一件大事,本文笔者的专著,一本里程碑式的著作《大话存储–网络存储系统原理精解与最佳实践》出版了,它是第一本将存储系统基本概念和原理清晰透彻进行表述的存储书籍,在业界引起了广泛好评,让不计其数的初学者快速入了门,为国内存储行业迅速孵化了一大批存储潜在人才。两年后,《大话存储2》也顺利出版了,大话2厚度超过900页,可以说是存储界前所未有之鸿篇巨著,其内容涉及了存储技术的方方面面,甚至在国内学术界也获得了高度评价,并且成功进入了各大院校的专业课程教材体系,同时也成为了各大国内集成商以及存储厂商研发人员手头必备的书籍;同时也受到不少美国硅谷存储界人士的好评。

    然而,看似红红火火的存储市场,即将迎来的可能会是一个严酷的冬天。

2、存储下一个十年

    书接上文。从存储产品形态变化可以看得出来,在硬件形态上,高端存储传统架构崩塌,转为开放式架构,那么存储与服务器架构已经没有本质区别,这一步的变化已经奠定了外置存储系统体系走(作者:冬瓜头(张冬),《大话存储》及《大话存储2》作者)向崩塌的基础。一个事物总是要向前发展,传统双控存储系统在大架构体系上已经没有可以拿得出手的搞头了,所以不得不向Scale-Out架构来发展,就像CPU多核化一样,上百核的CPU都已经可以商用了,那么对于存储系统来说,Scale-Out的下一步又会是什么呢?在没有革命性新技术出来之前,我认为外置存储也就只能这样了,无非就是硬件规格、接口速率的提升过程,激进一些可能直接以磁盘为单位来做Scale-Out,让控制器节点数达到系统内的硬盘数量级,而每个控制器节点规格可以降低,但是这始终还是Scale-Out。

那么我到底想说什么呢?凭什么我认为外置存储系统后续日子会越来越难过?这还得从最近的两个东西说起,一个是固态存储介质,另一个,则是炒得火热的云。

2.1 存储与服务器同质化

上一代存储产品在硬件上还是颇具特色的,尤其是以EMC Symmetrix和HDS USP为代表的高端平台,大背板上安插CPU板、内存板、IO板等。而且上一代高端普遍使用PowerPC处理器。上一代中端产品,到处可觅见ASIC的身影,比如IBM DS4000/DS5000,HDS AMS2000等。而到了这一代,Intel处理器x86硬件平台似乎已经统治了从高端到中端甚至中低端的存储阵列,内部架构与普通x86 PC服务器无异,只是外观以及其他一些专门为硬盘槽位以及维护性考虑的细节上略有不同。只有低端一些产品依然使用ASIC来降低成本。

外置存储发展到这个阶段,已经在硬件上失去了它独立发展的“借口”。其次,在软件上,外置存储的借口也越来越脆弱。随着各种卷管理软件,比如传统的LVM、CLVM甚至GLVM以及Windows平台下的动态卷越做越强,还有Symantec从Veritas继承下来的驰骋多年依然宝刀未老的VxVM以及Storage Foundation平台,再加上号称“The last word in filesystem”的ZFS以及其变种Btrfs,甚至原Sun公司的统一的存储软件ComStar等平台,这些角色的发展对于传统外置存储的软件层来讲,都是威胁。比如ZFS,容错保护、数据校验纠错、快照、Thin、Dedup、Clone、Replication等外置存储用来增值的特性,它也都已经集成了,只要将其架设到JBOD或者服务器自带存储介质上即可形成一个差不多的存储系统,既可以用作自身使用,也可以通过SCSI Target向外部提供存储空间成为一个独立的存储设备。

2.2 固态存储介质终将一统

固态存储介质的好处就不必多讲了,想必大家都很了解。固态存储介质迟早会取代机械磁盘,这也是大势所趋,虽然短期内不太可能,但是不排除若干年之后不会发生。固态存储介质的可靠性、容量、存储密度以及成本均会越来越变得让人容易接受。机械磁盘届时已经没有必要存在,而磁带可能相对于机械磁盘稍晚些一样会被固态存储介质所替代。Flash硅片也有不同的规格等级,使用低规格大容量的Flash阵列完全可以提供比传统物理带库或者VTL更划算的备份介质。这样,从RAM到归档设备一条路下来就不会有任何机械部件存在,而且性能和成本可以是平滑下降的。

我曾经在某客户机房看到过某公司高端存储产品,占用了整整一个机柜的空间,风扇呼呼的吹着,噪音让人头疼,结果上面只插了几十块甚至十几块磁盘。这其中其他原因暂且不提,你懂的。咱们抛开其他因素,从任何方面讲,这都属于投资浪费。这几十块机械硬盘在高端存储上所能提供的性能,可能只需要几块SSD就可以满足了。至于容量方面,目前很多场景容量都是过剩的,由于机械盘无法提供太高IOPS,不得不用几十块甚至上百或者数百上千块磁盘来堆出所需要的性能,然而磁盘容量的增长速度远比性能增长速度快,那么数百块600GB的磁盘,就可以达到上百TB 的空间,而这些空间绝大多数可能都被浪费了,只因为单个机械盘性能不够。机械盘拿数量来换性能,容量过剩。;而SSD则是性能过剩而容量稍小而且价格太高。但是容量和寿命问题可以随着技术发展不断得到解决,价格也会不断降低,而且如果从耗电、占地等个方面综合判断,SSD的$/IOPS显然是划算的。

2.2.1 历史车轮不可阻挡

外置存储控制器的前世形态其实是插在服务器里面的Raid卡,后来为何会扩充出去独立成为“存储系统”?多种因素,性能和空间问题为主要,另外一种因素是用于多主机共享存储,后面这个因素目前看来,有点鸡肋,到底有多少主机需要与其他主机共享空间?他们只是在“共享同一个设备”,真正需要共享空间的有两种情况,一种是特殊应用,比如视频领域、Web Server集群、HPC集群等等,而这些场景毕竟有限;其次则是最近几年Thin Provision炒作起来之后,确实可以做到全局空间动态分配回收,但是又有多少人真正用到?从这一点上看,这个因素确实是个鸡肋,不会阻止底层技术车轮发展导致的上层形态的变革。所以,共享同一个设备,或者共享同一个空间,只是为技术的发展所创造的一个噱头。而我相信当存储形态重新轮回回来之后,又会有新噱头被创造出来。

所谓“轮回回来”具体是指什么呢?由于固态存储介质成本的不断下降,性能和容量的不断提升,体积的不断降低,在一台服务器中集成高密度、大容量、超高性能的的Flash介质无疑还是最方便的存储形态。想想看,你不再需要购买什么FC HBA、SAS HBA、Infiniband HBA,也不需要理会什么iSCSI、FC、SAS协议,部署时也不需要连接一大批线缆,更不需要购置什么所谓“存储交换机”了。所以,导致当年Raid卡进化为外置控制器的第一个问题,也就是服务器空间、容量和性能的问题,就这么轻易被Flash固态介质解决了,非常彻底,决不拖泥带水。至于第二个问题,也就是数据共享访问的问题,上文也说了,场景有限,有点鸡肋。但是如果确实需要共享访问了怎么办呢?也好办,外部网路带宽是飞速发展的,多个独立服务器节点完全可以通过外部网络来将各自的存储介质通过某种分布式卷管理系统或者分布式文件系统联合起来形成一个大共享存储池,这些技术已经比较成熟,尤其是云架构炒作起来之后,这些在技术上根本不是问题。所谓轮回,就是指外置存储控制器最终在出来溜达了一圈之后,遇上了Flash挡道,最终又不得不乖乖投胎为其前世Raid卡,回服务器机箱里呆着,这就是历史的规律。

最近也遇到了几个企业IT管理员问了一些问题,大致是“我到底为什么要使用SAN”,如果换了几年前,我或许直接会这么回答:“SAN可以消除孤岛,数据共享”等等等等,但是现在,我不会再拿着这些当初被忽悠的词句去误导别人了,至少回答之前要问清楚他目前的业务类型、数据量以及后续需求等。其中有一个人我确实没有推荐其使用SAN,因为他的业务完全本地盘就已经满足需求,况且还是使用PC服务器,如果使用小机等扩展性更强的服务器,一台机器上完全可以扩充到几十甚至上百块硬盘,对于一般通常业务来讲,有什么理由去拉根线连到外面存储上取数据呢?

有人会问,数据如果不集中存放的话,备份怎么办呢?还可以集中备份和LAN-Free么?这个问题,如果熟知现在的备份数据流就根本无需担心。当前来讲,就算是所谓“LAN-Free”也一样需要数据先从SAN阵列中读出到主机,然后再从主机写到备份介质。笔者另一篇文章《乱七八糟的“Free”》中对这些名词有详细的解释。而对于DAS模式下的备份,数据只是从每个服务器本地盘读出来然后写到备份介质中,与SAN备份没有本质区别,甚至速度可以比SAN备份更快。至于所谓“集中备份”,除非使用NDMP设备到设备直接备份模式,那么这个“集中备份”也没有意义,现在数据先从主机读出再写到备份介质依然是主流的备份方式,这与DAS下的备份数据流没有区别。

在来看看DAS模式下的容灾。在SAN模式下,直接通过两地的阵列做集中的数据远程复制与接收,确实比DAS模式下每个节点单独做复制要方便的多,这一点确实算是一个劣势。但是回头想想,如果这些节点是处于云中的,由两个云之间来做容灾,那么又会被统一起来。而且目前来讲仍有非常大比例的系统采用的是基于应用层的数据复制,而不是底层存储层,比如Oracle DataGuard、DB2的HADR等等,这类复制能够保证数据一致性并且可回放,底层存储有时候并不能完全信任,10次有2次会产生应用无法启动的数据不一致。

另外,SAN的另一个噱头,即“集中管理”。如果整个数据中心只有少数几台集中存储设备,那管理起来确实比较方便,尤其是对一个尚没有完善的自动化运维体系的数据中心来讲。在配置存储空间的时候,如果有一套比较好的管理软件,那么在一个全DAS环境中配置起来也不见得要比配置集中存储来得复杂。但对于后期维护操作,全DAS存储环境确实会增加不少复杂度,这就需要一套完善的自动化运维工具和体系来应对这个问题。

至于各种外置存储所提供的快照、重删、Thin等数据管理特性,(作者:冬瓜头(张冬),《大话存储》及《大话存储2》作者)随着芯片性能不断提升,Raid卡上直接集成这些功能,也将不再是难事。

总之,上述的种种因素,最终都会将目前的传统外置存储系统逼上绝路。

2.2.2 存储厂商面对Flash,友善还是敌对?

既然上文中我把Flash看做传统存储的死敌,那么目前一些存储厂商对Flash是什么态度呢?最早痛恨Flash的专业存储厂商是NetApp。在笔者的另一篇文章《引领潮流、随波逐流、最后追赶潮流?——在荆棘中挣扎前进的NetApp》中曾经就WAFL与Flash之间的恩怨做过分析。但是不知道当初NetApp反对Flash是不是也有更深一层的担忧,即Flash或将革掉自己的命。但是大势不可挡,如今所有主流存储厂商都针对固态介质做了处理,比如各种动态分级或者缓存技术。NetApp的PAM加速卡就是一张插在其FAS阵列中的PCIE Flash卡,其被用作WAFL文件系统的缓存,而不是直接承载WAFL主体数据。NetApp也曾经说过将来存储系统中只有两种介质——SSD+SATA,但至少目前看来,NetApp最新的FAS阵列依然是支持SAS与FC磁盘。

EMC对待固态介质的态度一向都是积极的,他知道固态介质势不可挡,逃避是没有用的。也曾经大有信心的说SSD将取代FC盘,并且从FAST1.0到FAST2.0再到FAST VP,一直不遗余力的让SSD在阵列上发挥最大价值。其他厂商则基本都是追随者,随大流,针对SSD也都是不遗余力的支持,包括开发动态数据分级/缓存方案,以及在内核中针对Flash介质特有的IO特性做各方面优化。

FusionIO,一家专做PCIE Flash卡的尖兵厂商,在互联网后端这个细分市场占据了不少市场份额。互联网企业IT系统的前端和后端是当今最流行IT技术的发源地,从这里也可以对后续IT领域的发展趋势掠探一二。FusionIO的卡,说俗了就是一种DAS(Direct Attached Storage)方式,你能说它相对于SAN方式是一种倒退么?肯定不是,与其说是倒退,不如说是轮回。能在服务器本地满足的IO性能,何必去花大价钱买个高端存储而且性能还不够呢?国内某互联网公司几乎明确了他们的观点,即去IOE,也就是IBM的小机、Oracle的RDBMS以及EMC的高端存储。从这一点上来看,EMC已经被FusionIO抢了不知道多少单出货高端存储的机会。

EMC能不有所动么?这不,EMC发布了所谓“闪电计划”,也开始搞插在服务器上的PCIE Flash卡作为阵列的前置缓存,然而他肯定不能以后就卖卡为主了,他真正想带动的还是其阵列,所以“闪电计划”的最终目的其实是EMC想通过服务器主机端的PCIE卡产生一个链带,后端还是要购买EMC的存储阵列,所以闪电计划在互联网后端肯定是不被买账的,EMC这段时间好像对互联网后端额外重视,但是眼巴巴看着金子被别人挖走,心有不甘。收购GreenPlum就是一步棋。就好像看着一座金山,拼命往上爬却发现脚底打滑,于是就去鞋店大肆采购各种鞋子。

PCIE Flash是所有传统存储厂商的对手,虽然有厂商比如NetApp将PCIE Flash卡用到自己阵列里给自己加速,但是敌人永远是敌人。

固态存储介质让传统外置存储难受其实还有另外一个原因。传统外置存储控制器一般为每台设备双控制器,这台设备后端如果挂太多SSD,由于固态介质响应时间和IOPS“过高”,则会无法发挥出这些ssd的性能,可能在20块左右就可以饱和一台中端存储的性能。如果后续SSD真的全面取代机械盘,那么外置存储控制器就会成为大瓶颈,陷入不利环境。从这一点上来看,传统外置存储走向Scale-Out分布式,增加CPU/RAM与盘数的比例,是支撑全SSD的一个必要条件。

2.2.3  VTL已经成为备份软件厂商的傀儡

VTL也算是一种外置存储系统。VTL这个东西已经赖乎乎的存在了很长时间了,其幕后始作俑者其实就是一些主流的备份软件厂商。这些垄断厂商在操控各种物理带库、磁带机的磁带和机械手方面拥有大量积累,一般厂商较难掌握,所以这套接口宁愿保留,哪怕介质从磁带换成了硬盘,操控和数据接口也要保留。对物理带库体系的操控、对上层应用的数据接口以及备份之后数据的生命周期管理,这三大件就是这些厂商的生存根基,他们不想失去任何一个。

仅有少数的愿意创新的新型备份软件厂商或者初创不久的厂商才会去推广纯D2D备份,更加专注于上层的数据备份与恢复管理,探索创新。这些厂商在物理带库、机械手等方面基本没有积累,(作者:冬瓜头(张冬),《大话存储》及《大话存储2》作者)那么他们就是让VTL彻底退位的人。而随着存储厂商越来越看清市场,在数据保护方面发力的厂商会越来越多,传统体系下的壁垒一定要被冲垮。

而后续低规格大容量的Flash作为备份介质是必经之路,如果那时候的数据和操控接口依然沿用传统物理带库的SCSI流式指令以及机械手控制指令,就非常说不过去了。Flash是可以随机寻址的,控制Flash选择和读写的是片选器(Chip Enabler)以及ASIC芯片,都是电子器件,何来机械手?任何方面都说不过去。

VTL接口被替代之后,下一步就需要数据记录格式的替代,让备份之后的数据直接可以看到,直接可以从备份介质中恢复到源端,而不是使用物理磁带的格式去读写和存放。

所以,传统物理磁带以及VTL备份介质体系也即将走向终结。

2.3 云计算架构最终会将存储“埋起来”

既然传统存储盒子或将枯萎,那么是否可以做点高层的脱离盒子的东西,比如虚拟化,数据迁移等数据管理方面的“智能一些的盒子”或者方案呢?很不幸的是,这条路可能也将会被堵了。

2.3.1 阵列能做的,云几乎都能做

什么是云存储或者存储云?我是这么定义的,传统外置存储就是用几个控制器来挂起后端的磁盘扩展柜,然后对外提供存储空间;而存储云就是用一堆服务器上面跑的软件当做控制器,挂起后端一堆异构厂商的各种存储介质包括JOBD、双控或者多控阵列、NAS、VTL、带库等等并向外提供各种不同访问方式的存储空间。(作者:冬瓜头(张冬),《大话存储》及《大话存储2》作者)服务器集群上跑什么软件?当然是某种分布式卷或/和者分布式文件系统,这种系统具有原生的异构支持,不管底层使用谁家的阵列,都可以被收纳为存储资源。当然,像传统阵列一样,仅仅有了存储空间就够了么?存储云当然还需要做各种数据管理功能,比如容错、快照、Thin、重删、动态分级、克隆、迁移、远程复制、容灾等等。这些特性,在一个分布式文件系统或者卷管理系统上是完全可以做的,但是一些比较耗费计算资源的比如重删,则可以下放给底层设备来做。云为何不信任,或者说不能够信任底层设备上原配的这些功能呢?答案很简单,就是异构支持。存储云中总不可能只有一家设备厂商的设备,而不同厂商的设备之间的这些特性又是不兼容的,所以只有在上面的虚拟化层,也就是分布式数据管理层来处理这些特性,此时,外置存储系统就是彻彻底底的一块大硬盘,不管你是EMC Symmetrix还是HDS VSP/USP,还是JOBD,甚至或者是服务器本地磁盘,是否是Scale-Out架构甚至都已经没有意义,因为上层的虚拟化层自己可以Scale-Out。对于云来讲,或许只有磁盘有意义,其他比如JBOD、控制器、Scale-Out架构之类,云统统不在乎。

2.3.2 观VMware动作,体会后续趋势

当年EMC收购VMware,谁也不曾想到VMware会有今天的市值。如今VMware已经是云架构中的核心角色。既然已经成为核心,那么就有权利发布一系列接口让别人来适配他。从第一个比较系统的VAAI,到第二个VASA,再到将来会发布的第三代API。

在第一代VAAI中,VMware只是将一些原本由Hypervisor做的数据操作工作下放给了外部存储系统来做,提高效率,从其全名vStorage APIs for Array Integration就可以隐隐领会出VMware还是比较看重外置存储的,能够将重要任务交给它们。

而在第二代VASA(vStorage APIs for Storage Awareness)中,显然可以领会到VMware进一步控制外部存储的欲望,VMware需要了解到更多的外部存储的信息。做过底层存储开发的都知道,硬盘驱动程序会探知控制器后面所挂的硬盘的各种信息,包括容量、是否支持WriteBack模式缓存及具体类型、是否支持队列、最大传输单元等等。而VMware这套VASA接口分明就是做了硬盘驱动的工作,以便后续更好的对外置存储进行控制。(作者:冬瓜头(张冬),《大话存储》及《大话存储2》作者)显然,外置存储对于VMware,就相当于一块大硬盘。

而就在今年的VMworld大会上,VMware的动作已经显露无疑,VMware计划将vSphere环境中的存储管理和精简配置进行“根本性的”改变,无需再设置LUN、RAID组合NAS挂载点,VMware工程师Satyam Vaghani称新版API将使用工具如I/O Demultiplexer、Capacity Pool以及VM Volume。对于这第三代存储API的细节尚不知,但是从字面来看,第三代API将会对外部存储实现彻底的大统一,任何存储厂商在VSphere下都被同质化,谁也别想冒出来,那些传统的特性对于VMware存储虚拟层来讲,都是小儿科。

各厂商新产品的宣传噱头上,除了硬件规格之外(其实硬件规格大家都差不多),就是对固态存储介质的应用方案,再就是与云搭上边,也就是Thin以及VMware API支持。

综上,外置存储系统在经历了从服务器内置到外部独立控制器的进化过程之后,在虚拟服务器的召唤之下,其地位又回到了原点。

3、外置存储后续的生存和发展空间

这场残酷的严冬,对于国内外置存储厂商来讲,将会是一个异常难熬的过程。而那些专注于硬件上层功能、方案的存储厂商不会受到太大影响。比如备份容灾等,不管底层采用什么介质、什么架构,用户对备份和容灾的投入将是持续的。而且当机械操控协议彻底被废止,也就是VTL真正被淘汰之后,备份软件厂商就会更加专注于数据的管理,而且门槛会降低很多,会催生更多竞争者进入,而不再是几家在机械操控协议和兼容性方面有多年积累的厂商把着那千年陈糠来垄断市场。当然,这些厂商不能只在备份容灾方面发展,“存储”这个词不仅仅是硬件盒子+备份容灾,比如还有数据管理、应用存储优化等等

做盒子的传统外置存储厂商怎么办?这类厂商生存在IT生态链最底层,铺开大摊子,拼规格,拼价格拼量,备货、物流、维护,好不热闹,可是这一层却是利润最低的。而现在他们的死敌固态存储介质正在茁壮成长,IT大架构也在向着云方面发展,他们只能望洋兴叹。

传统存储厂商转型迫在眉睫,尤其是那些专注于生产存储产品的厂商,要么做成全球最大的存储盒子加工厂,以量取胜,要么就往上走,让存储设备直接体现业务价值,而要往生态链高层迁徙的话,就必须脱离做盒子的老思想,盒子里面有什么东西能解决用户什么问题,才是最重要的。

而如果想傍着云来做些东西的话,存储+云就是所谓“云存储”?“云存储”其实并不存在,任何形式的存储都是云存储,包括单块硬盘。存在的只有存储云。前者是依然想以存储为中心,而这可以说是逆势而为。而存储云则是以云为中心,也就是以将任何形式的异构存储空间整合利用的云虚拟化层为中心。如果对这一点理解存在偏差,认为做云存储就是去做一款新形态的分布式存储硬件,那基本上还是走老路。

但是如果去做存储云,也就是专注于虚拟化整合,那么这与存储硬件就基本脱离关系了,而完全转向了数据中心管理软件,或者说通俗点,网管领域,或者说的专业点,自动化运维领域。

最后,不得不说一下赛门铁克。其实是赛门铁克所收购的Veritas的Storage Foundation(SF)产品,这东西真的是个很好的胚子,他可以适配任何异构存储,将底层存储空间虚拟化成大的统一存储池。但是SF貌似生错了年代,太超前了。当云架构有这个诉求的时候,机会就摆在眼前了。赛门铁克已经拥有了多厂商支持的平台,(作者:冬瓜头(张冬),《大话存储》及《大话存储2》作者)那么对于他们来讲,开发一个用于云底层的大统一的存储基础架构从而为各种虚拟机Hypervisor提供底层资源是水到渠成的事情,我们就静观其变吧。

小结

后方被固态存储介质追杀,前方则遭遇云架构的围堵,传统外置存储,将会走向非常窄的道路,需要外置存储的场景将会仅限在少数行业的少数系统中,仅有少数厂商挣扎存活,偃旗息鼓,然后漫长的等待着新技术新革命时代的到来。更有甚者,单纯存储厂商或被IT巨鳄们收购也不是没可能。

而我们这批所谓“做存储的”,出路在何方?看来我还是回家呆着继续大话存储误人子弟吧。

(10个打分, 平均:4.80 / 5)

雁过留声

“传统外置存储系统或将迎来严酷的冬天”有92个回复

  1. ABC 于 2011-10-18 6:06 下午

    很好的文章,看到最多的是如下的文字“作者:冬瓜头(张冬),《大话存储》及《大话存储2》作者”

    :)

  2. 根本不相干 于 2011-10-18 6:11 下午

    顶一个,这是我看到的在存储领域说真话最多的一片文章,也是对外置存储困境分析理解最深刻的文章。

    冬瓜头,你比前面那个自吹自擂的J.H强多了

  3. IP调试民工 于 2011-10-18 6:23 下午

    写的不错。

  4. Siri真棒 于 2011-10-18 6:24 下午

    说的似乎有些道理,但通篇错误百出,得出的结论很难让人信服。
    随便说几句:EMC的VNX不是scale-out的
    为什么大家迁移到X86?因为X86性价比高,ASIC的成本肯定比它高。没有外置存储,云计算的基础在哪里?云里的数据难道是飘在空中?

    本来想买本你的书看看的,看了这篇文章,觉得这个钱可以省了

  5. 难道是广告软文 于 2011-10-18 6:28 下午

    估计是广告软文,《大话存储》及《大话存储2》作者”

  6. 冬瓜头 于 2011-10-18 6:31 下午

    抱歉,加入著作权信息是为了防止一些无良媒体疯狂剽窃转载,并且隐去了作者名字和出处。

  7. GX 于 2011-10-18 6:39 下午

    支持一下,虽然已经在你博客支持过了。

  8. aaron 于 2011-10-18 6:47 下午

    云是什么?外置存储系统是什么包含了哪些东西?外置存储系统与列出来的产品之间是什么关系?冬天是什么包含了哪些东西?冬天什么时候来?耸人听闻,不作严谨推理,加盟娱乐圈合适,但不合适做学术,甚至做technical marketing都不合适。

    stay foolish, stay hungry

  9. any 于 2011-10-18 6:53 下午

    说实话,冬瓜头还是很有水平的,对存储理解很透侧,关键还能如此长篇大论讲解出来,很难得。
    有很多技术人很懂,但是讲不出来。
    弯曲里还有一位兄台-理客,也属于懂并且能讲解出来的选手,很难得。

  10. losingant 于 2011-10-18 7:32 下午

    从技术的角度分析传统外置存储系统的方向有其合理的推理,值得赞赏。但是一个产业领域,多数时候并不完全有技术所引导,有时甚至和技术完全无关。一个广为人知的例子就是Motorola的铱星系统,其卫星通讯技术远好于目前的2G、3G技术,但是市场证明确是完全失败的。 目前判断传统存储系统将进入寒冬,个人感觉为时尚早。文章如果能加入市场角度的分析,说服力会更强。

  11. symantec 于 2011-10-18 8:22 下午

    由于机械盘无法提供太高IOPS,不得不用几十块甚至上百或者数百上千块磁盘来堆出所需要的性能
    ————————————

    还嘴硬,说N8500的性能60W IO不是堆出来的,自己都露出马脚了

  12. 冬瓜头 于 2011-10-18 8:25 下午

    我没说过这话。8楼,你不要来诽谤。这次不想喷,包括5楼,都不喷。但是你要是歪曲事实,那我不得不澄清。

  13. ZC 于 2011-10-18 8:26 下午

    云存储就不需要SAN了?直接管理服务器后面的DAS的存储就行了? 不是很懂,学习一下。

  14. 冬瓜头 于 2011-10-18 8:31 下午

    10楼,并不是说不需要SAN了,而不是不一定非要SAN。

  15. 十月 于 2011-10-18 9:44 下午

    太长太长,没有摘要

  16. Jack_Wang 于 2011-10-18 9:57 下午

    云对外置存储确实是冲击最大的

  17. 根本不相干 于 2011-10-18 10:46 下午

    冬瓜头的文字还是有货的,但这家伙行文风格偏夸张,如果抱着挑毛病、PK的态度,一定能找出N多问题。

    不过本文的很多分析还是很值得看,尤其是如果深入读过Google GFS/Bigtable,Amazon Dynamo论文,也分析过大ICP如Facebook,新浪,腾讯,土豆优酷的存储架构,以及XIV、Extradata的一些实现细节的话,再来看冬瓜头的文章,还是会引起很多共鸣的。

    所以,结论很大程度取决于出发点和态度,这话真是没错。

  18. 麦克 于 2011-10-18 11:27 下午

    干货很多,冬瓜头还是比较牛的
    不过,预测是一回事,实际是另一回事。
    外部存储系统适合企业,而云适合互联网,各有各的使用范围,当然,从长期讲,云会慢慢侵占原来属于企业的地盘。

  19. 笔直 于 2011-10-18 11:35 下午

    写文章要多少时间?羡慕。有何训练方法,看围脖时间没有的飘过~

  20. To 冬瓜头 于 2011-10-19 12:07 上午

    冬瓜头你现在什么部门?产品规划?传说中的MTS部门?

  21. 理客 于 2011-10-19 12:37 上午

    不懂存贮,文章很好,冬瓜头曾从化学转到物理存贮,再看首席的转型,虽然还不能说成功,但至少是一种可能,所以还可以不用太悲观

  22. 南瓜头 于 2011-10-19 1:55 上午

    冬瓜头,你现在在华赛?

  23. test 于 2011-10-19 2:41 上午

    看完本文,迅速的给我扫了个盲。
    很想了解下其中的背板+cpu板+IO板的相关内容,有推荐的资料吗?

  24. 冬瓜头 于 2011-10-19 4:34 上午

    4楼,你说的什么“看了文章就不买了”,与之前喷子的喷法如出一辙,我也不想反喷你,没意思。但是针对你表达的具体地方,我回答一下:

    VNX算是scale-out,只不过是松耦合而已。
    x86还是asic,各有各的场景,自然不用说。
    并没说云就不用外置存储了,但是云不一定非要外置存储,而且有些商用共有云本身确实也不使用外置存储。只是云会弱化外置存储的地位。

  25. 土人 于 2011-10-19 4:38 上午

    1、大话2 重复大话1的内容太多(至少300p),当入门教材不错,有时间麻烦出本DEEP点的
    2、云应该是聚合多种系统的复合管理平台。每一种系统都会在其中有勇武之地。
    3、至于SAN是否能被淘汰,前几年电台的听众数量直线下降,可随着私家车增多和塞车加剧,现如今电台的日子不也是很滋润吗。我想SAN也会一样的。
    4、Flash卡虽好,但也有弊病比如接口的改朝换代、复合应用、成本等,SAN解决这方面问题不错的。
    5、拜托,少做点广告,要吐了
    最后,只要冯 诺依曼架构不变。我们做存储的就会有饭吃,只不过换换菜系罢了。

  26. 冬瓜头 于 2011-10-19 4:50 上午

    只评24楼第一句,不够deep的你往后翻,我就不信你还说不够deep,如果还认为不够,那请你给出什么是deep,前提是在不贴代码的条件下。如果说帖代码才是deep,别看大话存储了,直接去看另一本,敖青云写的,存储代码注释。

  27. 土人 于 2011-10-19 5:32 上午

    什么是deep,我想想。。。。。。。理论联系实际 算不算。

    敖青云? 谢了,找找看去

    评评其他4条吧,毕竟弯曲评论嘛

  28. zeroflag 于 2011-10-19 6:13 上午

    尽管不懂存储,但是从行文感觉还是有点语不惊人死不休的夸张。目前的应用双击热备,包括虚拟机迁移等应用场景的成熟方案还是用外部独立存储的,而对这些方案的改变并不是客户能够轻易接受的。正如冬瓜头自己所说,云不是完全不用存储,而是可以不一定用存储。

    而类似于GFS一类的东东,是只有google才能玩的起的。和阿里巴巴的一位在微博上讨论云的时候,她(没错,是她)反复强调,不要总看google这种企业,大多数企业还是要用商业解决方案的。

    个人的一点外行观点,在现有成熟解决方案没有大的变化之前,外部存储不会轻易退出主流舞台,尤其是在企业应用领域。而真正能对外部存储厂商造成毁灭打击的,可能不是SSD,而是开源代码。如果可以通过成熟的开源代码+X86服务器+多硬盘轻易的构建出一个功能全面并且稳定外部存储来,那真的很多人不会去买外部存储了。

  29. 冬瓜头 于 2011-10-19 6:18 上午

    27楼zeroflag,双机热备完全可以 不用共享存储,可以是两个独立主机通过镜像实现,很成熟的技术,也有很多产品。是的,开源的存储平台很多,openfiler,opene,comstar,zfs,都可以轻易构建,文中都提过,但是稳定性需要自己去保障了。总之并不是一方面在作用,多方作用,合力就给传统外置存储带来巨大威胁。

  30. alec 于 2011-10-19 6:44 上午

    冬瓜说的几点都很到位,是做存储但是又跳出存储来看业界趋势的人。
    1.x86芯片一定是趋势,哪怕劣币驱逐良币。
    2.外部存储会有生命周期,虽然现在还是初秋,但冬天必到。
    3.外部存储对关系型数据库等实时响应要求较高的业务,有存在的空间。
    4.市场是被教育和引导的,在还能赚钱的时候,厂商是不会主动拆台的,但趋势一到,翻脸快过翻书。
    5.再强调一次,现在还是初秋,看不到冬天是正常的,但不相信有冬天就自负了。

  31. Liuben 于 2011-10-19 7:49 上午

    我怎么看了后反而觉得外置存储方兴未艾啊,大数据刚刚爆发,就喊冬天来了。SSD解决的问题仅仅是冰山一角,云很多构建在传统外置基础之上的,再说也是刚起步呢。

  32. 岁月如烟 于 2011-10-19 7:53 上午

    VTL咱就不说了,现在的云存储或者存储云一搞就是几P甚至几十P,用SSD?
    无论是san,nas,das,最终都是硬盘堆起来的,其实这就是存储的硬件市场,当然,看上去象服务器,或者说硬件的技术含量会越来越低,软件越来越重要,价格嘛,不说了。
    就目前的格局看,SSD能够取代一部分对性能要求高对容量要求低的市场,仅此而已。
    至于未来,我认为大容量存储真正的革命是材料革命,比如有些牛的厂商可以用1U来保存1P的信息,当然,还需要很多时间。
    不知道我的观点对否,冬哥?
    另外,不要把版权看得那么重,文章写了有人读,本身就应该很知足。建议写书薄一点,大家的时间都很紧,你一本书弄900多页,这不想整死人吗?

  33. 根本不相干 于 2011-10-19 8:07 上午

    大数据正是外部存储式微的关键推动因素之一,其集中机头控制器的架构难以支撑海量数据。

    其实冬瓜头如果行文委婉一点,估计抛砖的不会这么多。比如说:在新一波大数据到来的浪潮里,外置存储系统只能做一个看客。严酷的冬天估计还早,就像IBM没赶上PC浪潮,Wintel占尽风头,但IBM大小型机仍然有市场尽管份额不断缩小;微软没赶上互联网浪潮被Google占尽风头,但微软传统业务收入仍然平稳;Google没赶上SNS浪潮Facebook风头正劲,但Google也并未显颓势。

    所以海量数据时代的到来不会立即给传统SAN带来多少寒意,只是它们眼巴巴看着吃不成,但原有自身业务应该暂时无忧。当然随着分布式云存储技术逐步成熟,的确会慢慢蚕食它们的份额,不过相当缓慢,看看X86对小型机的替代速度就知道了,非常慢但的确在发生。不过,经济衰退往往会加速这一进程,就像01年和08年股市大跌都对小型机造成致命影响且其份额在经济回暖后不会反弹,很有意思,这种切换是单向的。

  34. dongbinghua 于 2011-10-19 8:32 上午

    冬瓜头在华三做过存储么?

  35. 冬瓜头 于 2011-10-19 8:36 上午

    30楼,计算机世界付了稿费,我发出来也争得了编辑的同意,人家付了钱的。不要轻谈“不要把版权看得那么重”,除非你把自己的劳动也这么看,认为被更多老板剥削是你的荣耀,那我没的说。

  36. dongbinghua 于 2011-10-19 8:41 上午

    冬瓜头看看,家用存储市场发展前景如何?

  37. 理客 于 2011-10-19 9:01 上午

    冬瓜头的立论技术是新的存贮介质,比如SSD会因为TCO低替代老的存贮系统,从历史看,是一定的,只是时间可能没人能拿准,就像nokia如此迅速的退出手机市场如此大的历史舞台一样,如果能准确预测,就不会有Jobs的apple了,同样apple衰是一定的,但何时会衰也很难说

  38. 陈怀临 于 2011-10-19 4:28 下午

    一大早,试图把冬瓜的文章静下心来看一遍,但是又失败了:-)。点评一下:
    --你的文章受华为影响比较大。这样的好文章在华为估计有几个T:-)
    --《弯曲评论》里工程师比较多。如果能写的再深入一点就会更好。

  39. 胡不才 于 2011-10-19 5:35 下午

    坛子里不是很多人推崇ARM,怎么没有人来和冬瓜喷喷?我刚看了最新的Cortex a15,低功耗,省电,4核,拿来做外置存储服务器那应当说是钢钢的。1个T的硬盘现在就70刀,什么云存储250G一年也要70刀吧。我看外置存储的春天就要到来

  40. Mansfield 于 2011-10-19 5:49 下午

    2008年的存储界还有另一件大事,本文笔者的专著,一本里程碑式的著作《大话存储–网络存储系统原理精解与最佳实践》出版了,它是第一本将存储系统基本概念和原理清晰透彻进行表述的存储书籍,在业界引起了广泛好评,让不计其数的初学者快速入了门,为国内存储行业迅速孵化了一大批存储潜在人才。两年后,《大话存储2》也顺利出版了,大话2厚度超过900页,可以说是存储界前所未有之鸿篇巨著,其内容涉及了存储技术的方方面面,甚至在国内学术界也获得了高度评价,并且成功进入了各大院校的专业课程教材体系,同时也成为了各大国内集成商以及存储厂商研发人员手头必备的书籍;同时也受到不少美国硅谷存储界人士的好评。
    ~~~~~~~~看到这句话的时候,我情不自禁的吐了!!!
    前两年偶然在IBM的销售清单里发现了X3650可以支持6块硬盘,并且单盘容量超过450G,当即决定用此服务器来跑内部那些中小型应用。性能够强、存储够大,价格够便宜,剩下的只是要解决数据保护的问题了。

  41. Jack_Wang 于 2011-10-19 6:05 下午

    帮青云打个广告:存储技术原理分析:基于Linux 2.6内核源代码

    通过对linux 2.6内核源代码的分析,详细讨论存储技术的内在实现原理。分为三条主线:解释pci设备、scsi设备以及块设备的发现过程;跟踪存储i/o路径,即用户对文件的读/写请求怎么通过中间各个层次,最终到达磁盘介质;此外,还简要介绍主机适配器、块设备驱动以及文件系统等编程框架。

    想了解存储技术细节和实现的同仁推荐看看

  42. 胡不才 于 2011-10-19 6:51 下午

    青云是谁

  43. 冬瓜头 于 2011-10-19 6:57 下午

    “看到这句话的时候,我情不自禁的吐了!!!”
    哇哈哈哈,那是你还不习惯这种风格,习惯就不会吐了,第一次都会吐。

  44. 根本不相干 于 2011-10-19 7:19 下午

    我现在对这方面的深入技术分析感兴趣,不知哪位能提供些线索买到相关书籍:当一个IO请求从文件系统开始,穿过了由各种逻辑块(DM,RAID…)、物理块(SATA,SCSI…)、网络块(iSCSI,FC…)组成的循环嵌套组合后,各个环节的IO Request Size、条带块度、条带深度、数据交织方式设置对不同IO模型的性能影响。

  45. ABC 于 2011-10-19 8:40 下午

    回来看看,评论里干活不多,楼下的继续啊。

  46. Siri 于 2011-10-19 9:03 下午

    自己不懂没关系,跳出来骂人家喷子就没素质了
    你给我找找,哪个人告诉你VNX是Scaleout了?

  47. tom 于 2011-10-19 9:03 下午

    900页,冬瓜你真能写啊!!

  48. any 于 2011-10-19 9:42 下午

    冬瓜头文章总似重磅炸弹一样,在弯曲里总能激起层层浪花,评论轻易超过40以上,就冲这一点,希望冬兄多发文章大作,弯曲里也需要亮点和人气啊。

  49. 冬瓜头 于 2011-10-19 9:47 下午

    “青云是谁”
    青云姓敖,名青云。存储界较早研发人员。其专著名称上面兄弟也给出了。主要从源代码来讲述存储IO路径。

  50. 冬瓜头 于 2011-10-19 9:52 下午

    44楼根本不相干,也To 所有人。大话存储2之所以被尊为存储界经典,是有它道理的。44楼的问题,只要看过大话2第19章的人,就不会再拿出来问。这一章名称就叫“系统IO路径”,注意,是“系统”,而不单是“存储”。去看书吧,说多了都是白搭。所以,很多人基本都是在人云亦云,书没看几页,喷了不少。当然,不是指44楼。

  51. 根本不相干 于 2011-10-19 9:55 下午

    我看过了,还是有些有些细节没得到我想要的。当然也许我看得不够仔细:)

  52. 冬瓜头 于 2011-10-19 10:09 下午

    可以详细列出来一些细节,我尝试回答。

  53. aaron 于 2011-10-19 10:25 下午

    大约10年前,有一个学妹刚毕业,我那时也好为人师。一边吃饭一边晃荡自己的“半桶水”,其中一句话让这个学妹至今把我当作怪人,但至今看来仍然是真理:人一出生就只有死路一条。

    冬天一定会来,这是真理。可哪个产品哪个行业没有冬天?问题的关键是,冬天什么时候来什么时候过去?什么是冬天的特征?作为从业者,如何安然过冬?如果不具体化一些,没有可实践的特点,真理就成了废话。

    其实我说的这些也全是废话;大家不用付钱:)

  54. 冬瓜头 于 2011-10-19 10:54 下午

    那就送53楼一句话:“废话你(学)妹”去吧。你这种喷法与之前的喷法完全一致,及,作者给出A,你让作者解释A是由什么组成的,然后又让作者解释组成A的部分每个部分又是怎么样的,只要没给出,那就是废话。我或许可以总结一下弯曲喷子的套路,也写一篇文章。

  55. aaron 于 2011-10-19 11:02 下午

    看来首席还得专门准备个website给骂人的垃圾用。

  56. arsane 于 2011-10-19 11:05 下午

    如果一直有人说,为什么不从自身找找原因呢?

  57. arsane 于 2011-10-19 11:17 下午

    - 行文条理不清晰
    - 有面但是对点又照顾不到,没有细节
    - 尝试讲的东西太多,结果适得其反
    - 用语过于夸张和口语。

    总之,我读你的文章的时候气不通…

  58. tom 于 2011-10-19 11:21 下午

    冬瓜要淡定些才好

  59. wantofly 于 2011-10-19 11:58 下午

    认真看了看,的确有不少值得学习和借鉴的东西,谢谢了。

  60. Siri 于 2011-10-20 12:07 上午

    看了50楼,存储界经典谁封的啊哈?楼主还真是老鼠上称钩啊

  61. 理客 于 2011-10-20 1:09 上午

    很佩服冬瓜头强悍的战斗力,强人或者做强人的时候总是有自己坚持的风格或者说偏执狂一点的地方,这里的PK者都是有自己的实力和见解比较讲道理的,很好,基本上没有随意出口就伤人的

  62. Atom 于 2011-10-20 2:12 上午

    冬瓜头做技术应该是不错的。不过冬瓜头这脾气,我很佩服冬瓜的领导,一定是个智且有容者。

  63. 根本不相干 于 2011-10-20 6:27 上午

    冬瓜头多谢!回头我整理一下。

    to 上:我和你有相同的观点。10年前我大概也是这个年龄,也和冬瓜头一样性格。我的领导就是这样,不会去找我的片面和偏激,只会发觉其中的可取之处予以支持鼓励,想起来我心存感激。

  64. 冬瓜头 于 2011-10-20 7:22 上午

    60楼,我封的。而且对你来讲称经典绰绰有余了。而且我夸下海口,你可以说我不自量力,相同当量的存储技术书,6年内不会再有人写出来,如有,我拿一本大话当零食吃掉。我说这些“大话”,并不意味着从此飘飘然,我依然保持着学习的态度。我,至少你没见到我,没和我公事过之前,仅凭个把言论或者表象,你根本不会了解我这个人。

  65. wenfish 于 2011-10-21 4:56 上午

    楼上的争论,看了顿觉过瘾,冬瓜头,我要去买一本《大话存储2》了。

  66. 鸟生鱼汤 于 2011-10-21 7:20 下午

    对这篇文章里的最后一句话,我相当的同意

  67. alex 于 2011-10-22 6:50 上午

    你无法战胜一个CSB一样,因为他会把你的智商降到同他一个等级,然后用丰富的经验打败你!!

  68. 胡不才 于 2011-10-22 7:34 上午

    冬瓜,谢谢对青云的答复。

    任何人做任何事在一定阶段上都会遇到天花板,什么叫成就感,那就是无敌的感觉,英文叫做invisible。这个感觉非常的好但是,如果你想突破它,再上一个新的台阶,一定要平常心,低调和虚心。

  69. 胡不才 于 2011-10-22 8:32 上午

    not invisible but Invincible!

  70. liuxy 于 2011-10-23 7:37 下午

    文中谈到了虚拟化,就从虚拟化这个角度探讨一下外置存储的必要性吧
    在VMware虚拟化部署中有一个非常重要的概念,就是vMotion,基本架构是N台物理主机后端挂一个共享的外置存储。虚拟机文件存储在这个共享的外置存储上。每台物理主机都可以访问到存储上的虚拟机文件。虚拟机可以在任何一台物理主机上运行,也可以在线的从一台物理主机迁移到另外一台物理主机。这就是vMotion可以实现的前提条件。
    如果不使用SAN,试问一台物理主机能否快速访问另一台物理主机上的虚拟机文件?
    从这个角度上来看,外置存储从来没有什么冬天。
    正式由于云计算的兴起,外置存储将迎来一个灿烂的春天

  71. 星空 于 2011-10-23 11:04 下午

    没有看过你的大话存储,不过这里好像很多人都看过,于是去翻了翻概介。总体来说,还是不错的,说得比较通俗。我一直认为能把事说明白还是不错的。看本帖,有自己独立的观点,相信你是潜力股。

  72. 秦伟强 于 2011-10-27 4:55 下午

    学Linux的小学生漂过,看大人物说话涨涨见识,昨天下午图书馆上了一本新书,我立马发现就借了,9月份刚出的,就是冬瓜说的那个 敖青云的 《存储技术原理分析》,讲的2.6.34内核,对于完全自学的我来说是宝贝,搜那本书时知道了 “冬瓜”大哥的大名,今天“冬瓜”居然提到了那本书,应该,呵呵,有价值阿,起码对我来说很有价值。中国牛人多了,中国才能强大,都加油!!加油加油,我也加油学Linux

  73. 冬瓜头 于 2011-10-28 6:58 下午

    72楼,《大话存储》和《大话存储2》没一起借着?光看代码你会疯掉。

  74. comments 于 2011-10-29 6:42 下午

    冬瓜头文章里说的那个去IOE的就是淘宝,这个项目已经成功结束,庆功信都发出来了。据说去完之后成本降了两个数量级。
    传统数据库厂商和存储厂商,比如oracle和emc就是典型,面对新兴市场特别是互联网公司的需求不做为,是导致各种专门解决这些问题的小公司兴起和互联网公司自己攒解决方案的主要原因。
    28楼不知道和阿里集团什么人聊过,现在国内玩gfs/big table的公司不要太多,而且很多家都有自己根据google的那几个经典论文从头搞的实现方案,通通是DAS。
    大家说的真正意义上的云存储需要PB级容量的那种,我不了解,但具体业务相关的集群上纯SSD是没有问题的。我见过一个总共用了560块160GB SSD的小集群。

  75. comments 于 2011-10-29 6:54 下午

    再多说几句,大家千万别总抱着旧时的观念不放,传统存储厂商面对的客户需求现在正在剧烈变化中。目前这些互联网公司实现所谓PB级的云存储时最主流的方案其实是hadoop/hdfs,就相当于在用gfs了。基本上所有的离线计算都由hadoop搞定了,这些大型的集群每个一般由2K台以上的服务器组成,相当于是一个存储-计算一体化的方案。这些和EMC之流是一点关系都没有的。

  76. zhaozx 于 2011-11-08 6:10 上午

    我觉得冬瓜头可能对网络不太懂,因此没有理解真正的云存储的内涵(拜读了你的大话存储2),其实无论FCOE,还是ISCSI,本身没有实现云存储机制,必须对其扩展,必须实现分布式存储,首先必须实现信令和数据通信分离,和通信技术SIP一样,信令通信只是活动数据源的位置,实际存储数据直接通过信令直接存储,而不是现在都是通过机头处理。可以设计一个想SIPgateway的设备如SISC proxy,客户端首先和他通信,获取需要读写的位置,客户端直接与存储通信将数据写入,然后通知proxy,这样实现真正的分布式处理。

  77. nothing 于 2011-11-08 12:50 下午

    没有任何贬低的意思,同意楼主的说法
    当年听说大话存储很热,特意买了一本,
    看完后很失望,废话太多,适合做科普读物

  78. mpc8240 于 2011-11-08 1:46 下午

    拜读了,获益不浅。
    自己总结一下的话,冬瓜头的意思不是说外置存储要消失了,Big Data的时代可以说刚刚开始,对存储的需求会有爆发式的增长;而是外置存储会同质化。因为云存储的兴起,存储管理的智能会趋向于云端,所以对独立外置存储设备的要求会降低,除了价格便宜量又足。Profit Margin的降低对美国厂商是致命的,但对于国内厂商倒未必是坏事。Flash的发展到不见得是什么致命问题,EMC/NetApp也可以做固态存储,还有规模优势?

    其实这个趋势很象OpenFlow?依港控制平面智能逐渐从网络设备脱离出来集中到SDN Controller上,结果网络设备变成大白菜。当然,罗马不是一天建成的。做存储/网络设备的筒子们还有的饭吃。:)

  79. awei 于 2011-11-08 6:12 下午

    冬瓜头的文章写的通俗易懂. 适合菜鸟. 不适合高手.

  80. awei 于 2011-11-08 6:17 下午

    一个文件系统方向的博士,整天抱着一本大话存储,不去看论文,会被鄙视的.

  81. miki 于 2011-11-09 4:35 上午

    awei你也就拿个论文装逼,冬瓜头十年行业经验岂是你能比得了的

  82. 冬瓜头 于 2011-11-10 7:40 下午

    To 76楼。可能有误会,可能我表达不太清楚。

    “冬瓜头不懂网络”,我当年可是Net130网络技术板块版主。

    “其实无论FCOE,还是ISCSI,本身没有实现云存储机制”,无论是本文还是大话存储中,都没有这样说,不知道兄弟是从哪些文字里面看出这个论调的呢?《大话存储2》最后一章,讲述了我对云的理解,不知道是否方便指出第几页第几段你不认同?我们可以具体探讨。

  83. 冬瓜头 于 2011-11-10 7:43 下午

    To 80楼:
    一个文件系统博士,当然要研究透彻文件系统。我是这么看的:大话存储也要研究,因为大话存储里是对主流存储界的技术、架构全面描述的,不仅要磊砖头第一,明白整个大楼的设计心里也要有谱,这样会反过来促进你制造和磊出更牛逼的砖头。

  84. 冬瓜头 于 2011-11-10 7:45 下午

    To 81楼:
    其实没必要这样,我在存储领域尚未有10年经验。可以这么说,同样是10年,有人混了10年,也可以说10年,出来卖一卖。但是有人真是拼了10年。我希望到了10年时候,我是后一种人。

  85. 冬瓜头 于 2011-11-10 7:46 下午

    To 77楼:
    大话1里面确实有废话,大可跳过。大话2里废话依然保留,但是干货也是不少的。科普的话可能不太合适,里面很多东西比较深。科普版本我后续看看是否有精力出个大话0。

  86. 冬瓜头 于 2011-11-10 7:50 下午

    To 78楼:是的。其实我写的稍微偏激点,无非是吸引一下媒体眼球,好发表赚点稿费而已。居安思危其实就是这个文章要表达的一个观点,固态存储迟早要革命,就像mp3革掉录音机一样,可能一眨眼的时间,半年就完成了。这个进度会越来越快,等你反应过来的时候可能都不知道怎么挂的。

  87. jebtang 于 2012-05-11 8:36 上午

    看了两边,实在没有能力看完,中间的硬伤太多,而且比较害怕华为的文风。这个文件的目的不知道是什么? 我能看完的前一部分,花了比较长时间在绕来绕去,不知道是因为要加字数赚稿费,很简单的从Scale up刀Scale out,主要是CPU最近10年的发展远远大于HD和DRAM,这个简单的问题都要花那么久。至于后面的一堆云,没仔细看。觉得太太啰嗦。

  88. jebtang 于 2012-05-11 8:38 上午

    才看到是2011年的文章,不知道Greader怎么吧他给列出来了,罪过罪过

  89. 冬瓜头 于 2012-06-11 11:36 下午

    有啥可罪过的?是有赚稿费的考虑。期待jeb哪天给业界普及一下atomic write之类的,用通俗语言。

  90. terrs 于 2012-06-30 6:05 上午

    作业从业人员,作者视野的开阔和积极的思考令人印象深刻。

    另一方面,复杂的外表来自内在简单的基本规则,我们自己想要把握潮流,也不能忽视对基础的严谨研究和实践。

    这里对技术争论的矛盾在于观点不同,从基础的观点和从应用市场关点的矛盾。不要伤了彼此的激情,呵呵。

  91. 一帘幽梦 于 2012-07-06 12:46 上午

    存储了解不多,不过对于技术人员能通过各种途径把自己的见解诉诸于弊端对于技术交流,发展总是有益的,至于观点和认知上有差异是很正常的,对事不对人。

  92. Eric雪菲 于 2012-07-10 5:05 上午

    1.冬瓜头还是讲出了一些东西的,但是这个文风让人看得比较痛苦。
    2.趋势这种东西很难说,只能探讨一下。我认为外置式存储的生命周期还长,远未到2012

    3.存储本来是细分市场,而对存储行业来说,不同的场合不同的应用市场有完全不同的要求,云不能解决所有问题,所以我认为云存储或者存储云不会鲸吞所有市场。同样SSD在成本降到竞争力足够之前,也无法威胁到海量数据的存储市场