华为赛门铁克N8500集群NAS系统刷新SPEC记录
作者 黄 岩 | 2011-04-18 19:43 | 类型 弯曲推荐, 行业动感 | 131条用户评论 »
|
尊敬的陈首席，存储界发生了一件大事。 下面这个独立评论员写文章，请参考。 (http://www.theregister.co.uk/2011/04/18/hs_specsfs2008_crown/) 陈首席，考验您判断力的时刻到了。如果弯曲评论错过了报道‘存储行业大地震’的机会，您将愧对‘首席科学家’之称号，也必将因此遗恨终生：） 【陈怀临注：华赛已经发展到对人民的首席赤裸裸的威胁。。。首席很生气，后果很严重。我决定，一定亲自赴成都去耍，吃垮华赛的粉丝群。。。。。。】 我现在担任N8500这个产品的性能专项SE，非常愿意在弯曲评论上与大家一起讨论NAS性能和SPECsfs2008测试的相关技术问题，特别是技术细节和调优方法。 黄岩 —–
华为赛门铁克N8500集群NAS存储系统在标准性能评估机构SPEC的 SPECsfs2008测试中性能全球排名第一，打破NFS和CIFS两项业界记录。此次测试也是华为赛门铁克自2009年获得最高测试结果后，再一次刷新SPEC基准测试记录，分别获得636,036 OPS和712,664 OPS的最高性能得分。 SPEC（Standard Performance Evaluation Corporation, SPEC®）标准性能评测机构，是国际上对系统应用性能进行标准评测的权威组织。SPECsfs2008是SPEC组织发布的面向文件服务应用的核心基准，衡量文件访问的吞吐量和响应时间，为比较不同厂商的文件服务器性能提供了一个标准的评测方法。目前已有18家主流NAS制造商通过该评测基准的验证，输出了核心产品的性能数据。 N8500系统属于华为赛门铁克推出的中高端Scale-out NAS产品N8000家族一员，该产品定位于中高端NAS市场。N8000系列集群NAS存储系统架构上采用了多节点全Active集群技术，所有的引擎节点均处在同一个集群，可以协同工作，并发进行事务处理，各引擎节点也可以同时访问同一个文件。其次，N8500系统最多可支持256个单一命名空间，每个命名空间最大可以支持10亿个文件。N8500系统最大可以支持16引擎节点，引擎节点的数量扩展可带来系统性能上的线性增长。本次发布的性能值是使用 8个引擎节点达到的SPEC测试数据，因此系统整体性能依然具有很大的扩展潜力。 华为赛门铁克科技有限公司副总裁范瑞琦表示：“N8500集群NAS存储系统具有高性能、可扩展性和可获得性的特点，是我们的旗舰型产品。我们一直致力于产品开发并持续保持竞争力，连续破纪录的基准测试结果也证明了N8500系统是业界最高性能的产品。与友商产品相比，N8500系统能够帮助客户采用更低的运营成本，而获得更高的性能”。 关于SPECsfs2008基准 | |
  (9个打分， 平均：4.11 / 5) |
工具箱
本文链接 |
|
打印此页 | 131条用户评论 »
雁过留声
“华为赛门铁克N8500集群NAS系统刷新SPEC记录”有131个回复
我是不是有职业病？盯着图，第一个想法是在找HA，而非线卡。以前看图是第一眼去看线卡。
奇怪，我为什么有这个变化？？？
我感觉与我去年一年摸无线基站和控制器系统有关系。。。
类似于： 过了一定的年龄，喜欢的女孩要是有涵养的，而非漂漂的。。。
我是今天突然发现自己这个转变的。对线卡不是像以前那样关心了。
呵呵，首席收到威胁了。
华赛的产品在性能上目前来讲都处于领先地位，不管是scale-out的NAS还是传统的Block SAN设备。
喔。。跟进。
威胁首席，太强大了，我们只能膜拜首席，不敢威胁。首席人到中年，关注的东西确实不一样。正文，华赛的产品强大啊，值得学习。
华赛的同学们最近比较high。首先是冬瓜头的“巨作”发布。然后又是N8500.简直是高潮迭起。
我来提一个技术问题： 你们有没有用PFS？
PFS指的是并行文件系统吧？用了的，是母公司symantec的VxFS，从下面那个页面可以看出来。
http://www.spec.org/sfs2008/results/res2011q2/sfs2008-20110311-00179.html
请首席帮忙把那个图暂时换成下面这个
http://www.spec.org/sfs2008/results/res2011q2/sfs2008-20110311-00179.png
上面那个图太旧了。
华赛的产品真的这么NB？真的啊？
别TM乱吹
存储从来都是 稳定第一，性能第二
对性能有如此高要求的，除了互联网用户，还有什么行业？
当年在阿里巴巴用这个产品跟人家PK的时候，一个单线程就能搞死一个节点，更郁闷的是居然IP不能漂移。
还有一些BUG本人就不在这里揭发了。
前端安装了SYMANTEC的SFS软件，后端直接映射过来的SAN，简直就是一个山寨货，还跟人家EMC比，哎，不知道在比什么
黄sir，please then。
集群NAS软件用的是Symantec的FileStore/StorageFundation。华赛现在硬件研发挺牛，可是软件研发似乎很弱。
请教一下黄岩，这个ops和iops是啥关系，可以换算的吗
to symantec，为啥说山寨呢，再说山寨也不是贬义词。emc的强在什么地方，拿出可靠性，功能等数据，举例说明嘛。
华赛的N8500系列跟其巫山云存储有啥关，都是基于Lustre改的吗？
to symantec，为啥说山寨呢，再说山寨也不是贬义词。emc的强在什么地方，拿出可靠性，功能等数据，举例说明嘛。
____________
EMC不强，只是招商银行里面全是EMC的设备，没看到华赛的设备而已，谢谢
能不能除以体积，再除以功耗
to symantec，这没有说服力呀，就产品比产品嘛，拿产品比市场占有只是营销手段吧，3年前android市场占有率还是零呢。
liuben 于 2011-04-18 10:06 下午 集群NAS软件用的是Symantec的FileStore/StorageFundation。华赛现在硬件研发挺牛，可是软件研发似乎很弱。
+++++++++++++++++++++++
上面的机框，直接用的ATCA架构的机框，是直接从服务器那边搞过来的。这个应该算是邓彪的功劳。
下面的存储是自己研发的，所谓高密度磁盘阵列，用的CPU就是X86架构芯片，内核用的SUSE9-10的核心，然后再加FC交换。BMC芯片用的是ARM架构芯片。
关键行业的关键应用才是王道
老黄中午睡觉估计2点才能起来，我就先来顶一阵子。大家关注华赛证明华赛正在往上冲，是好事情，不管是正面还是负面评价，或者误会。
说道EMC的nas，我只能说，架构上它不如N8K先进，如果说N8k是山寨，那么EMC的VNX也是山寨了，VNX就是拿着硬件规格升级的celerra机头挂起后面升级版clariion的san，一样的。集群nas最重要的技术是看其scale-out FS谁牛。毫无疑问，SFS远牛于VNX里那个至今不知道其名称的FS。
巫山是华赛CloudStor云存储底层的分布式文件系统，与SFS不是一个东西。与Lustre无关，如果非要说基于xx改的，这个谁也无法回避，大思想其实分布式文件系统都是一样的，包括GFS在内，你也可以说所有人都是基于GFS改的？这个就乱套了。
19楼，此言差矣。现在哪个家不是用x86，中高端，你列出来。EMC，HDS的新一代高端也都用的x86，包括死挺PPC的infortrend，下一代也会转向x86，大势所趋。存储不是一百块钱的wifi路由器，也不是交换机。
14楼，ops相当于数据库里的transaction per second。对于block设备一般用iops，对于nas设备，一个operation就相当于一次比如open（），getattr（），read（），write（）的发送直到执行成功的过程。对于block设备，也一样，不过是scsi指令cdb（command description block），比如一次reportlun，一次write，一次read的执行过程。 block和file本质上是同源的，都是对“数据”的操作，而数据本不应该分file和block的，都是bytes。
我那天就在想，存储相对于路由器的区别在哪里，最后想出来了，存储也是将io在前端后端之间进行转发的一个router，其相对于电信router的本质区别就在于在前后端之间，他有一个硕大的缓存，一旦被缓存插了一杠子，那么就注定了它不是一个单纯的IO router了。这是底层的区别，功能上的区别，它要实现各种各样的数据管理和前处理、后处理过程，而router基本上只forward。网络设备中的缓存不应该叫做缓存，而更应叫做缓冲，要求高实时性。这两个层面的本质区别，导致做存储和做安全是有本质区别的，包括cpu、ram，核心软件，上层软件等。
to hanx：这个ops和iops是啥关系，可以换算的吗？
我的理解是：
iops是SPC-1的说法，SPC-1一般用于磁盘阵列性能的一个基准测试程序，用来评价磁盘阵列每秒中能够提供多少磁盘块IO操作。
ops是SPECsfs2008的说法，SPECsfs2008是用来评价NAS性能的基准测试程序，是说NAS产品每秒中能够相应多少个文件操作请求。
很多中高端NAS产品是由两部分构成的：后端的磁盘阵列、前端的NAS机头。对于特定型号NAS产品，前端机头能够相应的文件请求数量跟后端阵列提供磁盘块操作数量是有一定比例关系的。
但是随着机头硬件配置不同，这个比例关系也会变化。比如，前端NAS机头配置更多的内存，那么就可以把更多的内容缓冲在机头的内存里面，那么在后端阵列性能不变的情况下，整个NAS产品能够相应更多的文件操作请求。
还是没看明白震在哪里了？
用磁盘击败了SSD的性能。
可靠性差多少倍？
不用Ssd,性能到六十万？机械盘的理论值乘于盘数量也不够啊
可靠性不差，关键看成本，$/OPS，＄/TB。
可靠性方面，EMC的VNX相当于8台独立的NAS设备，之间松耦合，failover时间很长。而N8K属于纯粹的Cluster FS，状态会在集群所有节点间同步，从架构上决定了可靠性更优。
EMC的VNX系列应该不属于Scale-out NAS吧，去年底EMC收购了Isilon，补齐了其在Scale-out NAS这块的空白。不知道华赛的N8K在架构上比Isilon的架构先进多少？
而EMC老对手Netapp至今好像没有看到在Scale-out NAS上有啥动作，只是以前听说其在搞基于pNFS的集群存储产品，有没有人知道更多的信息？
27楼，请看24楼。缓存的重要性。
to kevin，
我觉得可靠性这个东西不好证明，不像性能可以比数字。
另外要说震，指的是他把一个先天性缩放不好的应用(nfs/cifs)做的性能很高吧。
to冬瓜头，那用一个ramsan集群是不是就更高了？
Cache 自然是重要的，只是如果测试数据都是在cache 里跑出来的，那这个测试值还有很大的参考意义么？完全在考察内存文件的响应速度了， 随便用个Ramdisk也能跑出几十k的iops
Isilon属于分布式集群nas，N8K属于共享式集群nas。二者谈不上孰优孰劣。不过Isilon每个节点能接入的存储容量很小，Isilon的适用场景太过有限，不过EMC收纳之后不知道会不会有所融合变更，目前经过包装之后的Isilon也被EMC发布了，没有太大变化。
NetApp之前收购的Spinnaker没有很好的整合。下一步NetApp估计会推出其Ontap 9G操作系统，步入真正的scale-out分布式集群nas，属于single path image方式。（做个广告，在《大话存储2》中我针对scale-out架构做了5大类10小类的划分，都有详细阐释）
32和33楼，我没说全用cache，cache才几十GB，总容量几百TB，能全读入么？cache有一定的prefetch和flush算法。别走极端，不好。
Netapp的gx不就是scale out 的么，现在也合并到8.0版本里去了吧，只不过nas 的scaleout 有很大的意义么，做一个专门针对nfs和cifs 的协议负载均衡设备不也就
可以实现相似的目的么
希望在市场上也震一下吧
呵呵，36楼，tcp负载均衡来均衡是前端的技术。scale-out的nas一个特点或者优势就是支持single namespace，也就是不管从哪个节点进入，都可以看到全局的数据。N8K就是这样，VNX就不是这样。
能否科普一下SPECsfs2008在测试过程中的数据量大概是多少，系统内存容量的配置对结果影响是否大呢？看着N8500的内存配置有1344GB，而EMC的是240GB，不知这个是否对性能有很大影响。
免责声明：在本论坛的所有言论皆为作者个人言论，不代表任何第三方机构观点，请勿对号入座。
看了一下测试报告，发现两个疑问
1、ibm的sonas用的是raid5，华赛用的是raid1，ibm的磁盘利用率明显要高很多。
差不太多的原始容量，ibm可用容量比华赛高两倍多。
在测试中ibm基本输出了全部可用容量，华赛只输出了50%，这是为什么？
2、ibm是采用一个文件系统进行测试，华赛用了8个文件系统，如果也用一个文件系统会有什么差别？
39楼：EMC后端用的400多块SSD来测试，所以前端RAM可以不用那么多。
41楼：SPECsfs2008是按照单位容量来下发IO的，规定为每个OPS对应120MB的文件空间，也就是用成绩×120MB所得出的就是本次测试真正使用的容量，这个在SPEC页面上是没有的，所谓“exported”容量，只是输出容量，是否全部使用了，就不一定了。可以具体算一算。总之还是公平的。另外请关注曲线变化，SONAS的曲线明显曲率提升太快，而N8500则表现出后续的继续提升潜力。
SONAS和N8500都使用了各自的single name space，也就是单一命名空间，是一个大的分布式文件系统，而不是8个FS，VNX使用的是8个独立的互相无关的FS。
冬瓜头 在避重就轻。
我说哥们，你弄个symantec的ID，鼠标放上去是“一笑而过”，能不能报个大名啊，正面PK。否则我一笑而过了哈。
哎，无名小辈，何足挂齿
兴趣来了，讨论下技术问题就好了，知道我大名和不知道我大名，区别不大，就别纠结这个问题了，其实你问过我好几次了。咱们就做技术交流好了，如果一定要一笑而过，那就一笑而过吧，技术这东西本身就没什么,,,相逢一笑泯恩仇，哈哈
这款N8000的市场定位还是比较好的，可以说是华赛一个比较成功的产品，配套出去了不少
但是说性能有多高多高，稳定性多强多强，鄙人实在不敢苟同。
就单SFS软件本身就不成熟，其实我们ATCA板，风扇多，震动大，直接导致坏盘率高居不下。这个华赛自身也有认识…在通信行业，有不少这方面的应用，但是把ATCA机框用在存储界，华赛算是首创。
另外，好像IBM很有几款产品用的不是X86架构的芯片吧？的确，大势所趋，X86是未来存储的趋势，毕竟性价比在那里，也是非常成熟的产品。不选才是SB。就是觉得把它吹的太神奇了，觉得太那个啥了，知道吧。。。
还是没看明白这个东西到底牛在什么地方? 16个节点全活的架构? 分布式的文件系统?高命中率的cache算法? 稳定性? 或是其他的什么?
另外也很想听听这个东西的目标市场和典型应用场景在哪里？
华为赛门铁克（简称：华赛）作为这个行业的“新人”，勇于挑战二三十年历史的国际巨头，本身就是一个值得震动的事情。
SPECsfs2008的测试是根据实际商用环境的NAS应用模型来设计测试方法和用例的。想要弄虚作假那要挑战SPEC组织的资深专家的智商了。
该Benchmark测试规范明确要求，对于集群的NAS，必须所有的客户端可以访问到所有的文件。对于那些没有在测试结果里面明确是集群NAS的，就没有这个要求了。
华赛的N8000测试结果，明确声明是集群NAS。
对于SPECsfs2008测试有疑问的，欢迎讨论。
有新厂商挑战，而且是使用国际公认的衡量标准来对比，对用户来说只会是福音。
其实，数据不能说明什么问题，因为一方面，很多公司的顶级产品都没有公开spec数据。另一方面，NAS的速度只是衡量NAS系统的一个方面罢了。‘存储行业大地震’只能说是大鸣大放而已。
此外，关于x86的趋势，也不见得。一个高端的NAS系统，使用了大量的ASIC芯片。x86只是整体系统中的很小一部分。
从发言来看，这位symantec也是业界专家了。
俗话说，士别三日当刮目相看。
殊不知，IT行业日新月异，前年的N8000与今年新发布的的N8000不可同日而语。
我对比了一下在2009年SPEC发布的N8000性能，今年的性能可是提升了好几倍，而且节点数量比2009年的要少。
至于是如何取得如此大的进步，我觉得其中定有奥妙！
——————————–
哎，无名小辈，何足挂齿
兴趣来了，讨论下技术问题就好了，知道我大名和不知道我大名，区别不大，就别纠结这个问题了，其实你问过我好几次了。咱们就做技术交流好了，如果一定要一笑而过，那就一笑而过吧，技术这东西本身就没什么,,,相逢一笑泯恩仇，哈哈
这款N8000的市场定位还是比较好的，可以说是华赛一个比较成功的产品，配套出去了不少
但是说性能有多高多高，稳定性多强多强，鄙人实在不敢苟同。
就单SFS软件本身就不成熟，其实我们ATCA板，风扇多，震动大，直接导致坏盘率高居不下。这个华赛自身也有认识…在通信行业，有不少这方面的应用，但是把ATCA机框用在存储界，华赛算是首创。
另外，好像IBM很有几款产品用的不是X86架构的芯片吧？的确，大势所趋，X86是未来存储的趋势，毕竟性价比在那里，也是非常成熟的产品。不选才是SB。就是觉得把它吹的太神奇了，觉得太那个啥了，知道吧。。。
这个问题实在是问到点子上了，确实有水平。
对于磁盘用何种RAID方式，完全是取决于用户应用场景。
华赛在只输出了50%的容量的同时，提供了双倍的可靠性。对于存储来说，可靠性与性能兼顾的设计，理应给予赞美。
——————–
41.hanx 于 2011-04-19 12:50 上午
看了一下测试报告，发现两个疑问
1、ibm的sonas用的是raid5，华赛用的是raid1，ibm的磁盘利用率明显要高很多。
差不太多的原始容量，ibm可用容量比华赛高两倍多。
在测试中ibm基本输出了全部可用容量，华赛只输出了50%，这是为什么？
2、ibm是采用一个文件系统进行测试，华赛用了8个文件系统，如果也用一个文件系统会有什么差别？
至于提到文件系统的数量，对于CIFS协议与NFS协议来说，把100个文件系统都合到一个文件系统里面在技术上也没有什么困难。
实际使用场景中，一千多块硬盘，划分成为多个文件系统是比较合理的用法。
由于N8000是集群NAS，不管有多少个文件系统，对用户都是完全可以并发访问到的。
对于追求性能的场景，磁盘出现坏盘对性能的负面影响应该是要考虑如何规避的，使用RAID1就很好的规避了这个问题。
机械磁盘的年故障率3%是很常见的。RAID5一旦出现坏盘，性能会急剧下降。
这样问题就来了，如果一个系统有两千个机械磁盘，每年坏盘的数量就是大约六十个。平均每周一个。如果使用的是RAID5，那就悲剧了。每周都要闹心，性能忽好忽坏。
黄sir的nap现在还没over?
今晚看到这个消息，一下子有点兴奋，我抢东瓜头来答复hanx的问题了。
SPECsfs2008这个benchmark是来自与实际商用环境的读写模型，对于每个性能OPS单位，规定了要有足够的存储空间来对应。每个OPS要对应120MB的可用存储空间。
我个人估计，这里除了成本因素之外，也有防止弄虚作假的因素。
如果全部使用RAMSAN，对比机械磁盘估计要提升上百倍的成本。
如果全部使用SSD，对比机械磁盘估计成本要上升十倍。
—————————-
32.hanx 于 2011-04-18 11:33 下午
to冬瓜头，那用一个ramsan集群是不是就更高了？
我乱猜一哈。猜中了别害怕。
问题就在ATCA 的升级上。
按照SPECsfs2008每个OPS要120MB的要求，
华赛这个测试的用户可用容量至少要85,520GB。
1344GB的内存不到用户可用容量的1.57%的样子。
—————————–
39.Jack 于 2011-04-19 12:24 上午
能否科普一下SPECsfs2008在测试过程中的数据量大概是多少，系统内存容量的配置对结果影响是否大呢？看着N8500的内存配置有1344GB，而EMC的是240GB，不知这个是否对性能有很大影响。
哈哈，首席开玩笑了。
我想华赛没有什么好害怕的。
中国人只要能够专心的持久做一个事情，是有能力赶上世界先进水平的，虽然华赛目前使用了部分赛门铁克的技术，我相信华赛最终会更进一步。
—————–
55.陈怀临 于 2011-04-19 6:52 上午
我乱猜一哈。猜中了别害怕。
问题就在ATCA 的升级上。
我只能这样说：新的一轮性能竞赛已经开始了！
最后结果一定是科学技术与工程产品的进步，是用户有更好的产品。
今晚喝酒了，
说的太多了，
回去睡觉了。
———————-
48.Noow 于 2011-04-19 6:09 上午
其实，数据不能说明什么问题，因为一方面，很多公司的顶级产品都没有公开spec数据。另一方面，NAS的速度只是衡量NAS系统的一个方面罢了。‘存储行业大地震’只能说是大鸣大放而已。
此外，关于x86的趋势，也不见得。一个高端的NAS系统，使用了大量的ASIC芯片。x86只是整体系统中的很小一部分。
至于迷信asic或者soc或者roc之类chip的，也不能说不好，各有优劣，场景不同，市场不同。不过说IBM有几款产品用了asic，叉叉叉oc的，那是在OEM LSI的产品里板子上用的，而且是XOR专用芯片，其他处理还是由x86参与。而且在其自研的产品中，没有用asic或者叉叉oc的，包括storwize v7k，或者xiv，或者ds8k，svc等。 确实有款nas属于另类至极的，就是Bluarc，他直接用FPGA，都不流片，为的就是频繁升级刷firmware方便，但是成本和功耗就无法保证了，性能也确实可以。其他高端没有用asic或者叉叉叉oc的。
呵呵，个人认为N8500属于存储界的天河一号，值得鼓励:)
to：symantec
问题确实踢得很有道理，但希望不要添加感情词汇，感情词汇其实削弱了你文字的说服力。
其实我也很希望华赛在产品的稳定性，特别是坏盘率上有大幅度改进。就好像symantec说的，在关键业务里，稳定才是第一要素。既然大家都用的是这两家硬盘公司的产品，为啥就华赛的坏盘率高呢？
to：willchen
多谢，以后改进。
1. An MTU size of 9000 was set for all connections.
———————–
我不知道MTU设置成9000，有多少用户会这么干?
2. 前面8个刀片板，后面18个S5600的磁盘柜
用这么多CPU，MEMORY DISK ,,,跟人家EMC HDS比，有用同样数量的CPU，同样数量的MEMORY来比比看。
这种比较，完全没有意义。
文海 于 2011-04-19 6:56 上午
56.按照SPECsfs2008每个OPS要120MB的要求，
华赛这个测试的用户可用容量至少要85,520GB。
1344GB的内存不到用户可用容量的1.57%的样子。
—————
感谢您的答复。虽然SPECsfs2008要求每个OPS要120MB的要求，但我猜那肯定不是每个OPS都需要读/写120MB，total_ops*120MB应该是整个测试集的数据总量。我关心的是在这个测试中，读写总量究竟有多少呢？他们的访问又是否呈现顺序读写规则呢。这些都和内存有很大关系。而且EMC的内存只有华赛的34%,而性能却有78%，应该还是EMC的内存利用率更高些吧。此外虽然EMC用的是SSD，但其实对于顺序I/O而言SSD比SAS的优势并不是特别大，根据我们的测试也就是1-2倍的优势。所以SPECsfs2008的访问模式对于性能的表现还是很重要的。不管怎样，还是希望国产的最终能胜过国外的。
不知道symantec为何对华赛有如此强烈的感情？
由于symantec不愿意透露身份，不知道该怎么说这个事情。
按照规范要求，每轮测试都是经历相当长的时间来获取一个稳定的性能值，而不是取一个峰值。
新版本是根据最新的商用NAS应用模型数据收集后确定的，最新版本就是SPECsfs2008。
新老版本的读写模型和比例如下：
NFS Version 3 Operation SPECsfs2008 SPEC SFS 3.0
LOOKUP 24% 27%
READ 18% 18%
WRITE 10% 9%
GETATTR 26% 11%
READLINK 1% 7%
READDIR 1% 2%
CREATE 1% 1%
REMOVE 1% 1%
FSSTAT 1% 1%
SETATTR 4% 1%
READDIRPLUS 2% 9%
ACCESS 11% 7%
COMMIT NA 5%
—————————
Jack 于 2011-04-19 8:58 下午
文海 于 2011-04-19 6:56 上午
56.按照SPECsfs2008每个OPS要120MB的要求，
华赛这个测试的用户可用容量至少要85,520GB。
1344GB的内存不到用户可用容量的1.57%的样子。
—————
感谢您的答复。虽然SPECsfs2008要求每个OPS要120MB的要求，但我猜那肯定不是每个OPS都需要读/写120MB，total_ops*120MB应该是整个测试集的数据总量。我关心的是在这个测试中，读写总量究竟有多少呢？
能不能讲一下基于SuSe的OS层面在文件系统是如何调优的。。。否则不是让我遗憾终生的嘛。。。
我对测试参数通常感但不that much感兴趣。我对弟兄们如何做的比较感兴趣。。。
To 文海
感觉你的回答比较职业化，很多东西有数据支持，有理有据，这个我比较喜欢。
对于我身份的问题，说一些吧，S5000系列里面的产品有过我的代码，S8000系列里面也有过我的代码。其中S5000系列中的一些BUG是我修改的。其中的软件，硬件架构我比较清楚。
我就是特别不喜欢华赛总拿自己的高端产品跟人家的低端去比较。学习人家“田忌赛马”，以为是占了便宜，其实是自己在破坏游戏规则，破坏大环境。
我的言语是有点情绪化，咱们就技术讨论技术吧，不想聊其他的。如有冒犯之处，还望多多原谅。
To 陈怀临:
S5600用的Suse9版本，它只做一些进程管理，设备驱动，等等，数据下发到SAN的DISK上面，是没有通过SUSE9的文件系统。
当数据下到N8000的时候，只通过了VxFS文件系统，这个是SYMANTEC的文件系统，个人认为这个文件系统再业内是比较优秀的。
SAN存储层面，确实是有很多优化工作要做。并不是简单的将SCSI COMMAND丢给磁盘。冬瓜头对这个应该是很了解的，之前我好像跟他讨论过这个问题，可以让他再仔细给您解释解释，呵呵
冬瓜头也参与实战？ 我还以为他就（只会）写书。。。：–（
To symantec:
你这么一说，我觉得我明白了很多。因为我是个长期从事基层工作的工程师。
To 陈怀临：
我也很想知道怎么调优文件系统性能。
在5年前我曾经给某系统进行性能调优，艰苦的工作了几个月，终于性能提升了一千倍。
————————
67.陈怀临 于 2011-04-19 9:53 下午
能不能讲一下基于SuSe的OS层面在文件系统是如何调优的。。。否则不是让我遗憾终生的嘛。。。
我对测试参数通常感但不that much感兴趣。我对弟兄们如何做的比较感兴趣。。。
CloudStor难道不是个单site的 scale-out方案么 看不出和cloud能有啥关系
这个问题的前提是要先描述清楚73楼眼中的cloud到底是什么形态，什么样的。
一天没来，已经74楼了:)
to 吴朱华:
“个人认为N8500属于存储界的天河一号，值得鼓励:)”
谢谢鼓励。我们一定再接再厉，下次咱也整个全SSD的出来，竟请期待：）
to 首席：估计东瓜头现在实战的机会不多了，我是实战的：）
to hanx：行家。
文海 于 2011-04-19 10:49 下午 To symantec:
你这么一说，我觉得我明白了很多。因为我是个长期从事基层工作的工程师。
————————————
笑里藏刀，呵呵
我权当当作玩笑吧。作为一个长期从事基层技术工作的工程师，在对待人方面还是很简单的。
简单不等于不明白这个残酷的世界。
就是因为有激烈的技术竞争，作为技术人员，才能够相对容易地和不对胃口的管理层和谐共处。
打工而已嘛，尽自己能力忠其职守。
——————-
76.symantec 于 2011-04-20 10:01 上午
文海 于 2011-04-19 10:49 下午 To symantec:
你这么一说，我觉得我明白了很多。因为我是个长期从事基层工作的工程师。
————————————
笑里藏刀，呵呵
请教文海：
“在5年前我曾经给某系统进行性能调优，艰苦的工作了几个月，终于性能提升了一千倍。”
你是怎么调优来让性能提高如此显著呢，是原始性能很低么，都做了哪些方面的调优，性能参数是什么呢？
今天刚刚看到这个帖子，认真看完了77条评论，真是说啥的都有。但不论技术的，非技术的，赞同的，反对的，我认为都是“对的”，最起码都是值得尊敬的。
我也简单说一下我个人的看法：
首先说这件事情（华赛N8000性能测试两项世界第一这件事情）是好事情。
类比的来看，就像一个成绩很差的学生，在某次考试中，突然有一课成绩排名全校第一。这个成绩和进步绝对是值得肯定和鼓励的。
当然有人怀疑也很正常，因为他毕竟一直很差。
有人不认可也很正常，因为他现在肯定还不是优秀的学生（我们以成绩来论），从现在来看能不能考上大学还难说。
往大了说，中国的各方面在过去很长时间都很差，偶尔有一件事情做的好，往往会带来一片怀疑和否定的评论，似乎中国人就不可能能做好事情。
79楼最后一句深有同感。为什么国外的存储书籍就是好的，外来和尚总会念经么？他也有可能是来混日子骗钱的。看看自己人，《大话存储》、《大话存储2》，哪一本不比国外的存储书强（个人认为）？
我对黄SE的意见很大。你“威胁”我，然后要来讨论性能调优。得，现在你也该出场了。而不是所谓的。“一天之后，回来打工卡，发现NM楼了。”。
讲讲，为什么我国的存储技术就一日千里了呢？ 难道还真是在冬瓜头的正确误导下，找到北了？：-）
To 首席：黄SE因为这篇文章已经收到某部门的警告，不好再说什么了
首席很悲伤，首席很淡定。
太没劲了。。。。。。何必呢？ 干嘛要没事就这样senstitve？ 我看辽国的产品出来，都是信息很多。Cisco的多少体系结构和blah blah胶片漫天飞。。。
唉，说声爱国太沉重。 真没劲。
是吧，一笑而过，该吃吃该喝喝该睡睡，问心无愧即可。
这样的公司还要玩什么国际化，什么走向世界。基本上是扯蛋。 看人人都是贼的人必有贼心。
to 首席：为什么我国的存储技术就一日千里了呢？
咱那外国妈妈公司(symantec)手里有一个豪华老爷车（vxfs）。想当年在纷乱的Unix文件系统市场上，veritas驾这辆老爷车（vxfs）,那也是叱诧风云，兵锋所向，其他FS无不束手。
最近妈妈公司把这个老爷车借给咱玩了几天，咱拿到这个东西，那个宝贝啊，甭提了。擦了又擦，洗了又洗，又是喷漆，又是打蜡。轮胎全换新的，发动机重新调校。折腾了大半年，开着上路了，嘿，您猜怎么着？比法拉利、保时捷还快。
下一步咱打算把这个老爷车再折腾一下，把它开到F1赛道上玩玩。
N8k产品上虽然用了VxFS，但是SAN产品都是完全端到端自主研发的技术，包括硬件（控制器、板卡、整机）、核心软件、增值软件、主机端软件等。
黄岩曾经搞网安，现在搞存储，2年前信誓旦旦得出netfilter只是实验室用的结论，然后隐身拒绝回答nf的会话查表机制，现在在存储领域宣言某技术性能NO.1，遇到symantec的质询又一个午睡睡了一宿。。。服了
马甲们别乱猜了，这贴和Symantec没关系。越来越多的马甲都开始扯淡了。
把非机密的东西拿出来给有能力的人一起brain storm，一定是n win的好事，按美国佬的style，也fun
如果一个系统初始设计的时候根本没有考虑性能，就是这个结果。不是每个人都有机会碰到这么菜的系统的。
不过一般提升10倍比较容易，100倍有点难度。1000倍需要把汇编与L1/L2 CACHE都充分利用起来，把网络驱动和协议栈都要搞定。
————————-
78.Jack_Wang 于 2011-04-20 6:36 下午
请教文海：
“在5年前…”
你是怎么调优来让性能提高如此显著呢，…？
VxFS已经很成熟了，要优化性能，需要黄岩这样的高手来处理。
To symantec:
1. An MTU size of 9000 was set for all connections.
我不知道MTU设置成9000，有多少用户会这么干?
－－－－－－－
大家可以到www.spec.org上查查，凡是带有10GE端口的，是不是都设置了jumbo frame？不设置的有几个？
很多家用汽车的标称油耗都是6升/百公司，你真的开出过6升么？因为那个值是在晴好无风的天气中，在绝对其他车辆干扰的平整高速公路上，用80公里/小时的最经济的时速测试出来的。
那个汽车厂家的汽车会在闹市区去测试它的平均油耗值，然后发布出来？游戏不是这么玩的。
另外，对于存储设备来说，使用9000的MTU也是常见的，因为存储设备在数据中心内部使用。中间最多不过两个交换机，更改设置是比较容易的。
如果是Web Server的MTU设置成9000，就需要更改很多广域网上的路由器，否则就要对每个数据报文分片，影响性能。这个就不可行了。
弯曲上，挂袜子让大家欣赏和批评的作者，有人让人尊重和敬仰（Panabit/hillstone?)，有人让人觉得心胸狭隘睚眦必报（XXX/XXXX?），这是为什么？
我是外行。
看了一下N8500的diagram，给用户的是8*10GE，中间到FC switch是16*4G；然而测试性能据说达到600K ops，每ops是120MB，那么这个测试带宽要600K*120M*8=576000Gbps；
是否可以得出结论，假设FC switch全线速度，576000/16*4=9000，这个测试由9000个N8500来完成的？
To 黄岩:
第一，虽然我知道设置成MTU 9K，网络运行是没问题的，但是没人会在这种情景下去应用。以前我专门用smartBit做9K的包打流量，是可以打出问题的。 如果在应用中这么设置，可以用，但风险很大。尤其是流量起来之后..就能看出问题。
第二，我们一直在讨论N8000，这是一个NAS机器，前面我们都谈到很多了，NAS直接共享出NFS 和CIFS协议，需要跟很多SERVER交互，我就不知道‘内部使用’怎么理解？
第三：我最后专门提到‘这种比较，完全没有意义。’，就是说这样测试出来的结果没有意义。没有多大的说明意义。
第四：请看一下我后面的 一个关键问题，在相同CPU 和 MEOERY等关键指标相同的情况下比较，是否一味的这种叠加硬件，是不是有考试作弊的嫌疑？
谢谢
一个是性能，一个是容量。
并非是每个OP有120MB。
例如：对于声称有100个OPS的NAS，至少要按照模型指定的文件大小，保存100 × 120MB的文件数据，然后在这个规模的数据里面，按照指定的模型进行随机访问。
这样可以防止一种情况出现：只有1MB的数据，全部缓存到CACHE里面，性能没有实际的意义。
———————
96.zp 于 2011-04-20 9:38 下午
我是外行。
看了一下N8500的diagram，给用户的是8*10GE，中间到FC switch是16*4G；然而测试性能据说达到600K ops，每ops是120MB，那么这个测试带宽要600K*120M*8=576000Gbps；
是否可以得出结论，假设FC switch全线速度，576000/16*4=9000，这个测试由9000个N8500来完成的？
to zp：“每ops是120MB”，这个理解似乎有偏差，120MB值得是SPECsfs2008 nfs手册要求，NAS设备每输出一个ops，至少要配备120MB的空间。并不是说每次文件操作都至少要访问120MB的数据。
to symantec:
1、数据中心内部用不用jumbo，这个由系统管理员说了算了。这里的系统管理员可以出来讲讲，你们的数据中心用了jumbo没？如果没有，俺建议可以开启这个选项。
至于smartbits打一下就出问题的设备，我觉得，应该提一个内部问题单，把这种bug消灭到厂商的实验室里面。
2、内部，只得是数据中心内部。
3、F1有意义没有？谁看到过那个帅哥在街上开F1兜风了？既然没有意义，为什么还有那么多厂商参与这个测试？为什么这个帖子还讨论的这么热烈？特别是symantec兄弟的热情还这么高：）
4、www.spec.org网站有每一家设备详细配置，大家可以去算一下，看哪家的设备价格最高？哪家的设备性能最高？如果用性能/价格，再看哪家的性价比最高？这里有很多人是存储行家，相信很多人都了解SSD是什么价格。我建议全面比较一下性价比，不要只比较CPU和MEMORY，因为那样比没意义;)
to 黄岩 and 文海:
谢谢你们的回复。但真正直白的性能呢？指定的模型里只有小于1/9000的ops才读了120MB？
两位研发同志牺牲了中午休息时间陪大家论道。
其实我们一直都是很开放的，尤其是内心。表面似乎冷漠，那是不得已而为之。
看哪家的设备价格最高？哪家的设备性能最高？如果用性能/价格，再看哪家的性价比最高？这里有很多人是存储行家，相信很多人都了解SSD是什么价格。
——————
你说到这个，我突然想起一个事，2010的时候，我跟EMC研发中国区的Director聊过一次，他当时问了我一个问题：华赛卖的东西这么便宜，到底赚钱了没有？
呵呵，利润哪里来，华赛的兄弟应该都比较清楚。
简单说吧，这个测试就是个噱头，别太当回事。
现在轮到我无法理解你的问题了。
一个不是很恰当的比喻：
在小房间两个人里面快速找到其中一个人，不算快。在广场散乱分布的十万个人里面快速找到随机指定的一个人，那算快。
——————–
100.zp 于 2011-04-20 10:26 下午
to 黄岩 and 文海:
谢谢你们的回复。但真正直白的性能呢？指定的模型里只有小于1/9000的ops才读了120MB？
to symantec
S5600的raid实现怎样，是用的linux md吗, 有像emc 520 sector size的checksum 吗；scsi taget是用的scst吗；active/active是怎样实现的，如何保证两个控制器memory的一致性h？
Symantec不会说的，这是基本的职业准则。
这是因为竞争对手在这里兴风作浪，这还不好说，被揶揄的都是他们的强劲对手。
wuyu 没病吧
敢开武馆的，就不怕踢馆的。
敢开帖子的，就不怕骂贴的。
上班时间忙着写方案，下班了继续论道。
文海精神有力量
to guoke
~~~~~~~~
呵呵，问到核心问题你说是对手兴风作浪，给你们提点意见，列出某人的事实，你们说人有病。。。这。。。华赛的企业文化会允许你长久存在？
有事说事，人家要上班要工作啊。还有，既然放上来就是供讨论的，但有些言论却对人不对事啊!
to wuyu:
关于你说得防火墙查表方法的事情，我当时的说法是错误的。对那个技术问题，我的看法错的。因为当时已经有人指出了问题所在，碍于面子，我就没有把自己错误再重复一遍了。两年过去了，您还记得这件事，并且不遗余力的帮助我，非常感谢:)
至于“一个午睡睡了一宿”、“心胸狭隘睚眦必报”。俺也回去想想，如果自己有这些问题，就改，若没有，就算了。
不过，现在我还有点想不通哈。我的感觉是，我不会应，就是“一个午睡睡了一宿”，好像做了亏心事，不敢回应。我若回应，就是“心胸狭隘睚眦必报”。
不过无论如何，这些关于人品的问题，不应该在这里讨论，这与弯曲评论的宗旨不符。在这里，我们还是讨论技术问题吧。
有希望帮助我提高人品的朋友，可以关注我的新浪微播：黄岩gg。
另外还有，下面这这些评论逻辑也有问题：
咱产品用的CPU和内存好一点，就有人说咱作弊。
咱的使用了传统磁盘破了记录，性价比高一点，就说咱山寨。
咱跑了个记录出来，就说这个测试没意义，大家看看www.spec.org网站上。哪个公司的测试记录最多？华赛应该是相对比较少的。
我觉得之所以出现这么多自相矛盾评论，关键还是有利益因素在里面。
不可否认，咱做那个spec测试，也是为了让客户更好的了解咱的产品，了解咱们性能不差。谁家的生意不是是这么做的？
不可否认，友商的产品做的也不差，很多地方值得我们学习。而且友商也曾经多次破了spec记录，让人艳羡。但咱不会把羡慕变成嫉妒，继而变成愤恨。当友商破了记录的时候，咱也不会想尽办法去摸黑它的记录。游戏不是这么玩的。
咱们能做的，只有发奋图强，奋起直追。
这一次，咱也跑了个记录出来。咱那个记录也是实实在在跑出来的，是经过了spec那个委员会认可的，而且性价比很高（很奇怪，那个spec为什么不比较性价比）。咱感到很高兴，也想出来显摆显摆，这个也算正常吧。
theregister那个独立评论员的说法，还是比较中立的，大家可以参考一下。
此贴之后，非技术问题不再回应。
咱产品用的CPU和内存好一点，就有人说咱作弊。
说实话，看一下SPEC
Huawei Symantec 内存1344G 硬盘个数：1728
EMC 内存264G 硬盘个数：100
HDS 内存88G 硬盘个数：164
我就不一一列出了，内存容量和硬盘个数是人家的 N倍，要是不比别人家强大，那才真是奇怪呢。有没作弊嫌疑，自己清楚。
***************************
咱的使用了传统磁盘破了记录，性价比高一点，就说咱山寨。
华赛直接用‘人海战术’搞死对手，这个也不评价了。
******************************
咱跑了个记录出来，就说这个测试没意义，大家看看www.spec.org网站上。哪个公司的测试记录最多？华赛应该是相对比较少的。
数据肯定真是测试出来的，这个我肯定不会否认。而且我也坚信华赛能做到这个量级。还是那句话，华赛在利用这个平台，玩噱头，提高产品知名度。仅此而已。醉翁之意不在酒。
我们的讨论仅仅是技术，别扯其他的，更别扯人品好吧。咱们就说技术问题，说产品问题，说市场问题。
**********************
to symantec
S5600的raid实现怎样，是用的linux md吗, 有像emc 520 sector size的checksum 吗；scsi taget是用的scst吗；active/active是怎样实现的，如何保证两个控制器memory的一致性h？
这三个问题我可以回答你，冬瓜头都说到职业道德这个层面了，你说我还怎么说呢… 就说一句吧，别想太复杂，业界怎么做的，它用的东西都是很通用的东西。只说这么多了。细节有机会再讨论吧。
蛋疼一下，屁股决定脑袋，各找各妈吧。这贴可以结了感觉。
我还真把SPEC网站看了一下：
IBM SoNAS有用1975块磁盘，2368G Memory来测试的，不过成绩好像没干过EMC；
还查到一个NetApp的，FAS6070用24节点集群，96颗CPU+2016块磁盘测试，看来不止华赛一家会人海战术哈。
嗯，楼上这个马甲还是很公平的看问题：）
用磁盘数少，用mem少，那是后面用了SSD，要么就是插了PCIE接口的flash卡，这样当然不用多少mem和磁盘数了。
在存储项目投标中，会用到一些指标作为门槛来拦着一些产品前来应标，而spec测试值就是其中一个。
这是个技术论坛，继续摆技术龙门阵。
上次提到的性能优化一千倍的系统，其实设计开发的人也没有那么菜，只是没有我那么老而已：）。
经过我们老家伙一通教训之后，小朋友们迅速开悟，从开发的角度来看是我见过的成长最迅速的小朋友了。
怎么个迅速法？在一个几千人的专业开发团体里面，小朋友在一次为期三天的软件设计开发大擂台赛中赢得了头奖。
说明什么技术问题？今天我们看到的技术小毛头，明天就可以成为技术领域的风流人物。
华为赛门铁克是这个领域的“新人”，相比那些几十年上百年的老公司，三年真的算很新的。
但是华赛是无法拒绝成长的，一颗种子落地了，发芽了，即使土地贫瘠，阳光稀少雨水不足，成长是天性，无法拒绝的。
对手越害怕，说明华赛越进步 ：）
赞，华赛应该旗帜鲜明的说：我们的目标就是要打败EMC！！
有什么好怕的吗？
谢谢黄sir给我的回答，我也为自己的激烈发言向您道歉。希望华赛发展的更好。
>>>怎么个迅速法？在一个几千人的专业开发团体里面，小朋友在一次为期三天的软件设计开发大擂台赛中赢得了头奖。
贵司这么闲?还有专门的软件设计开发大赛??
to guoke, sieie:
多谢感情上的支持！
我们习惯称呼竞争对手为友商，在竞争中促进产品质量的提升是我们的追求。
to westermann：
你也看到了这点，公司决策层也看到了这点。所以该比赛可能成为绝唱了。
呵呵，举办个大赛就是闲的表现？我不这么看。大赛总比每周申请20个小时加班，然后正常工作时候打打哈哈要强。
大赛是一种官方导向，就是用一种方式告诉你和所有开发人员：公司鼓励技术人员向技术高峰迈进，这是一种积极的管理行为，没什么不好，花小时间办点影响大的事情。当然，有些人会不喜欢这种方式，例如我，我喜欢在年中会上因为工作成绩上台领奖，不喜欢竞赛，同时奖更多金和分红。哈哈
可以大赛啊，截稿时间可以长点，我估计谷歌微软这类企业都少不了。
125楼，我是看不惯有些人总是摆出自负样，说话带着不良情绪，不会好好说话，情商很重要啊。
128楼，有则改之无则加勉，别点火了，少说几句吧。。。
国内著名存储网站，存储在线（http://www.dostor.com/）发布了一个《2010存储风云榜》， 华为赛门铁克的N8000产品获得了《2010网络附加存储年度产品》奖（http://storage.doit.com.cn/article/2010/1227/1333193.shtml），说明华赛的NAS很是挺牛B的哈：）
“谢谢你们的回复。但真正直白的性能呢？指定的模型里只有小于1/9000的ops才读了120MB？“zp的意思是：大多数ops是小容量因此是在cache里？
“咱产品用的CPU和内存好一点，就有人说咱作弊。
咱的使用了传统磁盘破了记录，性价比高一点，就说咱山寨。咱跑了个记录出来，就说这个测试没意义，大家看看www.spec.org网站上。哪个公司的测试记录最多？华赛应该是相对比较少的。“这个说的不错，无论如何，实用与否，有记录比没有好。