浅谈高端通信系统中一些分布式理论基础(3)

Sina WeiboBaiduLinkedInQQGoogle+RedditEvernote分享




在分布式应用系统中,我们首先来做个半学术半胡扯的定义:分布式服务系统和分布式通信系统。

分布式服务系统:基于Client/Server架构的分布式应用系统,例如HTTP Based的互联网系统,云计算系统。

分布式通信系统:基于数据流的分布式应用系统,例如,高端路由器,交换机,防火墙等[广告位,请联系《弯曲评论》]

在上述两种分布式系统的分类中,分布式通信系统是发展比较慢,研究的力度也不太深入的一环。

这里面的主要原因是:

学术界的分布式计算的人更容易朝面向Client/Server的大规模分布式服务系统发展[或曰:混事][注:例如Google,Facebook,腾讯,淘宝云等等。还有一批人会转到存储领域。

单纯分布式系统的人在通信系统方面的基础相对而言比较弱,而且学校离基本上不可能得到训练。教授们[不说叫兽了]也基本上只停留在文件系统,资源这些说抽象不抽象,说具体不具体的东东上。

那么,分布式通信系统与分布式服务系统的主要区别在哪里???

这个世界上,没事的时候在哪里瞎琢磨,并试图做出一个定义的人不多。

分布式服务系统的本质是: Distributed Computing for Persistant Data.

分布式通信系统的本质是: Distributed Computing for Transient Data.

推论

分布式服务系统处理的就是分布式的磁盘,分布式的Block Data;是死数据;或者隔夜index才产生并分布,多个副本的数据。

分布式通信系统处理的就是分布式的流(Packet Stream)。而这个流是Transient(转眼就逝)的。是风吹竹林;雁过寒潭。

分布式服务系统的精华是对Block Data的分布,负载平衡,容错的把握。

分布式通信系统的精华是对Packet Stream的迅速处理,并Switching[不想用转发这个词,太土。Switching这个词太漂亮]。

分布式服务系统的并行计算必须被[需要呈现给用户的]资源透明性所牵制。

分布式通信系统的分布的目的主要就是并行计算,追求加速比。

那么,分布式通信系统最基本上的单元是什么?

。。。。。。

是Queue!

是的,所谓的分布式通信系统,其实就是分布的队列(Queue)系统

Distributed Queue!

这就应该是所有分布式通信系统的共性。

类似与,所有的分布式服务系统都逃脱不了一个概念的索引:RPC(Remote Procedure Call)。

理解了RPC,不管是云技术,还是雨计算,都能看的透。

理解了Queue,不管是路由器,交换机,防火墙,都TNND一回事。。。。。。

这里,年轻的大宋工程师需要注意的就是:从专业上而言,Distributed (System)是操作系统,或者高级操作系统的知识结构范畴;而Queue是网络系统,或者再大尾巴狼一点,是排队论或者随机过程的知识结构范畴。

Distributed Queue就是所谓交叉工程学的一个典型范例!

得其意,忘其形。

这就是做学问,做工程应该追求的上乘功夫。。。。。。

(13个打分, 平均:4.31 / 5)

雁过留声

“浅谈高端通信系统中一些分布式理论基础(3)”有65个回复

  1. 陈怀临 于 2011-09-06 10:14 下午

    给自己打了个5。感觉写的不错:-)。都是上来就敲,一气呵成。。。感觉还挺能忽悠的。

  2. xxx 于 2011-09-06 11:30 下午

    首席写的很绚丽,我恍惚了

  3. anonymous 于 2011-09-07 12:10 上午

    在线的分布式服务系统,比如某某云,也是不断有request从clients发过来,response发回去,我们是不是可以认为,分布式服务系统是由前段的分布式通信系统和很多的服务节点组成?

  4. mason 于 2011-09-07 12:28 上午

    首席,在形式上弯曲能否搞成菜鸟和粉丝们喜闻乐见的网站方式,这个博客方式不好查询和浏览。

  5. awei 于 2011-09-07 1:06 上午

    首席推荐一些分布式系统的好资料吧. 最好是计算和存储方面的.

  6. xxx 于 2011-09-07 1:33 上午

    回复3楼,你说的这个系统估计只有AT&T和Amazon合并了才能推出的系统。首席讲的分布式通信系统主要还是一台设备内部基于queue调度的并行系统,最多也就是几台设备的一个cluster,现在还没听说哪个ISP把它的整个网络系统管理搞成资源透明的呢。

  7. 聆风 于 2011-09-07 5:13 上午

    我个人觉得queue没有会话这个意思准确

  8. 陈怀临 于 2011-09-07 6:59 上午

    awei,前段时间发过一个分布式系统方面的经典文献的呀?那个还行吧。

  9. james 于 2011-09-07 8:18 上午

    首席分析得精辟!也正是本质和目标的差异,造成2类系统各自所基于的软硬件平台迥然不同,通信系统往往都尽可能提高端口的计算密度和通讯的效率,而服务系统主要关注负载的可扩展性和资源的可管理性。

  10. Xin Qian 于 2011-09-07 9:37 上午

    这个系列写得真不咋地,还是应该按照学术八股的规范来写。问题的定义,目前status和相关的结果,你的看法。。。总结;写review也近乎与应该这种写法,文字可以有诙谐,但是结构(或者需要cover的point)应该遵循。

    还有做分布式计算的系统,个人觉得跟分布式网络系统之间相似度非常高。但是这两个领域的人互相不交流我也没办法了。。做分布式计算的都是国家实验室的scientist,分布式网络系统的都是商业公司的。而且那帮scientist需要的网络只是个大交换crossbar,不用需要承载业务的网络系统。

  11. 抓狂 于 2011-09-07 9:49 上午

    to 7楼:角度不同,会话和报文是分布式通信系统的处理对象(一虚一实);调度是根本手段,而队列是完成调度的基础;

  12. 缓存一致性非常非常难 于 2011-09-07 11:31 上午

    好! 我喜欢这种偏激的文风。

    结论,一切都必须下结论,才能有行动。

    什么都讲,什么都好的文章,是鹦鹉。

  13. kernelchina 于 2011-09-07 6:43 下午

    服务系统也是一样,也是基于Queue或者Message的调度,或同步,或异步,有很多Message queue的实现。有些关注任务调度,有些关注资源分配,或者是两者的结合。

  14. 理客 于 2011-09-08 12:52 上午

    这些内容都属于首席的原始地盘,有首席的精髓在里面,要experienced person才容易体会,新人可能需要仔细演习体会一下。
    通信系统,外在关键和其他实体通信,内在关键是内部各种软硬件子系统/模块间通讯,Q是其中最关键的一环,许多初入通讯的,包括从应用系统转来的,对此理解不够,在模块设计中就容易发生此类架构问题,我做RD是年龄已不小,但技术尚嫩,时间也不长,如果再返回RD,一定会比原来做得好多了
    首席对Q洞彻体研,已经到了随心所欲不逾矩的境界,如果将来大宋开放改革某产业,一定要举荐首席做总设计师,必能令此产业春光日盛,美妙如仙,乃大宋及全球人民大幸,只是首席一定要悠着点,虽Q好M美,但有好身体方能干好革命,革的是别人的,只有命是自己的,祝首席万寿无疆:)

  15. 陈怀临 于 2011-09-08 6:51 上午

    我一定带领大家挖Q洞,找G点。。。

  16. 理客 于 2011-09-08 7:46 上午

    如果有之前一个文章中关于把妹训练营的资料,可以贴一下,对工程师还是很实用的

  17. abc 于 2011-09-08 8:53 上午

    同意10楼的。净是水。

  18. PirCapt 于 2011-09-15 2:33 上午

    很感动,哈哈

  19. yunhaid 于 2011-09-17 11:36 下午

    如果CPU的频率不能继续突破,那么多核也就成了唯一的选择,monolithic OS的缺陷会被放大,也许2,4,8核还能够适应,但是如果将来80核进入寻常百姓家,那么Distribute OS 将会迎来第二春。

    另外,有一个分布式的框架系统的想法一直在脑海里反复,好处不言而喻,但是却有另外的问题,假设有100个分布式模块,如果都处于并发状态,那么开启100个线程是不合适宜的,那么只有另一个选择,coroutine机制,相当于自个实现应用态线程切换机制。想听听首席或者其它高人,有没有其它好的思想建议关于这方面的?

  20. awei 于 2011-09-19 6:21 下午

    刚才我司(HW)某OS专家在公司内部论坛发了些对陈首席不满的言论.
    哥直接实名制的羞辱了他们!

  21. 大宋民工 于 2011-09-19 8:10 下午

    yunhaid 于 2011-09-17 11:36 下午
    ————————————–
    这位兄弟的问题俺也想了解。
    请高人解答。
    不过既然云计算了,以后在终端上应该无需这些问题了,而服务器端,都是服务供应商,应该可以根据需求定制,processor,compiler,os,apllication通盘考虑。

  22. 陈怀临 于 2011-09-19 8:38 下午

    谢谢awei!有江湖义气!Heeeee。这个专家有毛病呀。。。自己找事。他应该更多的关注自己的手铐,而非我。

  23. 陈怀临 于 2011-09-19 8:40 下午

    Yubaid:建议看看Gang Scheduling。或者好像叫做:Cooperative Scheduling

  24. 陈怀临 于 2011-09-19 9:43 下午

    Yubaid:看在这么多年你跟我的份上,我再点一下:
    1。 通过fabric的control channel,快速的把别的卡上的系统,OS,线程-ignite:点亮。
    2。 做完事情,灭灯。。。

    Gang Scheduling。。。。

  25. awei 于 2011-09-20 1:01 上午

    被干部部打小报告了.

  26. htest 于 2011-09-20 4:05 上午

    awei是个小人。
    你根本没有看明白两位专家在讲什么,纯粹在挑拨关系。

  27. yunhaid 于 2011-09-20 8:07 上午

    嗯,认识首席的时候,我还大学未毕业,差不多是十年前的事情了。呵呵,谢谢首席的教诲,正在学习Gang Scheduling,还在理解中..

  28. awei 于 2011-09-20 6:30 下午

    huawei这么多人上弯曲. 哎反正我看中软那些SB不爽

  29. 若问一句 于 2011-09-20 8:49 下午

    中软是什么? 中软和华为是什么关系?

  30. 一条虫 于 2011-09-20 11:16 下午

    啊。。。手铐。很形象。非常形象。

  31. awei 于 2011-09-21 7:15 下午

    中软就是华为里面的一个部门. 搞了个叫dorpa的比较垃圾的操作系统中间件.
    对linux的认识也比较浅,水平比较菜.

  32. Red 于 2011-09-21 7:24 下午

    问一下,业界像dopra这种操作系统中间件都有哪些啊?比如思科、爱立信这些公司都用的什么中间件?
    一直想找个类似的东西来学习一下。

  33. westermann 于 2011-09-21 8:39 下午

    29:中央研究所软件部吧

  34. westermann 于 2011-09-21 8:49 下午

    话说中央平台部是不是奖金什么的都不高,比较平?毕竟不是冲前线打仗的事业部

  35. 陈怀临 于 2011-09-22 8:07 下午

    据说现在中研都要叫做”2012 Lab“了。太有诗意了。。。

  36. 沙加 于 2011-09-23 12:21 上午

    2012,到底是象征灭亡多一点还是重生多一点?纯粹玩笑

  37. ABC 于 2011-09-26 2:43 上午

    首席,前戏快点结束吧,请迅速进入G点,不要拖拖拉拉的啊

  38. awei 于 2011-09-27 6:47 下午

    靠,HW任命第一批Fellow了 6个人,4个老外

  39. 陈怀临 于 2011-09-27 6:52 下午

    唉,历史是有记录的。我为大宋的复兴是呕心沥血。我2006年的那篇文章就大力提倡这个事情。今天终于都到来了。。。

    我活不瞑目了。。。

  40. 陈怀临 于 2011-09-27 6:54 下午

    强烈要求奔fellow名单!!!

  41. 局外人 于 2011-09-27 9:54 下午

    最近HW中软部在北京招OS架构师,给了我一个offer不知道那里的氛围如何,不会去了就陷入内部斗争吧

  42. kernelchina 于 2011-09-27 11:40 下午

    有人的地方就有江湖,人不是活着真空之中,要从空气中吸取养分,呵呵。

  43. awei 于 2011-09-28 12:08 上午

    41楼的,你来了,兄弟转过去. 兄弟为你出生入死.
    中软的兄弟可是操作系统的cache一直性都没搞清楚,别说首席的 cache染色了. 呵呵

  44. 沙加 于 2011-09-28 2:08 上午

    43楼说的是事实,俺见过好几个天天把DoXXpra挂嘴上的,却连基本的东西都搞不伶清

  45. 大宋民工 于 2011-09-28 2:26 上午

    楼上,华为的老板需要的是大量的水平不很差工作认真的廉价的民工。
    需要人才嘛,到外面买就是了,对不对?

  46. 大宋民工 于 2011-09-28 2:29 上午

    对于所谓“只培训人不培养人”华为绝对是业界典范。

  47. 沙加 于 2011-09-28 6:22 上午

    就我个人的经历和感觉来说,大宋民工说得不是很客观。其实,很多华为土生土长的人,水平还是蛮高的;只是不知外面世界有多大的土人也不少,算是鱼龙混杂吧。
    客观地说,华为没有有意识地建立一整套合理的充分的员工培训体系,也缺乏各种各样的充电机会。但内部资源其实还是蛮丰富的,值得学习的人也是蛮多的,如果有心,能耐住几年寂寞,成长还是会很大的。当然,有些人比较倒霉连续几年加班加点干同样的事情得不到太多成长的机会,这样的事情也听到过不少。
    总之,华为是个蛮复杂矛盾的事物,且在不断地变化折腾当中,简单地下个定义可能只是描绘出了其中的一面。

  48. To 大宋民工 于 2011-09-28 9:13 下午

    民工兄弟:估计你对huawei成见很大,这个也很正常。但是看待问题要客观,不要以为华为的人都是很菜,华为的成功是有其原因的(注意,不是国企)。任何外企都有很多需要被鄙视的地方,但是不能就因为这样否定外企,华为也是如此,作为一个华为,真的觉得华为非常的了不起。中国的民企里面能做到华为这个样的还有谁?

  49. 大宋民工 于 2011-09-28 9:20 下午

    楼上,你说的都对。
    所以我才说华为是业界典范。
    谁能说华为不给员工创造学习条件呢?
    我相信没有。
    但是华为高就高在,它只培训你的技能,而同时不断给你洗脑,不断给你加压。让你没有时间独立思考(同时还让你觉得公司在努力的培养你)。
    不管做技术还是管理,没有独立思考能力的人是什么,就不用我说了吧。

  50. kernelchina 于 2011-09-28 9:58 下午

    除了最高层需要独立思考外,其他人需要独立思考?大家都独立思考了,谁来完成工作?

  51. To 大宋民工 于 2011-09-28 10:01 下午

    独立思考?什么叫独立思考?外企里面的工作就叫独立思考?不要让人笑掉大牙了吧,嘿嘿。
    你想独立思考,没人拦着你的呀,华为能阻止你独立思考?哈哈

  52. 民工也会思考? 于 2011-09-28 10:02 下午

    民工也会思考?

  53. 大宋民工 于 2011-09-28 11:27 下午

    所谓独立思考就是对任何人说的话都要先打个问号,问个是不是在忽悠我。
    华为的马甲们谁来回答一下,你们公司敢对员工说这样的话吗?
    而且,我只是实话实说没有贬低华为(不择手段胜者为王,很正确)。
    为什么你们认为我对华为有成见呢?
    只是因为我说了真话?

  54. 实在看不下去了 于 2011-09-28 11:36 下午

    实在看不下去了。楼上的民工你这种心态可以理解,但是在我大宋不现实,做点事情还讨价还价,你回去吃吧。除非你是Executive,任何公司都一样。信不信由你。

  55. 沙加 于 2011-09-29 1:19 上午

    民工,其实我也感觉你对华为有些成见。刚刚看到你另外一个帖子里的发言“1 说脏话是不对的。2 华为大部分人没有资格适用第一条”。
    我想你多少都是有些成见的。
    至于你说的独立思考,这点我倒觉得大多数国人都或多或少有这方面的问题,毕竟这个国家从小到大的教育氛围都是要求你听话。我想这一点不会因为谁进了外企就会好很多,进了华为就会更差。

  56. 大宋民工 于 2011-09-29 1:24 上午

    楼上这个就要请华为的兄弟们出来表一表了。
    华为的兄弟最喜欢 “xx娘” “xx妈”了
    尤其对待自己公司的同事是不是?
    业界哪个公司说粗口有跟华为一个级别的(更不用说超越了)?
    谁能给我举个例子?

  57. 沙加 于 2011-09-29 2:36 上午

    民工,你说的情况确实存在,我也听到过;但如果真要统计起来,从比例来说只能说是少数。你说的大部分人没资格,我就感觉有失偏颇了。至少在跟你讲理的几位,没人对你爆过类似的粗口吧?所以,还是不要一下子打翻太多人,你毕竟连抽样调查都没做过,不是吗

  58. 大宋民工 于 2011-09-29 2:51 上午

    这个可能是大家接触的人不同吧。
    从客观上说我措辞确实有问题(毕竟谁也不可能接触过华为员工超过90%对不对?)
    可是,我告诉你,我接触过华为一个30人左右的team,一年里除了3个女孩子,没有一个人不说‘三字经’的。
    尤其是基层干部更是娘来妈去,习惯成自然了。

  59. 理客 于 2011-09-29 4:52 上午

    不少大公司起家时都是有自己独特的价值和优势的,不少公司长大过程中就不得不通过丛林战,不是都能像GOOGLE,FACEBOOK等那么幸运,丛林战过程中的手段就很复杂了,经过百战后才成了事,马上得天下不能马上治天下,否则就是始皇帝的下场,死在丛林前、丛林里和沙滩上的已经是白骨累累的,但成事后不能正确的转型而死掉的还有,成功转型到稳定期后,就可以稍维持一个略长一些的和平稳定期,正常的死亡方式是老化,在新一代被抛弃。
    有人说成功的基因本身就孕育着失败的种子,在走向成功的过程中,失败的种子也在逐渐长大,只是在成长的辉煌下,不容易为人所知或者重视。当真的开始重视的时候,很多时候已经是病入骨髓,扁鹊难医了。所以一个公司到了一定阶段,要么死亡,要么涅磐,但是死亡还是涅磐,在没有得到结果前,上帝也很难预测,只有在结果后,走进商学院做死体解剖的材料
    H公司后面的空间在欧美,尤其是美国,而美国最大的障碍是ZZ,这个不是一个公司可以控制的,所以5年内如果不能破美国阵,H将会有死亡/涅磐的可能,如果破了,那么可以再延续5年,也就是10年后会有死亡/涅磐

  60. awei 于 2011-09-29 6:57 下午

    赶紧跳槽了.

  61. 大宋民工 于 2011-09-30 1:26 上午

    59楼
    这个兄弟就搞不懂了?
    华为进不了美国有可能会死?为什么?

  62. 阿土仔 于 2011-09-30 1:56 上午

    理客有时把话说秃噜了

  63. 理客 于 2011-09-30 2:33 上午

    因为中美是即使嘴上不说,也是事实上的G2,其他欧俄日印南美等等是外围,H不能拓展开美国市场,H的增长就会在10%左右,很难超过20%,因为在已经开拓过的市场,竞争对手只要不是出大漏,大家基本会以各自的实力为基础,平衡在一个没有大的变化的份额上,但是,停止大幅增长,无论对中国还是HW,都是严峻的考验。要不给你3年不涨工资试试,你会考虑如何走路?

  64. 理客 于 2011-09-30 2:58 上午

    balance和trading-off是非常有意思的一对难兄难弟,大家竞争到一定程度,就会维持的一定的恐怖平衡,和生物界也类似,一旦有一方变态或者冲动,妄自做大,结果常会引起双输,伤敌一千,自损八百,每个人/公司/国家都不是神,都是资源受限而不是无限的,所以中国哲学的从易经本源开始,就从来不认为是第一最好,是最讲balance和trading-off的哲学,这和西方哲学的根基有较大的不同,而balance和trading-off常是难以用数字界定的,所以实际上最难捉摸的人心是中国人的,所以有很多时候,虽然中国哲学更有趣,但我更喜欢西方哲学的直接

  65. haoling 于 2012-05-15 6:12 下午

    一语中的