分享

硅谷深处的忧虑(4)~谁的乐园（上）

每一个华丽的梦，都是从黑夜开始。

梦开始的时候，我们并不知道自己的角色，欢乐还是悲伤，闲暇还是彷徨？梦中只有模糊的道路，我们奔跑着，没人去留意风里尘埃，水中落花。然而，当梦醒的时候，我们是否真地寻到了那梦中的“乐园”？亦或，还站在渺无尽头的路上吟唱：究竟谁，捡起了我曾经的梦？

许多人看到标题的第一直觉：硅谷，当然是创业者的梦中乐园。是的，如果你看过《The Social Network》这部电影，一定还记得Sean Parker在劝说Mark Zuckerberg西迁时，所描绘的硅谷。在Sean Parker的图画里，硅谷是一个充满了机会、金钱、投资人、和天才创业者的极乐之园。

五年之前，我也对此深信不疑，但，现在不是了。

在我看来，创业者是一个稀少而独特的群体，他们有着强大的自由之心，并渴望掌控命运的轮盘。对于创业者而言，这世上并不存在所谓的“乐园”之地，因为整个世界都已被装在了自己的“心”里，一心一世界。换句话说，对于他们而言，这世界的任何一个角落，即是天堂，又是地狱，他们可以一念成佛，也能一念成魔。

“乐园”这个概念，对于那些并没有能力改变“世界”的普通人而言，才更有意义。确切地说，每一个没有能力开天辟地的普通人，才更倾向于在客观的世界里，寻找一个恬静的“乐园”。

而硅谷，正是计算机行业普通员工的乐园。如果，你想在下班后不受工作邮件的烦扰；如果，你想在周末休息两天，远足，海钓，登山，亲子；如果，你想享受平静稳定的生活节奏，并在业余时间做自己喜欢的事情；那么，请到硅谷来。虽然，这种情形，很可能是“生于忧患，而死于安乐”的翻版，但至少，现在的硅谷的确可以给普通人提供一个如此安逸的环境。

以上所述，并非言之无据。我们来看一下具体的数字。美国劳动部的统计数据[1]表明：在硅谷，计算机从业者的年均收入是11.5万美元。如果再算上奖金与股票的话，计算机从业者的年均收入应该在15万美元左右。那么在一个双计算机职工的家庭里，一年的收入就是30万美元。倘若按照30年工作年限计算的话，一个家庭职业生涯的总收入为900万美元，约合5500万人民币。（相当于连中11次彩票。单职工家庭也能中5.5次彩票：）

如果，你没有“富可敌国”的壮志雄心，那么，这些钱足够你过上体面富足的生活，甚至对于很多创业者来说，一辈子也未必有900万美元的收入。

另一方面，与中国的计算机业员工相比，美国员工的工作更加稳定，忠诚度也更高些。一份来自Linked的年度报告[2]显示：中国的互联网业者跳槽的平均长度为31个月，而在美国，这一长度则是45个月；中国的电信业工作者平均每隔38个月就更换雇主，而美国电信业者的跳槽周期则是60个月。美国劳动部的统计[3]也显示：美国计算机业者约5年更换一次雇主。这一数据与Linkedin的报告基本相符。

我不想探讨是什么造成了中美员工忠诚度上的差异，因为这牵扯太多纠缠不清的因素。但我相信，绝大多数人并不喜欢如此频繁的更换工作，绝大多数人都期望过上稳定的朝九晚六的生活，这并不是什么“奢求”或“过错”，这只是正常的人性需求。如果我们集中精力，提高效率，每天9个小时的时间，足够我们把本职工作完成得干净漂亮。现在已经有一些互联网初创公司，例如Quartz(qz.com)和Treehouse(teamtreehouse.com)，设定了工作四天，休息三天的时间表。

成功的创业者，确实需要有“狼性”，和不可遏制的“野心”，但这种“狼性”与“野心”并不能以“企业文化”的帽子强加于普通员工。我们应当正视，普通人与领袖之间的差异。要知道，“人还是要有梦想，万一实现了呢？”这句话，仅仅适用于极少极少的一部分人。

硅谷，固然有天纵奇才的创业家，更有无数尽职敬业的普通人。其实，这片“乐园”，并不是什么天赐之地，它只不过是无数普通人用自己朴实无华的生活所铸就。平凡忘忧，就是这种快乐。

我喜欢在周末的早晨到The Annex去吃早午茶。这家小餐馆，在斯坦福大学旁边，距离风投界著名的沙丘路（Sand Hill Road），也不过咫尺之遥。我可以想象，在沙丘路上那数以千计的风投家们，每天都在疯狂与躁动中度过，他们手上的金钱，轮转又轮转，以神奇的魔力，改变了世界的前行轨迹。

而我与他们不同，只希望在自己平静的世界里，欣赏一花一叶，以及他们的传奇故事。

每一个华丽的梦，也都是在黎明前的黑暗里结束。

* * *

引用文献：

[1]. http://www.bls.gov/oes/current/oes150000.htm#(2)

[2]. http://www.chinainternetwatch.com/10104/chinese-employees-change-jobs-more-often-than-americans/

[3]. http://www.bls.gov/news.release/pdf/tenure.pdf

图1. http://abc.go.com/shows/desperate-housewives

图2. [1]

图3. [2]

分享

分享

最近业界有很多技术和产品都认为属于内存计算的范畴，由于我个人也从事于内存计算产品的研发，所以想借个机会，跟各位聊聊到底什么是内存计算技术，以及比较一些现在两种比较主流的内存计算技术Apache Spark和SAP HANA，它们的特点和区别。

什么是内存计算技术？

关于内存计算，就像云计算和大数据一样，其实无论在百度百科还是Wikipedia都没有非常精确的描述，但是有几个共通的关键点，我在这里给大家总结一下：其一是数据放在内存中，至少和当前查询工作涉及到的数据放在都要放在内存中；其二是多线程和多机并行，也就是尽可能地利用现代x86 Xeon CPU线程数多的优势来加速整个查询；其三是支持多种类型的工作负载，除了常见和基本的SQL查询之后，还通常支持数据挖掘，更有甚者支持Full Stack（全栈），也就是常见编程模型都要支持，比如说SQL查询，流计算和数据挖掘等。

Apache Spark的设计思路

大家都知道，现在Apache Spark可以说是最火的开源大数据项目，就连EMC旗下专门做大数据Pivotal也开始抛弃其自研十几年GreenPlum技术，转而投入到Spark技术开发当中，并且从整个业界而言，Spark火的程度也只有IaaS界的OpenStack能相提并论。那么本文作为一篇技术文章，我们接着就直接切入它的核心机制吧。

图1. Spark的核心机制图

在Spark的核心机制方面，主要有两个层面：首先是RDD（Resilient Distributed Datasets），RDD是Spark的最基本抽象，是对分布式内存的抽象使用，实现了以操作本地集合的方式来操作分布式数据集的抽象实现，它表示已被分区，不可变的并能够被并行操作的数据集合，并且通常缓存到内存中，并且每次对RDD数据集的操作之后的结果，都可以存放到内存中，下一个操作可以直接从内存中输入，省去了Map Reduce框架中由于Shuffle操作所引发的大量磁盘IO。这对于迭代运算比较常见的机器学习算法, 交互式数据挖掘来说，效率提升比较大。其次，就是在RDD上面执行的算子（Operator），在Spark的支持算子方面，主要有转换（Transformation）和操作（Action）这两大类。在转换方面支持算子有 map， filter，groupBy和join等，而在操作方面支持算子有count，collect和save等。

Spark常见存储数据的格式是Key-Value，也就是Hadoop标准的Sequence File，但同时也听说支持类似Parquet这样的列存格式。Key-Value格式的优点在于灵活，上至数据挖掘算法，明细数据查询，下至复杂SQL处理都能承载，缺点也很明显就是存储空间比较浪费，和类似Parquet列存格式相比更是如此，key-Value格式数据一般是原始数据大小的2倍左右，而列存一般是原始数据的1/3到1/4。

在效率层面，由于·使用Scala这样基于JVM的高级语言来构建，显而易见会有一定程度的损失，标准Java程序执行时候的速度基本接近C/C++ O0模式的程度，会比C/C++ O2模式的速度慢60%左右。

在技术创新方面，个人觉得Spark还谈不上创新，因为它其实属于比较典型In-Memory Data Grid内存数据网格，无论从7-8年前的IBM WebSphere eXtreme Scale到最近几年新出，并用于12306的Pivotal Gemfire都采用较类似的架构，都主要通过多台机器拼成一个较大内存网格，里面存储的数据都接近Key-Value模式，并且这个内存网格会根据很多机制来确保数据会持久稳定地保存在内存中，并能保持数据的更新和恢复，而在网格上面使用一些常见的算子，来执行灵活的查询，并且用户可以写的程序来直接调用这些算子。

图2. Spark的生态圈

但是在整体架构的展现形式方面的，个人觉得Spark的确是领先同类开源产品两个身位的，因为它已经接近实现其Full Stack的梦想，它包括Spark Streaming，GraphX，MLBase，还有BlinkDB这个绝对的亮点（虽热个人觉得随着计算能力的提高，大数据在今后直接算也是可行的）。还有，个人真心对AMPLab的推广能力深深佩服。个人对Spark的总结是“创新的产品生态，较为传统的技术”。

SAP HANA的设计思路

其实至少10年前就有一波内存计算的风潮，那时代表性的产品主要有用于OLTP事务加速的Timeten和Altibase，而2010年开始的内存计算技术产品，最有代表性的莫过于SAP HANA，由于HANA公开资料比较少，所以在技术方面的描述没办法像Spark那样的详细，那么我这边先根据部分公开的资料和我的一些理解稍微和大家聊聊它使用到的一些核心技术。

图3. SAP HANA计算引擎

主要有三个方面，首先，在性能优化方面，它尽可能地利用Intel x86 CPU特性，当然这是和他们在HANA设计初期就和德国Intel深度合作有关，主要做了两个设计：其一是全面利用最新的Intel指令集，在处理逻辑上面，全面采用Vector Processing的理念从而尽可能地使用最新的SSE4.1和SSE4.2等指令集，还有就是在NUMA场景下降低消耗，使其多线程性能提升参数尽可能地接近1；其二是在数据结构方面，为了尽可能地利用好Cache，并尽可能少地访问内存，所以推出了缓存敏感的CSB（Cache Sensitive B+）树来代替传统的B树；其次，HANA还支持动态编译，无论是SQL查询还是MDX查询等，在HANA内部都会都被转译一个公共的表示层，名为L语言，并且在执行之前会使用LLVM来进行编译为二进制代码，并执行，这样做的好处主要是避免传统数据库引擎繁琐的Switch-Case逻辑，并且由于这些Switch-Case逻辑很容易导致Context切换，所以如果避免类似的逻辑，这样对整体性能裨益良多；还有就是完全内存化，也就是确保所有数据都在内存中，就算是用来做数据安全性的Snapshot快照也不使用廉价的硬盘，而是使用昂贵的SSD来做保存，这样保存和恢复都更快。

在存储数据结构方面，HANA是行存和列存都支持，但是根据我碰到的一些用户反馈，用户基本上还是以使用列存为主。

图4. SAP HANA产品全貌

在产品形态方面，它主要还是提供多种工具和产品接入，都主要以分析为主，比如类似SAP NetWeaver或者BO这样BI工具，还有支持文本分析，以及各种预测算法，并且在这些之上，开发出很多针对某些行业的应用，比如，财务方面，物流方面和广告方面的，所以根据部分用户的反馈， HANA如果只是当它内存数据库来用，其实价值不是特别大，但是如果能把它当中开发平台来使用，那么就很物尽其用，因为它上面能利用的库和应用比较多。在销售方式方面，还是传统的License模式。总体而言，个人觉得SAP HANA这样内存计算平台“有特色的技术，较传统的产品形态”。

综述

为什么要聊聊内存计算这个问题，因为我基于个人多年的研发经验，对于常见的SQL分析而言，由于其本身读写形式是连续读，而连续读硬盘本身的读写能力也是挺强的，再加上存储数据本身是压缩的，所以当硬盘个数和CPU个数比较匹配的话（比如1：1），那么在执行数据分析的时候，数据是否在内存并不是极为关键，性能比在1比6左右，也就是数据完全在内存比数据完全在硬盘中快5倍左右，这个性能比在大多数情况下用户不会觉得非常关键，所以个人觉得单纯把全部数据放在内存中的意义不是特别大，因此我特地拿出Apache Spark和SAP HANA这两款产品的出来比较，从而发觉现在其实内存计算没那么简单，还是有非常多的门道的。那么对于用户，该如何在这两种技术之间选择呢？下面是我个人的见解：

对于那些希望有一整套Full Stack的支持初创企业，个人支持你们去使用Spark，因为他们这个群体本身的特色就是喜欢尝试新鲜的东西，数据不会特别大，需求会比较多变，同时也不会使用到特别复杂的功能，所以Spark对他们而言，更适合。

对于HANA的，个人觉得特别适合那些传统企业，因为它的SQL接口更成熟，速度更快，可以做到复杂查询实时出结果，于此同时它提供的文本分析工具和数据挖掘工具，但可惜许可证成本太高，并且也因为这个原因，导致使用HANA的群体比较小，没有一个生态群，所以HANA技术上的创新也很难造福千千万万的程序员。

分享

分享

余凯大神前段时间发的一篇论文，内容很棒，看起来也很过瘾。
Ps:有没有什么插件能在线滚动看pdf,感觉每次要下载太打消积极性了

分享

分享

硅谷深处的忧虑(3)~谁唤醒了恶魔

我想先从一个流传的故事来开始今天的探讨[1]：

“在山里，住着一个农夫，靠自耕自种为生，但有一群野猪，经常出来啃吃农夫的庄稼，农夫试图消灭这些野猪，便购买了猎枪，整夜地守在田地旁边，一俟发现野猪，便开枪射击。但这种方法起到的作用微乎其微，因为田地很大，野猪又非常狡猾，不会固定地出现在同一个地点。农夫偶尔能打死一只野猪，但依然无法避免农田被啃的悲剧。

后来，农夫想出了一个高明的办法。他把农田里最好最甜的玉米，摘下来，堆放在一个固定的地方，引诱野猪来“免费”吃。起初，野猪们很有戒心，但吃了几个月的甜玉米之后，发现非常安全省力，既不需要自己去“摘”玉米，又没有农夫来袭击，于是野猪们放心大胆地吃了起来。又过了几个月，农夫准备收网了。他开始在外围筑起高大厚实的木板，每天只筑一个木板，野猪们也没有意识到危机。直到某一天，农夫把最后一个木板钉在地上，形成了一个封闭的圆形猪圈。此时，野猪们知道中计，想从猪圈里逃出来，但为时已晚。更何况，经过几个月的饱食，野猪都变成了肥大笨拙的家猪，丧失了一切的战斗能力。剩下的事情，就是，农夫一天拖一只出来…”

这个故事试图说明一个道理：天下没有免费的午餐。如果一件事情，在表面上看起来是“免费”的，那么它一定隐藏了某种代价。

现在，我们来体会一下正在互联网行业里大行其道的“免费”模式。这种新型的商业模式，正被一些大佬赞许为颠覆性的“互联网思维”。然而，在我看来，这种商业模式是建立在一种“虚伪”之上。所谓“虚伪”，是指互联网企业把“追求商业利益”的本质多绕了几个圈圈，隐藏到消费者的视野之外。当然，这种“虚伪”并无任何贬义，只是一种客观的描述。

其实，这种免费模式也并不新鲜热辣，它在第一代互联网公司诞生的1994年（以Yahoo为代表），就存在了。当时，人们不需要付费购买报纸，就可以自由地从Yahoo网站上获取最及时的新闻。随着Google的出现，这种模式被发扬光大。人们不仅可以从Google那里看到免费的新闻，更能获得免费的邮箱、免费的云存储、免费的视频、免费的办公软件、免费的操作系统、免费的地图……Google几乎免费了一切。当然，这些“免费”是有代价的：人们需要把自己的“隐私”交给Google来管理，更准确地说，是交给Google那庞大的计算机系统来管理。

从模式识别的角度来看，一个人的某种“隐私”，相当于这个人的一种“特征”（feature）。一个真实世界里的人，在虚拟的计算机世界里，完全是由他的特征来表述。在理想情况下，如果获得了足够多的特征，那么计算机便可以完全洞悉一个人的内心世界。通俗地说，计算机具备了读心之术。顺其自然的下一步，就是计算机的“控制之术”了。

几天之前，Elon Musk（特斯拉汽车CEO）在麻省理工学院的一个讲座上，说出了他的担忧：人工智能技术有可能唤醒一个无法控制的恶魔[2]。（With artificial intelligence we’re summoning the demon. There’s the guy with the pentagram, and the holy water, and he’s like — Yeah, he’s sure he can control the demon? Doesn’t work out：我们正在用人工智能召唤起一个恶魔。就像有一些家伙，觉得自己能够通过圣器和圣水来控制住恶魔，但实际上，这不可能。）

在我看来，Elon Musk的话并不是危言耸听，而是一种真实存在的可能。

其实，我们现在的许多行为，都已经被计算机所掌控。我每天收看的新闻，是Google推荐的，我网购的商品是Google推荐的，我预订的旅馆是Google推荐的，我去的餐馆是Google推荐的，我开车的路线是Google推荐的，甚至连我旅游的日期也都是Google根据机票价格来优化安排的。我不费心，很省力，基本上快成为一头“家猪”了。假如，我是说假如，Google想谋杀我的话，它只需要把我导航到悬崖上就行了 :<

如果说，第一代的Yahoo还只是把“玉米”堆放起来的话，那么第二代的Google已经开始在玉米周围建筑“木栏”了。当然，现在离最后一块木板还有很长的时间，但这种趋势却是潜在，甚至是无法扭转的。

我们不妨进一步思考。表面上看来，是人工智能技术唤醒了恶魔，但人工智能技术是要建立在我们隐私的大数据之上，而获取我们的隐私是要建立在所谓的“免费”模式（互联网思维）之上。但，为什么“免费”模式会兴起呢？这是因为我们人性深处的潜藏之恶吗？（比如，懒惰，逐利，虚伪）当我们体察到了人性深处的“邪恶”时，还会指责那个遥远的“恶魔”吗？

或许，是我们唤醒了恶魔；也或许，我们自己就是那个恶魔。

* * *

[1]. 该故事出自《洛克菲勒留给儿子的38封信》一书。这本书有可能是伪作，但本文只是想讲述一个故事，而并不去考证这本书的真伪，也无意以洛克菲勒来妆点门面。

[2]. http://techcrunch.com/2014/10/26/elon-musk-compares-building-artificial-intelligence-to-summoning-the-demon/

图1. http://www.bidnessetc.com/28029-artificial-intelligence-is-a-demon-that-will-kill-us-all-elon-musk/

图2. http://www.clickonf5.org/7023/google-empire-dont-be-evil/

分享

分享

硅谷深处的忧虑(2)：未知的自由~Google X

我去过很多地方，但也有许多地方未去，我并不是为了去享受旅行的乐趣，而是为了获得某种未知的自由。每一次，在出发收整行囊的时候，我都会有种奇妙的感觉，仿佛是宇宙洪流要把自己向世界的彼方推送，而那个“彼方”却充满了未知，以及天然的自由。在我看来，人生即是旅行，芸芸众生，不过两种人而已，自由的，抑或不自由的。

绝大多数人，都在日复一日地做着重复性工作，这当然是没有自由的；而另外一些人，却在探索未知的世界，每一个细小的发现，都会重新标定整个人类的知识边界，这在我看来，是“自由”的究极之境。确切地说，这是一种“未知的自由”，因为不晓得路在何方，便会有无穷多种选择的自由。在信息论里，以“熵”（Entropy）来描述某个系统的自由度，简单说来，确定性工作是没有自由的，相当于“熵值”为0；而选择性愈多，那么系统的“熵值”愈大，自由度也愈大。

通常，我们把这些探索未知的人称作研究员，或科学家。对于巨型科技企业而言，科学家有着不言而喻的重要性，因为这些企业有雄厚的资金储备，并不急于在某项产品上获得短期效益，往往要规划十几年之后的“超级产品”，这种工作，工程师是无法胜任的，需要顶尖的科学家来探索那“未知的自由”。

对“自由”的探索并不是件简单的事情，每一项新发现都极其艰难。然而，这艰难漫长的探索过程，在本质上，却与企业的目标背道而驰。每一个企业，因其固有之商业属性，无可避免地要以追求金钱利益为目标，而且利益越大越好，过程越短越好。随着全球商业竞争的加剧，当年那些巨型科技企业也不得不面对现实，重新思考“自由探索”的必要性。

事实上，自2008年以来，科技巨头们正在慢慢剥离自己的研究（Research）机构，有些改之为研发（R&D，Research and Development）机构，有些干脆以减员关闭了事。举例来说，IBM的裁员已成每年例行之事，仅在今年就计划裁员13000人[1]，其中位于德州的半导体研究机构里就裁去了上百人之多[2]，这在当年那个以Power PC引领世界处理器潮流的IBM来说，几乎无法想象。另一个此前从未拿研究院开过刀的巨头，微软，也在今年关闭了位于硅谷的研究院，波及50名研究员，占研究员总数的5%[3]。

两大巨头尚且如此，更别提诺基亚、摩托罗拉、HP、AT&T、朗讯，这些正在走下坡路的企业。原来被认为是最稳定的科学家们，也变得惶惶不可终日。无怪乎，工业界里有种论调：科学研究，正以宿命之姿走向消亡。

真的如此吗？回答是否定的。这世上，至少还有一个企业，正在雄心勃勃地向长期研究投下巨额赌注。它，就是Google。

Google于2010年，以“未知”之名，创建了秘密实验室~Google X（X的意思是：unknown）。Google X座落在Google园区里一个不起眼的边缘处，三层的小楼，没有任何标识，你甚至以为这里只是Google的一个仓库。当然，外表的平淡，并不能掩饰其内有的巨大张力。按照Astro Teller（Google X的实际负责人）的说法，Google X的目的是“以十倍的量级来提升现有技术，并打造如科幻一般的解决方案”（improve technologies by a factor of 10, and to develop science fiction-sounding solutions）[4]。

我们先来看看Google正在进行的几个研究项目：

• Google Glass：开启了穿戴式设备的热潮；
• Driverless Car：集成多项先进技术于一体，为人类未来二十年的智能化做出铺垫；
• Project Loon：通过气球技术，要让世界上的每一个人都能上网；
• Project Wing：以无人机技术，使得城内的快递时间缩短到分钟级别；
• Calico：研究“长生不老”之药（Calico并不隶属于Google X）。

这几项研究，在短期内都无法带来金钱上的利益，但却能够在未来极大地推动人类文明的发展。与其它企业研究院不同的是，Google X的项目，常常需要来自不同领域的人员一起研究，而且这些领域并不仅仅局限于计算机科学。现在，Google X约有250名人员，他们中间有哲学家，艺术家，巡山员，机械专家，甚至还有一名研究员曾经获得过两次奥斯卡奖（Special Effects）[5]。就连Google X的主管，Astro Teller，除了是个人工智能科学家之外，还是个科幻小说家。

通常，我们对科学家的定义是：对越来越细小的领域，知道的越来越多（Know more and more about less and less）[6]。然而，这并不是Google X要极力招揽的对象。Google X更倾向于吸纳一些有“哲学思想”的人进来：那些“对越来越宏大的领域，知道的越来越少”的人（Know less and less about more and more，相当于“无招胜有招”的境界）[6]。

其实，单就Google X实验室而言，它的创建，本身也体现了“对未知的探索”，因为Google X这种揉杂了艺术和科学的研究形式，此前并未出现在任何其它的研究院里。也就是说，工业界的科学研究并没有走向消亡，它不过是被移植到了人文与艺术的“花园”里，升华到了远超以前的高度。

这，就像是一棵小小的鸢尾草，原本孤悬在峭壁之上，当被采摘下来，种在肥沃的花田里时，将会开出绚烂至极的花朵。

[1]. http://www.businessinsider.com/ibm-layoffs-expected-2014-2

[2]. http://www.myfoxaustin.com/story/22583328/ibm-job-cuts

[3]. http://spectrum.ieee.org/view-from-the-valley/at-work/innovation/the-last-day-of-microsoft-research-silicon-valley

[4]. http://www.wired.co.uk/magazine/archive/2013/11/start/destination-moon , Oct 2013.

[5]. http://www.fastcompany.com/3028156/united-states-of-innovation/the-google-x-factor

[6]. 引自John M. Ziman的名言.

图1. http://www.pitme.com/pitme-labs/

图2. [3].

图3. http://ad009cdnb.archdaily.net/wp-content/uploads/2013/10/525f0533e8e44e245100000a_secret-google-project-could-transform-construction-industry_googleplex.jpg

分享