华为海思42岁高管王劲猝死:是基带、处理器业务骨干

Sina WeiboBaiduLinkedInQQGoogle+RedditEvernote分享

凤凰科技讯7月26日消息,华为旗下海思公司今日证实,海思无线芯片开发部部长王劲昨晚突发昏迷,不幸于2014年7月26日凌晨离世,享年42岁。

海思通告称,王劲1996年加盟华为,是无线早期的业务骨干,在无线产品线从普通工程师、PL,到BTS30 产品经理、上研副所长,为无线产品的奋斗多年,他曾担任瑞研所长主持工作,并领导创建了华为欧洲研究所,带领海思Balong(华为的基带处理器)及Kirin(麒麟,华为的处理器业务)团队从低谷走向成功。

海思为华为旗下半导体公司,负责芯片等的研发,已经研发出例如海思麒麟920等处理器,该处理器被用于华为荣耀最新旗舰级荣耀6上。

以下为海思公告全文:

海思同事们,

今天凌晨惊闻噩耗,我们大家的好兄弟、海思无线芯片开发部部长王劲昨晚突发昏迷,不幸于7月26日凌晨离世。

我们怀着悲痛心情,缅怀这位与我们并肩奋斗多年的战友。他在海思无线终端芯片业务最困难的时期,从海外返回接过重担,克服重重困难,带领Balong 和Kirin 团队从低谷走向成功。他为人和蔼,笑声爽朗,乐观的面庞音容犹在耳边眼前,实在难以相信在这个普通的宁静凌晨,他猝然离去,从此与家人和同事阴阳相隔,后会无期。

王劲1996 年加入华为,他是无线早期的业务骨干,在无线产品线从普通工程师、PL,到BTS30 产品经理、上研副所长,为无线产品的成功奋斗多年,他曾担任瑞研所长主持工作,并领导创建了华为欧洲研究所,是公司海外业务的重要参与者和贡献者。他在公司十八年的奋斗征程里为无线和终端芯片领域作出的杰出贡献,值得我们每个人致以深深的敬意。

亲戚或余悲,他人亦已歌,死去何所道,托体同山阿。他永远给他的团队以鼓舞和信心,我们也祝愿他往生极乐,一路走好。

海思管理团队

2014年7月26日

(没有打分)

高端招聘(2):著名投行投资分析师(4个); 著名VC投资大数据公司CTO(1)

弯曲评论 高端招聘
联系方式:valleytalkjobs@gmail.com
—————————
著名创投投资分析师(4名额)
—————————-
两年以上BAT3产品经验,或者类似经历
勤奋, 刻苦, 有独立工作能力。
英文良好。
待遇丰厚。

—————————————————
著名VC旗下大数据公司CTO(1名额)
—————————————————-
具备管理,规划大数据产品的经验和能力
知识结构完整,对把握大系统能力有tracking record
正规计算机专业硕士或者博士毕业。英语良好
欢迎已经回国一段时间或者在国外有类似经历的高端人才加盟
待遇丰厚

(没有打分)

大数据计算新贵Spark在腾讯雅虎优酷成功应用解析

Spark作为Apache顶级的开源项目,项目主页见http://spark.apache.org。在迭代计算,交互式查询计算以及批量流计算方面都有相关的子项目,如Shark、Spark Streaming、MLbase、GraphX、SparkR等。从13年起Spark开始举行了自已的Spark Summit会议,会议网址见http://spark-summit.org。Amplab实验室单独成立了独立公司Databricks来支持Spark的研发。

为了满足挖掘分析与交互式实时查询的计算需求,腾讯大数据使用了Spark平台来支持挖掘分析类计算、交互式实时查询计算以及允许误差范围的快速查询计算,目前腾讯大数据拥有超过200台的Spark集群,并独立维护Spark和Shark分支。Spark集群已稳定运行2年,我们积累了大量的案例和运营经验能力,另外多个业务的大数据查询与分析应用,已在陆续上线并稳定运行。在SQL查询性能方面普遍比MapReduce高出2倍以上,利用内存计算和内存表的特性,性能至少在10倍以上。在迭代计算与挖掘分析方面,精准推荐将小时和天级别的模型训练转变为Spark的分钟级别的训练,同时简洁的编程接口使得算法实现比MR在时间成本和代码量上高出许多。

Spark VS MapReduce

尽管MapReduce适用大多数批处理工作,并且在大数据时代成为企业大数据处理的首选技术,但由于以下几个限制,它对一些场景并不是最优选择:

 

  • 缺少对迭代计算以及DAG运算的支持
  • Shuffle过程多次排序和落地,MR之间的数据需要落Hdfs文件系统

 

Spark在很多方面都弥补了MapReduce的不足,比MapReduce的通用性更好,迭代运算效率更高,作业延迟更低,它的主要优势包括:

 

  • 提供了一套支持DAG图的分布式并行计算的编程框架,减少多次计算之间中间结果写到Hdfs的开销
  • 提供Cache机制来支持需要反复迭代计算或者多次数据共享,减少数据读取的IO开销
  • 使用多线程池模型来减少task启动开稍,shuffle过程中避免不必要的sort操作以及减少磁盘IO操作
  • 广泛的数据集操作类型

 

MapReduce由于其设计上的约束只适合处理离线计算,在实时查询和迭代计算上仍有较大的不足,而随着业务的发展,业界对实时查询和迭代分析有更多的需求,单纯依靠MapReduce框架已经不能满足业务的需求了。Spark由于其可伸缩、基于内存计算等特点,且可以直接读写Hadoop上任何格式的数据,成为满足业务需求的最佳候选者。

应用Spark的成功案例

目前大数据在互联网公司主要应用在广告、报表、推荐系统等业务上。在广告业务方面需要大数据做应用分析、效果分析、定向优化等,在推荐系统方面则需要大数据优化相关排名、个性化推荐以及热点点击分析等。

这些应用场景的普遍特点是计算量大、效率要求高。Spark恰恰满足了这些要求,该项目一经推出便受到开源社区的广泛关注和好评。并在近两年内发展成为大数据处理领域最炙手可热的开源项目。

本章将列举国内外应用Spark的成功案例。

1. 腾讯

广点通是最早使用Spark的应用之一。腾讯大数据精准推荐借助Spark快速迭代的优势,围绕“数据+算法+系统”这套技术方案,实现了在“数据实时采集、算法实时训练、系统实时预测”的全流程实时并行高维算法,最终成功应用于广点通pCTR投放系统上,支持每天上百亿的请求量。

基于日志数据的快速查询系统业务构建于Spark之上的Shark,利用其快速查询以及内存表等优势,承担了日志数据的即席查询工作。在性能方面,普遍比Hive高2-10倍,如果使用内存表的功能,性能将会比Hive快百倍。

2. Yahoo

Yahoo将Spark用在Audience Expansion中的应用。Audience Expansion是广告中寻找目标用户的一种方法:首先广告者提供一些观看了广告并且购买产品的样本客户,据此进行学习,寻找更多可能转化的用户,对他们定向广告。Yahoo采用的算法是logistic regression。同时由于有些SQL负载需要更高的服务质量,又加入了专门跑Shark的大内存集群,用于取代商业BI/OLAP工具,承担报表/仪表盘和交互式/即席查询,同时与桌面BI工具对接。目前在Yahoo部署的Spark集群有112台节点,9.2TB内存。

3. 淘宝

阿里搜索和广告业务,最初使用Mahout或者自己写的MR来解决复杂的机器学习,导致效率低而且代码不易维护。淘宝技术团队使用了Spark来解决多次迭代的机器学习算法、高计算复杂度的算法等。将Spark运用于淘宝的推荐相关算法上,同时还利用Graphx解决了许多生产问题,包括以下计算场景:基于度分布的中枢节点发现、基于最大连通图的社区发现、基于三角形计数的关系衡量、基于随机游走的用户属性传播等。

4. 优酷土豆

优酷土豆在使用Hadoop集群的突出问题主要包括:第一是商业智能BI方面,分析师提交任务之后需要等待很久才得到结果;第二就是大数据量计算,比如进行一些模拟广告投放之时,计算量非常大的同时对效率要求也比较高,最后就是机器学习和图计算的迭代运算也是需要耗费大量资源且速度很慢。

最终发现这些应用场景并不适合在MapReduce里面去处理。通过对比,发现Spark性能比MapReduce提升很多。首先,交互查询响应快,性能比Hadoop提高若干倍;模拟广告投放计算效率高、延迟小(同hadoop比延迟至少降低一个数量级);机器学习、图计算等迭代计算,大大减少了网络传输、数据落地等,极大的提高的计算性能。目前Spark已经广泛使用在优酷土豆的视频推荐(图计算)、广告业务等。

Spark与Shark的原理

1.Spark生态圈

如下图所示为Spark的整个生态圈,最底层为资源管理器,采用Mesos、Yarn等资源管理集群或者Spark自带的Standalone模式,底层存储为文件系统或者其他格式的存储系统如HBase。Spark作为计算框架,为上层多种应用提供服务。Graphx和MLBase提供数据挖掘服务,如图计算和挖掘迭代计算等。Shark提供SQL查询服务,兼容Hive语法,性能比Hive快3-50倍,BlinkDB是一个通过权衡数据精确度来提升查询晌应时间的交互SQL查询引擎,二者都可作为交互式查询使用。Spark Streaming将流式计算分解成一系列短小的批处理计算,并且提供高可靠和吞吐量服务。

2.Spark基本原理

Spark运行框架如下图所示,首先有集群资源管理服务(Cluster Manager)和运行作业任务的结点(Worker Node),然后就是每个应用的任务控制结点Driver和每个机器节点上有具体任务的执行进程(Executor)。

与MR计算框架相比,Executor有二个优点:一个是多线程来执行具体的任务,而不是像MR那样采用进程模型,减少了任务的启动开稍。二个是Executor上会有一个BlockManager存储模块,类似于KV系统(内存和磁盘共同作为存储设备),当需要迭代多轮时,可以将中间过程的数据先放到这个存储系统上,下次需要时直接读该存储上数据,而不需要读写到hdfs等相关的文件系统里,或者在交互式查询场景下,事先将表Cache到该存储系统上,提高读写IO性能。另外Spark在做Shuffle时,在Groupby,Join等场景下去掉了不必要的Sort操作,相比于MapReduce只有Map和Reduce二种模式,Spark还提供了更加丰富全面的运算操作如filter,groupby,join等。

Spark采用了Scala来编写,在函数表达上Scala有天然的优势,因此在表达复杂的机器学习算法能力比其他语言更强且简单易懂。提供各种操作函数来建立起RDD的DAG计算模型。把每一个操作都看成构建一个RDD来对待,而RDD则表示的是分布在多台机器上的数据集合,并且可以带上各种操作函数。如下图所示:

首先从hdfs文件里读取文本内容构建成一个RDD,然后使用filter()操作来对上次的RDD进行过滤,再使用map()操作取得记录的第一个字段,最后将其cache在内存上,后面就可以对之前cache过的数据做其他的操作。整个过程都将形成一个DAG计算图,每个操作步骤都有容错机制,同时还可以将需要多次使用的数据cache起来,供后续迭代使用。

3.Shark的工作原理

Shark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎,由于底层的计算采用了Spark,性能比MapReduce的Hive普遍快2倍以上,如果是纯内存计算的SQL,要快5倍以上,当数据全部load在内存的话,将快10倍以上,因此Shark可以作为交互式查询应用服务来使用。

上图就是整个Shark的框架图,与其他的SQL引擎相比,除了基于Spark的特性外,Shark是完全兼容Hive的语法,表结构以及UDF函数等,已有的HiveSql可以直接进行迁移至Shark上。

与Hive相比,Shark的特性如下:

1.以在线服务的方式执行任务,避免任务进程的启动和销毁开稍,通常MapReduce里的每个任务都是启动和关闭进程的方式来运行的,而在Shark中,Server运行后,所有的工作节点也随之启动,随后以常驻服务的形式不断的接受Server发来的任务。

2.Groupby和Join操作不需要Sort工作,当数据量内存能装下时,一边接收数据一边执行计算操作。在Hive中,不管任何操作在Map到Reduce的过程都需要对Key进行Sort操作。

3.对于性能要求更高的表,提供分布式Cache系统将表数据事先Cache至内存中,后续的查询将直接访问内存数据,不再需要磁盘开稍。

4.还有很多Spark的特性,如可以采用Torrent来广播变量和小数据,将执行计划直接传送给Task,DAG过程中的中间数据不需要落地到Hdfs文件系统。

腾讯大数据Spark的概况

腾讯大数据综合了多个业务线的各种需求和特性,目前正在进行以下工作:

1.经过改造和优化的Shark和Spark吸收了TDW平台的功能,如Hive的特有功能:元数据重构,分区优化等,同时可以通过IDE或者洛子调度来直接执行HiveSql查询和定时调度Spark的任务;

2.与Gaia和TDW的底层存储直接兼容,可以直接安全且高效地使用TDW集群上的数据;

3.对Spark底层的使用门槛,资源管理与调度,任务监控以及容灾等多个功能进行完善,并支持快速的迁移和扩容。

(没有打分)

NFV的行业调查报告

(没有打分)

Gartner . 2013 . 《Magic Quadrant for Application Performance Monitoring》

(没有打分)

Jaguar Land Rover开发自主学习智能车

原文译自:TheHindu.com

印度塔塔集团旗舰车品牌Jaguar Land Rover(可以翻成捷豹路虎?)研发中的智能车能够提供个性化驾驶体验,通过提高驾驶者注意力来帮助减少事故的发生。
使用前沿的机器学习与人工智能技术,JLR推出的智能车能够判断驾驶者身份,学习驾驶者的喜好和驾驶习惯,从而为驾驶者提供个性化的服务。
软件通过录入日期,交通状况,天气等变量来估测驾驶动作,使驾驶者能绕过驾驶中需要注意的繁琐细节,专注于前方道路。
JLR科研主管Wolfgang Epple说:“我们的自主学习技术意在减少驾驶者分心,从而降低交通事故的风险。我们的智能车可以在适当的时间提供适当的信息,驾驶者不用去翻通讯录,不用操心调整车镜,温度,座椅的位置。这使得驾驶者更不容易分心。”
Epple补充说:“目前多数智能车把焦点集中在交通和导航的预测方面,而我们想要向前推进一步,让我们的学习算法更多地关注从驾驶者身上获取信息,并通过个性化驾驶体验来提高驾驶的快感。”
智能车在驾驶者打开车门时通过智能手机识别驾驶者身份,车镜,方向盘,座椅设置都将根据驾驶者的个人喜好被设置妥当。驾驶室的温度将会被预置为用户想要的温度,并且会根据天气情况自动调节。
通过智能助手,智能车还能够分析你的日程,并根据交通情况预设导航以避免拥堵。智能助手还能根据日程判断下一个目的地。
如果你的目的地是健身房,系统还会通过学习,在去的路上使车辆达到热身的温度,在离开健身房调整到较为凉爽的温度。该智能车还能在不同路况,交通状况下学习驾驶者的驾驶习惯。
Epple表示:“通过开发具有学习功能的自适应续航控制系统,在属于自动驾驶车的下一个十年里,智能车将继续保持其趣味性及价值。”

(没有打分)

跟风报道[1]trends.baidu.com

不管你信不信,反正我是不信

本想报道Carnegie Mellon University的Bin Zhao和Eric P. Xing的Online Video Highlighting, AKA Live Light。怎奈其他作者已经出了成文,暂未公开,在不清楚具体内容的前提下,彩笔决定暂时拖住。

上周末(7月5日和6日),百度预测(trends.baidu.com)上线了新的产品:疾病预测。据说[1],是利用用户的搜索数据,结合气温、环境指数、人口流动因素建立模型,实时提供几种大众关注的病种的发病指数。

吐槽时间到。

百度的“关于疾病预测”是这样写的(如下图[5])。“产品介绍”彩笔就不说什么了,对彩笔这种零生活经验的人来说,看上去不是天花乱坠,不知道“实用价值”究竟有多少。

彩笔有信心能看懂的部分理应是“预测原理”。Google在launch GFT时,至少还有一篇配套的学术论文,甚至后续还有一系列的不断的验证、讨论的文章出版。为了这种精简版的“预测原理”实在是不值得浪费时间去count the words,即便是为了讽刺这份愚弄大众的声明。

这里又不能单纯的说“百度,what are you hiding?”在天朝这种神圣的体制下,Baidu也只是个棋子吧。

 

 

 

 

 

 

 

 

高手在民间。

 

 

 

 

彩笔其实不善于吐槽,但是看了网友们的精彩评论,鲜红的吐槽血便沸腾了。就在此时此刻,彩笔打开了百度疾病预测的页面,默认的显示是流感:41,980。彩笔选了其他的疾病种类,“指数”数值如下[6]:

性病:69,668

肝炎:56,398

肺结核:13,744

默认的状况是中国全境,没错吧。彩笔真的不知道所谓“指数”代表什么,但是“流感”之所以叫“流感”,总不能还不及“性病”……流行吧。

彩笔承认,这毕竟是“间接”证据。所以,如果实在是没什么可遮掩的,百度,你就公开了嘛,哈哈。

 

据说[2],百度预测是百度在2014年4月4日低调上线的一款大数据产品。

第一个上线的产品是“景点舒适度预测”,后续逐步推出了城市旅游预测、疾病预测、高考预测、世界杯预测(此前为已发布的服务)、房地产预测、金融预测、票房预测和就业预测。

嗯,于是彩笔又找到了槽点:高考作文预测。

所谓首届大数据时代的高考。

语出自[4],让我们看看所谓命中率2/3[7]的百度高考作文预测,究竟是怎么算出2/3的先。直接引用原文中的例子了:

百度高考作文预测的6个方向以及相关关键词

No.1时间的馈赠。关键词:依旧&记忆

在百度高考作文预测里,“时间的馈赠”荣膺出题概率榜首。结果出题老师果然没让百度失望,这次江苏卷和广东卷的作文题目分别为“什么是不朽”、“胶片与数码时代”。

所谓不朽,就是那些时间磨灭不掉或者尚未磨灭掉的东西;而胶片和数码,都是关于记忆的封存。对于这类问题的辨思,其实归根到底都是对时间的辨思,即时间的馈赠——记忆或者依旧存在的事物。

……(更多内容可参考原文[7]

让彩笔总结一下:江苏卷和广东卷的“什么是不朽”甚至“胶片和数码时代”都可以算是主题“时间的馈赠”的范围内而命中?!

这让彩笔想到曾经听到这样的一个段子:一个伟大的精神病学家在一次学术交流会上,面对在座的这个行业的佼佼者,说道:“(经过他多年苦心经营,终于悟出)世界上的精神病其实只有两种,”他伸出2个手指,“一种是能治好的,一种是治不好的。”

这个故事告诉我们,“分类”要有意义的嘛。否则,白痴都能看出来,分和不分的差别:就是没差别咯。

预测也是一样,甚至难度还要高些。或者说,(广义的)分类是预测的第一步(或其中一个环节)。

按照上述示例的那种扯犊子的总结方式,彩笔很好奇,剩下的1/3究竟有多“离谱”才没有被算到“命中”的类别里面。

大家将自己放入高考作文备考的情境中YY一下便知,按照百度高考作文预测给出的6大主题,考生的准备工作是否能跟家有“针对性”(这里就不说减少工作量或准备工作的转化率了)。很明显,答案是完全没有。富有经验的高考名师是否能做到更好?彩笔不敢妄下断言。

 

最后:

彩笔以为,这一系列的conflicts以及无的放矢的间接攻击,百度至少可以通过公开算法等举措避免(至少一部分)。

彩笔短视,不知道百度(前面也说过,可能并非百度单方面的原因)有什么可藏着掖着的(坐等各路神仙爆料),拿出点武林高手的姿态来嘛,不服来战,独孤求败好么。

 

写在后面的话:

写这种跟风报道的文章真的很容易,容易成文,容易高产,但是首席说了,要deep reading,所以这种跟风报道的文章只是极其偶尔的出现。

 

相关链接:

[1] 36氪. 百度上线“疾病预测”,利用大数据预测流感、肝炎、肺结核和性病发病趋势. http://www.36kr.com/p/213481.html

[2] 百度百科. 百度预测. http://baike.baidu.com/view/12756462.htm?fr=aladdin

[4] 百度大脑神预测 大数据命中多省高考作文题. http://tech.sina.com.cn/i/2014-06-07/11249423171.shtml

[5] 百度预测. http://trends.baidu.com/

[6] 百度. 疾病预测. http://trends.baidu.com/disease/

[7] 大数据再显威力 百度准确预测12篇高考作文题. http://digi.163.com/14/0613/14/9UKJOOOG001618JV.html

(1个打分, 平均:5.00 / 5)

一场SDN引发的网络产业变局

原文可参阅:http://network.cnw.com.cn/network-sdn/htm2014/20140626_304625.shtml

如果以Gartner技术成熟度曲线来衡量,经过萌芽期、炒作期的SDN似乎正在走入幻想破灭期:受追捧的热度在渐渐减弱,而真正的应用却还寥若晨星。

但事实上,转折往往发生在低谷时刻。在开放网络世界峰会2014开始前夕,我们走访了业界的主流厂商和分析师,希望厘清仍然笼罩在以SDN为代表的开放网络上空的迷雾,寻找其真实的发展脉络,以及可能的深远影响。

SDN、NFV冷热互现

阿尔卡特朗讯企业业务数据中心及云网络亚太区产品市场总监张宇峰经常往来于中美两地,根据他的观察,虽然以SDN为代表的开放网络仍属于较早期阶段,但今年较去年相比有了很大的进展。“去年8月份我去硅谷走访了五六家SDN初创公司,他们都很直率地承认还在寻找方向。但今年5月再去硅谷时,发现有很多企业觉得自己的定位已经清晰了不少,并且也出现了一些比较明显的用例。”

阿尔卡特朗讯企业业务数据中心及云网络亚太区产品市场总监张宇峰

英特尔SDN系统架构总监Uri Elzur从全球的角度来观察,认为目前SDN处在向实际商用转换的阶段。一些大的云运营商如Amazon、微软、亚马逊等已经在采用或准备采用具有SDN特性的解决方案,虽然并不一定是百分百的SDN技术。与此同时,电信运营商也在积极地介入。因为SDN 对其网络维护可带来很大作用。

和美国相比,中国的IT市场通常会有一定的滞后期。“SDN市场尚属于早期阶段,真正的应用还不多。”一位不愿公开姓名的IDC中国分析师这样告诉记者。

事实上,国内业界对此的看法颇为一致。

戴尔网络大中华区总经理李海平认为:“目前SDN技术尚处于引入期,从客户来看,绝大多数还抱有观望态度,从厂商来讲,则处于早期研发和测试阶段了。”

戴尔网络大中华区总经理李海平

锐捷网络研究院SDN架构师林镜华表示,尽管从学术界和产业界总体态势来看,这几年SDN的发展可谓是如火如荼,但总体而言,依然处于技术鸿沟尚未跨越阶段。这主要表现在两个方面,一是从SDN整个产业链来看,其中最为核心的两个组成部分——SDN交换芯片和SDN控制器在业界依然没有可成熟商用的产品。二是SDN至今未找到对应的杀手级应用,目前更多侧重的是自动化运维和网络虚拟化。所以,“可以毫不客气的说,SDN可在真实网络上推广的规模化商业应用迄今为止尚未出现,至少在国内尚未看到。”

华三通信解决方案部副部长翟传璞的看法相对较为乐观:“从整个业界的趋势来看,SDN的整体进展在加速。一方面,有越来越多的用户参与到SDN的研究和实践中来;另一方面,SDN的相关技术和解决方案也越来越丰富。相信随着参与客户的增多和解决方案的完善,SDN将大有可为。”

和SDN发展形成鲜明对比的是,NFV大有后来居上之势。

“与SDN相比,NFV的市场发展速度要快得多!”博科北亚区运营商业务与战略业务关系总监刘韦成以肯定的口吻告诉记者。而这显然也是博科率先推出面向运营商的开放式网络平台Vyatta的主要原因。据刘韦成介绍,最新发布的Vyatta平台的架构包含三个核心层:NFV连接服务、SDN结构服务和功能编排。目前NFV连接层的Vyatta vRouter、vADX、虚拟防火墙等产品已经实现商用化。

博科北亚区运营商业务与战略业务关系总监刘韦成

神州数码网络IP技术总监段朝晖认为,NFV的目标是以软件虚拟化部署方式提供传统的网络功能,而不再希望大量采购专业的物理设备,以达到节省投资的目的,因而被运营商积极推崇。“由于NFV的目标和技术比较确定,NFV应该会先于SDN实际部署。”

“NFV的实现方式更简单一些,因为它是在传统的x86服务器,或者存储架构上以软件的方式实现网络虚拟化功能,其门槛要比SDN低很多。同时NFV能为运营商带来一些直接的好处,如降低维护成本。运营商喜欢这种相对来说部署比较容易,且不需要大量投资却能很快见效的技术,这就促使NFV的发展会快一些。”前述IDC分析师这样推断其中的原因。

挑战在哪里?

SDN发展速度之所以低于人们的预期,有着方方面面的因素。

李海平的看法是,作为SDN主流技术之一的OpenFlow是一种颠覆性的技术,其本身只是一个通道协议,需要独立的第三方控制器和对通用硬件平台的利用,这种彻底革命式的技术创新应用一般都会比较缓慢。另外,整个生态系统没有完善也是原因之一。

思科大中华区数据中心首席架构师马元骐首先从技术层面剖析了OpenFlow的问题所在。“由目前能落地实施的OpenFlow商用方案不难发现,OpenFlow对控制和转发平面完全分离的原始思路其实是有些偏差的。因为在仅控制器层面具有智能的情况下,物理层所发生的任何链路或网络拓扑变化必须先由设备层告知控制器层面,待控制器层面做完相对应的分析和运算处理之后,再将新的转发路径下发至设备层。这一过程所造成的时延会对网络整体的可高用性产生相当程度的冲击。在新一代的应用环境中,特别是云的环境里,这样的结果是不可能被接受的。思科从ONF发展OpenFlow的初期便主张应该保留一定程度的智能在设备层,以便能够及时处理在物理层常见的类似问题(例如OAM,即操作、管理、运维),而非完全依赖控制器层面来对所有变化做出相关决定。”

思科大中华区数据中心首席架构师马元骐

对于Overlay的模式,马元骐认为主要问题来自于几个方面。第一是性能的瓶颈。第二也是更严重的问题来自于,在Overlay解决二层需求的同时,也会把二层一些不好的特性延伸到全网,使得既便是全三层无STP的IP组网也有可能受传统的二层问题连累,造成全网的影响。

林镜华指出,OpenFlow之前的版本更新过快,多级流表、任意匹配、适用广泛网络场景的设计也过于灵活和理想化,使得芯片没法设计,SDN控制器软件难以开发,这在一定程度上减缓了SDN相关产品的开发步伐。

另一方面,基于Overlay的技术由于不改变现有的网络,因此应用较多。但它们会增加网络架构的复杂度,并降低数据的处理性能。并且用户同时需要管理运维一套物理网络和一套重叠网络,本身也增加了一定的复杂性。另外,从用户的角度看,电信运营商尽管对网络资源有精细化运作需求,但出于网络服务的稳定性和相对保守的发展策略来看,要走到大胆使用SDN技术还没那么快。数据中心/云平台对网络虚拟化和自动化运维管理的需求,其实也没有人们想象的那么迫切。“新旧事物的博弈过程和网络设施作为承载基础要求的稳定可靠性要求,也在一定程度上决定了SDN技术发展的步伐是相对缓慢的。” 林镜华说。

翟传璞也认为,由于存量设备不支持OpenFlow协议,因此其如何与现网融合是一个很大的挑战。而对现有网络改动小是Overlay方案的优势,但纯软件的解决方案可能存在性能上的问题。另外,其生态系统的封闭性也会阻碍其快速落地与部署。

更多可能性

在这样的情势下,一些领头厂商与新兴厂商开始了新的探究方向。

“从思科的角度,我们更多地是由这一波SDN浪潮的原始出发点考量,思考真正能为用户解决当前所面临的困境与挑战之技术与解决方案。” 马元骐说。

他表示,不管是Overlay还是OpenFlow,或者说所谓的控制、转发分离,业界人士大部分的时间跟精力都花在怎样把传统基础架构的部署转化成一个更加弹性的自动化部署模式,但这样的方法的短版和盲点在于,太局限于底层的实践方法。底层的这些协定本身和其他相关的历史包袱,其实是造成目前在应用部署上种种限制的主因。如果不从此着眼、以根本来彻底解决这些问题,那么即便是采用了SDN,对于整体企业业务环境而言也没有太大的助益。“他说,如果跟国外的大型客户交流,便会发现他们更多要的是怎样让底层架构更灵活地配合业务部署,而这中间其实存在着应用开放和网络构建运维人员之间在沟通语言跟思维模式上的差异。思科基于此因提出了应用部署策略模型(Application/Group Policy Model),以及用来在控制器层和设备层之间沟通这种模型的通信协定 (OpFlex)。

“应用部署策略模型着重在应用组件部署时所需要的关联性。传统上我们把网络跟整体基础设施的部署以参数化的模式来进行,这些参数本身其实就是造成限制的主因。思科新提出的理论就是说,把这些网络传统的特性、参数跟语言命令转化成一个物件化(Object Oriented)的设计,让应用和底层支撑的基础架构能做更直观的对应。”马元骐说,应用部署策略模式其实是原本SDN整体理念中是相当重要的一块,只是在发展演化的过程中被忽略了。现在才开始往这一方向靠拢。“通过端到端的思维模式,通过将底层网络逻辑化、物件化来和应用层面做更完美紧密的对应与结合,是思科后续会花比较多时间来走的一个方向。这是我们跟其他厂家最大的不同点。”他表示,思科是试图从SDN的出发点,真正客户要解决的上层需求,以创新的策略模型,来导引整体网络的进化跟转换。

华为企业网络产品线总裁刘少伟认为:“在向SDN过渡的时候,我们发现客户最迫切希望解决的问题是把网络策略控制先简化下来,因为现在的策略控制和策略部署非常复杂,难度很大。所以我们认为SDN第一步应该解决策略控制,而不是把路由协议的计算全部收到控制器上,把下面的设备全部变成傻瓜设备。客户认为,如果现在设备已经工作得很好了,再进行改变不仅不增值,反而会给网络带来很多质量上的风险。因此,当我们在研究大趋势的时候,发现仅仅有SDN是不够的——它解决不了目前网络所有的挑战和问题。于是,在此基础上,华为对网络架构进行了增强和拓展,在敏捷网络上又增加了全可编程、质量感知和平衡演进能力。”

华为企业网络产品线总裁刘少伟

初创企业xNet公司CEO 高雄柄博士认为,由于当前SDN的任何一种实现方法对用户来说,都需要比较高的IT集成能力,因此只有某些大的IT厂商或运营商才能负担得起。这种投入和收益不成比例的技术手段限制了SDN的普及和推广,让大多数用户不能及时受益于SDN带来的灵活性和好处。为此,Xnet推出了flexSDN软件操作系统。

xNet公司CEO 高雄柄博士

flexSDN 支持OpenFlow模式交换机、传统模式交换机,以及OpenFlow+传统混合模式交换机,能比较广泛地满足用户需求的差异性。它支持控制器集中和控制器分散,以及xNet首创的自控智能APP 等控制模式。“flexSDN可以让ODM厂商摆脱由传统网络设备商利用网络协议来捆绑用户和主导市场的格局,让他们及渠道集成商能够更直接和更自主地面向市场,为用户提供网络方案及解决问题,提升其相对于传统设备商解决方案的竞争能力。” 高雄柄说。

高雄柄认为,如果说旧的网络产业范式是以设备供应商为中心、设备垂直封闭集成、设备驱动、用户被设备商锁定的话,新的网络产业范式则是以用户为中心、设备开放、用户自由选择硬件和软件、服务驱动的商业模式。“SDN改变了产业链的结构,让网络更好地服务于客户。”

阅读全文»

(没有打分)

2014 Gartner关于网络监控与诊断的矩阵报告

(没有打分)

国务院正式发布《国家集成电路产业发展推进纲要》(含纲要全文)

  为推动集成电路产业加快发展,工业和信息化部、发展改革委、科技部、财政部等部门编制了《国家集成电路产业发展推进纲要》,并由国务院正式批准发布实施。6月24日,上述部门举行了新闻发布会,随后,工信部网站正式公布《国家集成电路产业发展推进纲要》。

 

《国家集成电路产业发展推进纲要》内容如下:

 

集成电路产业是信息技术产业的核心,是支撑经济社会发展和保障国家安全的战略性、基础性和先导性产业,当前和今后一段时期是我国集成电路产业发展的重要战略机遇期和攻坚期,为加快推进我国集成电路产业发展,特制定本纲要。

 

一、现状与形势

近年来,在市场拉动和政策支持下,我国集成电路产业快速发展,整体实力显著提升,集成电路设计、制造能力与国际先进水平差距不断缩小,封装测试技术逐步接近国际先进水平,部分关键装备和材料被国内外生产线采用,涌现出一批具备一定国际竞争力的骨干企业,产业集聚效应日趋明显。但是,集成电路产业仍然存在芯片制造企业融资难、持续创新能力薄弱、产业发展与市场需求脱节、产业链各环节缺乏协同、适应产业特点的政策环境不完善等突出问题,产业发展水平与先进国家(地区)相比依然存在较大差距,集成电路产品大量依赖进口,难以对构建国家产业核心竞争力、保障信息安全等形成有力支撑。

当前,全球集成电路产业正进入重大调整变革期。一方面,全球市场格局加快调整,投资规模迅速攀升,市场份额加速向优势企业集中。另一方面,移动智能终端及芯片呈爆发式增长,云计算、物联网、大数据等新业态快速发展,集成电路技术演进出现新趋势;我国拥有全球规模最大的集成电路市场,市场需求将继续保持快速增长。新形势下,我国集成电路产业发展既面临巨大的挑战,也迎来难得的机遇,应充分发挥市场优势,营造良好发展环境,激发企业活力和创造力,带动产业链协同可持续发展,加快追赶和超越的步伐,努力实现集成电路产业跨越式发展。

 

  二、总体要求

(一)指导思想。

以邓小平理论、“三个代表”重要思想、科学发展观为指导,深入学习领会党的十八大和十八届二中、三中全会精神,贯彻落实党中央和国务院的各项决策部署,使市场在资源配置中起决定性作用,更好发挥政府作用,突出企业主体地位,以需求为导向,以整机和系统为牵引、设计为龙头、制造为基础、装备和材料为支撑,以技术创新、模式创新和体制机制创新为动力,破解产业发展瓶颈,推动集成电路产业重点突破和整体提升,实现跨越发展,为经济发展方式转变、国家安全保障、综合国力提升提供有力支撑。

(二)基本原则。

需求牵引。依托市场优势,面向量大面广的重点整机和信息消费需求,提升企业的市场适应能力和有效供给水平,构建“芯片—软件—整机—系统—信息服务”产业链。

创新驱动。强化企业技术创新主体地位,加大研发力度,结合国家科技重大专项实施,突破一批集成电路关键技术,协同推进机制创新和商业模式创新。

软硬结合。强化集成电路设计与软件开发的协同创新,以硬件性能的提升带动软件发展,以软件的优化升级促进硬件技术进步,推动信息技术产业发展水平整体提升。

重点突破。强化市场需求与技术开发的结合,实现涉及国家安全及市场潜力大、产业基础好的关键领域快速发展。

开放发展。充分利用全球资源,推进产业链各环节开放式创新发展,加强国际交流合作,提升在全球产业竞争格局中的地位和影响力。

(三)发展目标。

到2015年,集成电路产业发展体制机制创新取得明显成效,建立与产业发展规律相适应的融资平台和政策环境。集成电路产业销售收入超过3500亿元。移动智能终端、网络通信等部分重点领域集成电路设计技术接近国际一流水平。32/28纳米(nm)制造工艺实现规模量产,中高端封装测试销售收入占封装测试业总收入比例达到30%以上,65-45nm关键设备和12英寸硅片等关键材料在生产线上得到应用。

到2020年,集成电路产业与国际先进水平的差距逐步缩小,全行业销售收入年均增速超过20%,企业可持续发展能力大幅增强。移动智能终端、网络通信、云计算、物联网、大数据等重点领域集成电路设计技术达到国际领先水平,产业生态体系初步形成。16/14nm制造工艺实现规模量产,封装测试技术达到国际领先水平,关键装备和材料进入国际采购体系,基本建成技术先进、安全可靠的集成电路产业体系。

到2030年,集成电路产业链主要环节达到国际先进水平,一批企业进入国际第一梯队,实现跨越发展。

 

  三、主要任务和发展重点

(一)着力发展集成电路设计业。围绕重点领域产业链,强化集成电路设计、软件开发、系统集成、内容与服务协同创新,以设计业的快速增长带动制造业的发展。近期聚焦移动智能终端和网络通信领域,开发量大面广的移动智能终端芯片、数字电视芯片、网络通信芯片、智能穿戴设备芯片及操作系统,提升信息技术产业整体竞争力。发挥市场机制作用,引导和推动集成电路设计企业兼并重组。加快云计算、物联网、大数据等新兴领域核心技术研发,开发基于新业态、新应用的信息处理、传感器、新型存储等关键芯片及云操作系统等基础软件,抢占未来产业发展制高点。分领域、分门类逐步突破智能卡、智能电网、智能交通、卫星导航、工业控制、金融电子、汽车电子、医疗电子等关键集成电路及嵌入式软件,提高对信息化与工业化深度融合的支撑能力。

(二)加速发展集成电路制造业。抓住技术变革的有利时机,突破投融资瓶颈,持续推动先进生产线建设。加快45/40nm芯片产能扩充,加紧32/28nm芯片生产线建设,迅速形成规模生产能力。加快立体工艺开发,推动22/20nm、16/14nm芯片生产线建设。大力发展模拟及数模混合电路、微机电系统(MEMS)、高压电路、射频电路等特色专用工艺生产线。增强芯片制造综合能力,以工艺能力提升带动设计水平提升,以生产线建设带动关键装备和材料配套发展。

(三)提升先进封装测试业发展水平。大力推动国内封装测试企业兼并重组,提高产业集中度。适应集成电路设计与制造工艺节点的演进升级需求,开展芯片级封装(CSP)、圆片级封装(WLP)、硅通孔(TSV)、三维封装等先进封装和测试技术的开发及产业化。

(四)突破集成电路关键装备和材料。加强集成电路装备、材料与工艺结合,研发光刻机、刻蚀机、离子注入机等关键设备,开发光刻胶、大尺寸硅片等关键材料,加强集成电路制造企业和装备、材料企业的协作,加快产业化进程,增强产业配套能力。

 

  四、保障措施

(一)加强组织领导。成立国家集成电路产业发展领导小组,负责集成电路产业发展推进工作的统筹协调,强化顶层设计,整合调动各方面资源,解决重大问题。成立咨询委员会,对产业发展的重大问题和政策措施开展调查研究,进行论证评估,提供咨询建议。

(二)设立国家产业投资基金。国家产业投资基金(以下简称基金)主要吸引大型企业、金融机构以及社会资金,重点支持集成电路等产业发展,促进工业转型升级。基金实行市场化运作,重点支持集成电路制造领域,兼顾设计、封装测试、装备、材料环节,推动企业提升产能水平和实行兼并重组、规范企业治理,形成良性自我发展能力。支持设立地方性集成电路产业投资基金。鼓励社会各类风险投资和股权投资基金进入集成电路领域。

(三)加大金融支持力度。积极发挥政策性和商业性金融的互补优势,支持中国进出口银行在业务范围内加大对集成电路企业服务力度,鼓励和引导国家开发银行及商业银行继续加大对集成电路产业的信贷支持力度,创新符合集成电路产业需求特点的信贷产品和业务。支持集成电路企业在境内外上市融资、发行各类债务融资工具以及依托全国中小企业股份转让系统加快发展。鼓励发展贷款保证保险和信用保险业务,探索开发适合集成电路产业发展的保险产品和服务。

(四)落实税收支持政策。进一步加大力度贯彻落实《国务院关于印发鼓励软件产业和集成电路产业发展若干政策的通知》(国发〔2000〕18号)和《国务院关于印发进一步鼓励软件产业和集成电路产业发展若干政策的通知》(国发〔2011〕4号),加快制定和完善相关实施细则和配套措施,保持政策稳定性,落实集成电路封装、测试、专用材料和设备企业所得税优惠政策。落实并完善支持集成电路企业兼并重组的企业所得税、增值税、营业税等税收政策。对符合条件的集成电路重大技术装备和产品关键零部件及原材料继续实施进口免税政策,以及有关科技重大专项所需国内不能生产的关键设备、零部件、原材料进口免税政策,适时调整免税进口商品清单或目录。

(五)加强安全可靠软硬件的推广应用。组织实施安全可靠关键软硬件应用推广计划,以重点突破、分业部署、分步实施为原则,推广使用技术先进、安全可靠的集成电路、基础软件及整机系统。国家扩大内需的各项惠民工程和财政资金支持的重大信息化项目的政府采购部分,应当采购基于安全可靠软硬件的产品。鼓励基础电信和互联网企业采购基于安全可靠软硬件的整机和系统。充分利用扩大信息消费的政策措施,推动基于安全可靠软硬件的各类终端开发应用。面向移动互联网、云计算、物联网、大数据等新兴应用领域,加快构建标准体系,支撑安全可靠软硬件开发与应用。

(六)强化企业创新能力建设。推动形成产业链上下游协同创新体系,支持产业联盟发展。鼓励企业成立集成电路技术研究机构,联合科研院所、高校开展竞争前共性关键技术研发,引进海外高层次人才,增强产业可持续发展能力。加强集成电路知识产权的运用和保护,建立国家重大项目知识产权风险管理体系,引导建立知识产权战略联盟,积极探索与知识产权相关的直接融资方式和资产管理制度。在集成电路重大创新领域加快形成标准,充分发挥技术标准的作用。

(七)加大人才培养和引进力度。建立健全集成电路人才培养体系,支持微电子学科发展,通过高校与集成电路企业联合培养人才等方式,加快建设和发展示范性微电子学院和微电子职业培训机构。依托专业技术人才知识更新工程广泛开展继续教育活动,采取多种形式大力培养培训集成电路领域高层次、急需紧缺和骨干专业技术人才。有针对性地开展出国(境)培训项目,推动国家软件与集成电路人才国际培训基地建设。通过现有渠道加强对软件和集成电路人才引进的经费保障。在“千人计划”中进一步加大对引进集成电路领域优秀人才的支持力度,研究出台针对优秀企业家和高素质技术、管理团队的优先引进政策。支持集成电路企业加强与境外研发机构的合作。完善鼓励创新创造的分配激励机制,落实科技人员科研成果转化的股权、期权激励和奖励等收益分配政策。

(八)继续扩大对外开放。进一步优化环境,大力吸引国(境)外资金、技术和人才,鼓励国际集成电路企业在国内建设研发、生产和运营中心。鼓励境内集成电路企业扩大国际合作,整合国际资源,拓展国际市场。发挥两岸经济合作机制作用,鼓励两岸集成电路企业加强技术和产业合作。

(没有打分)