Hadoop之父聊大数据和他LOGO里的那只象!

Sina WeiboBaiduLinkedInQQGoogle+RedditEvernote分享




(来自 英特尔商用频道 微信公众平台)

昨天晚上Hadoop之父Doug Cutting、Cloudera中国副总裁苗凯翔与英特尔中国研究院院长吴甘沙共聚北京iTALK一起畅聊大数据在中国的未来发展。道长也亲临现场一睹各位大咖真容。

 

英特尔中国研究院院长吴甘沙先生首先进行了分享。院长分别从数据的爆炸式发展、英特尔大数据的分析框架、研发布局以及与Cloudera在中国的合作进行几个方面进行了讲演。

 

 

大家经常听说在我们IT这个产业有这样一种指数的规律,而这样一种规律如果应用到传统的产业来说是不得了的事情。

 

下面这条曲线前面经过长时间的缓慢增长,一旦过了临界点以后,就会产生爆发式的增长,如果在这么一个时间点T,它是X的话,下一个时间点就是X的平方,如果X是一个大数的话,这样一个指数规律使得在任何一个周期里面,它的新的值将远远把前一个周期的值抛在后面。

 

 

比尔盖茨曾经有一个比喻:如果汽车产业像IT产业这么发展的话,到现在我们一辆汽车是25美金,一加仑汽油能够跑一千英里,这就是指数带来的威力。

 

大数据要说人话,它要提取人能够理解的价值,怎么能够让数据的工具跟我们的人,跟数据科学家,跟领域专家,跟我们的终端用户天人合一,降低数据分析的门槛,这又是一个挑战。

 

基于这些挑战,英特尔推出了大数据的分析框架,在最底层是基础设施,计算存储互联成为软件可定义,我们把它做成开放式、模块化的这些标准的模块,使得我们行业能够降低门槛,更多的创新者能够进来。

 

 

上面一层是数据平台,我们跟Cloudera一起推动基于Apache Hadoop开放、可信的数据处理平台,推动整个生态基础创新,上面是分析应用,我们希望能够把高级的分析功能平民化,使得它能够迈入主流的应用,使得它能够实现规模的经济。最上面是解决方案,我们跟生态系统伙伴一起构建示范性的解决方案,把它变成可扩展的参考架构,使得在示范的领域成功能够被复制到每一个行业、每一个企业上面去。

同时英特尔的产品部门和研究院一起跟生态系统的伙伴进行合作的研发,这是我们传统的一个研发布局。但是针对大数据的话,我们认为这样一条时间线未必合理。

 

 

可以想像,从现在往前推五年的话,“大数据”这个名词还没有火起来,在这样高度变化,不可预测的环境里面,我们把这个研发周期进一步的缩短,我们跟大学的合作研究也希望尽快的能够把这个技术推向市场。

 

在开放式的协作创新框架下,我们也加入数据的安全流通以及定价的这样一种研究。这是一个研究平台,我们把它叫做“数据咖啡馆”,正如咖啡馆是让不同领域的人聚在一起,让他们的思想进行碰撞,产生新的想法,数据咖啡馆就是希望能够让不同领域、不同公司的数据能够凑在一起产生新的价值。

 

比如说两个电商,他们对于客户的画像是非常片面的,如果我们能够把他们的数据在数据咖啡馆里进行融合,他们能够获得对客户完整的刻画,这里面很重要的一点是叫做相逢但不相识”。

 

 

这两家电商愿意把数据融合,但是不愿意对方能够看到自己的数据,如何能够在不相识的这样一种前提下让他们相逢,让他们能够做数据的分析,这一定程度上解决了刚才讲到的数据隐私安全的问题。

 

 

就在昨天,Cloudera中国也成立了,这意味着我们跟Cloudera的合作可以从世界范围来到中国。

 

我们希望能够携手一起去为我们中国的用户提供满足他们需求的大数据的技术和解决方案。我们也期待能够一起为推动大数据的黄金时代在中国发生尽绵薄之力。


 

接过吴院长话筒的是Cloudera中国副总裁苗凯翔先生。

 

 

Cloudera来中国了! Cloudera自2008年成立到现在有六年时间。虽然公司只有800多人,但在全球已经拥有1200个合作伙伴,由于其领先的技术,已经带头形成全球最大的大数据生态链。

 

每天, 美国70%智能手机的数据都从Cloudera平台有经过一定的后台处理,这对美国经济商业影响力都是巨大的。但Cloudera不止产品领先,从服务以及培训来讲,Cloudera也是非常棒的。目前,我们在全球已经培训了很多Hadoop专家,而他们都成为了在Hadoop方面很有能力的人。

 

 

中国是一个很天然的大数据环境,人口众多。它的终端也好、网络数据也好、交易数据也好,都非常多。 大数据不光是技术创新,也是应用创新的环节,在中国搞大数据前景巨大。

 

大数据的概念在中国虽然已经不陌生,但是它的部署和应用状态,真正应用,可能要比美国滞后两年。原因之一就是在中国本土还没有一个公司能够把大数据去普及,真正架起来和跑起来,应用案例能够真正搞清楚。

 

中国对于Cloudera来讲是非常重要的一个环境,我们要帮助中国在大数据上面去发展,要借助于Cloudera在全球,特别是在美国的应用案例,一些技术拿过来帮助中国的企业在这个领域去发展。

 

Cloudera在解决方案上,在软件上,在应用场景上是最领先的,而英特尔在全球它的服务器的占有率是90%多,这样大数据底层架构和英特尔一起能够合力,帮助中国的产业去发展。

 

我们是今年3月份公布了英特尔和Cloudera的合作。合作之后,两家合作非常紧密,第一是把英特尔过去的经验,特别是在中国的经验,通过Cloudera的合作,把IDH的功能和Cloudera的CDH和EDH功能融合在一块去研发更强的产品。很高兴的讲,当时在3月份开始的想法,在5月份开始的计划已经全部实现,充分把IDH所有的功能和CDH功能结合在一起。而Cloudera5.3会在本月推出。

 


 

最后大牛人Doug Cutting驾到~

 

 

很高兴能够到这里来和大家分享。

 

英特尔的同事刚刚已经提到,中国市场的机会不仅仅是来自硬件,指数级的增长已经持续了15年,也就是说,我们现在的数据和计算能力比过去15年的能力超越了已经是成数百万倍,我们的内存、联网的带宽和各种数据的级数都已经出现了指数性的增长。

 

我们所做的事情是在根本上改变了这个社会,可以称之为革命性的、阶段性的变化。我们现在不能够再看到这些单独的数据,而是把所有的数据放在一起来考虑。这后面的驱动因素是什么呢?

 

 

现在使用计算机的人和正在使用这些设备的人,还有像英特尔的这些用户们,他们都正在推进整个进程的发展。我们可以稍微想一想现在使用电脑的人,不光是我们的台式计算机,还包括所使用的手腕上的设备、我们的汽车、各种传感器、摄像头等等,使用计算能力的这些设备无处不在。

 

而且这个趋势会持续继续下去,我们会看到越来越多的设备他们需要去使用计算能力,他们也会同时产生更多的数据。数据能够让我们了解到底这些设备让我们处理什么样的业务,能够帮助我们完成什么工作,如果把数据收集起来,我们可以把数据进行整合,然后就可以创造出来一个高清晰度的图像,就是关于各种设备它们运作的情况,而且也会了解到我们在这一块,我们的企业、我们的业务到底是怎么样进行的,这可以帮助我们的企业进一步改善和优化流程,扩展发展。

 

我们可以不断地去创造一些人们能够负担得起的、性价比较高的设备,而这些设备会不断产生新的数据。

 

越来越多的行业,已经通过利用分析数据的方式进行业绩的提升,不光是在高科技产业,包括在一些其他的行业,比如说采矿业、交通行业等等,它们都开始使用数据。因为他们认识到通过使用数据可以获得更快的提升,数据的收集可以帮助他们更好的进行业绩的评估和衡量。

 

我们需要有软件来支撑,我们要找到一种可以更好的创造软件的方式。在过去的20多年当中,我们看到现在有越来越大的趋势,就是开源的趋势。人们喜欢开源平台,因为在平台之上,他们互相信任,不用担心要付费,并且可以根据自己的需求来进行修改。

 

英特尔给我们提供了一些其他的技术,经过我们不断地尝试,不断地试验,我们发现在这一块,这个平台有了一些颠覆式或者重大的突破。

 

我们可以在这个平台上一起做事情,所以看到这样的一个行业的趋势得到了大家的认可。我们把它叫做企业的数据中心,企业数据中心可以支持不同的,刚刚提到的这些风格,而且现在使用的人数也越来越多,他们可以在上面使用自己新的应用程序,可以把它作为默认的平台。

 

我的同事用智能手机来做了比喻,我们的智能手机既是手机,也是计算器,是摄像机,也可以帮我们来追踪活动,可以帮我们记录日历,有很多种功能,而且所有的功能都不一定是最佳的功能,肯定不是你能买到最好的照相机,但是我们今天90%的照片都是用智能手机拍摄的,因为智能手机在那儿,你知道怎么样来用它,而且它里面也集成了所有的生活当中用到的工具,可以发送照片、可以分享照片、可以用手机来做很多的事情。

 

相似的事情是当我们提到企业数据中心的时候,它的作用也是类似的。我们并不是使用独立的系统。大家会越来越多的使用数据中心,因为所有的工具都是集成在一起的,这样的话我们就可以通过Cloudera和英特尔的合作,为大家来集成更多的工具,实现这些功能,弥补我们各个项目之间的空缺,可以把20个社区之间的差距弥补起来。这样的话就可以让人们来把所有的数据整合在一个地方,从中盈利。

 

以上就是我今天想跟大家分享的内容。

 

 

倡导开放架构的英特尔+ 倡导开放社区的Hadoop的Cloudera, 传说中的强强联合大概就是上面呈现的这个样子。

 

关于Hadoop的名字和LOGO由来,Doug Cutting解释道:”这个名字是我儿子给一头棕黄色大象起的名字。我的命名标准就是简短,容易发音和拼写,没有太多的意义,并且不会被用于别处。小孩子是这方面的高手。Google就是由小孩命名的。”

 

 

(没有打分)

雁过留声

Comments are closed.