您现在的位置:主页 > 开奖记录 > 正文

先智数据董唯元:​智能时代的存储变局历史数据存储

文章来源:本站原创 发布时间:2019-11-05 点击数:

  展开探讨,以个人经历,扎根存储业务多年的视角,结合当下智能时代的特征,阐述在数据、资源管理过程中常遇到的挑战以及应对方案,演讲深入浅出,风趣幽默,观点独到。

  董唯元,资深存储技术专家,国际存储工业协会个人会员,曾任中科院计算所863课题组产品技术顾问,多年来持续专注大型数据中心的建设与运维工作,曾主持规划并建设了数十个大型数据中心系统,有传统模式数据中心,也有新型云化业务平台。现任先智数据中国区总经理。

  题目叫突破创新“音障”,我之所以取这个名字我觉得我们今天整个的创新,在外行看很热闹,在我们圈里的人看其实有一些困难要解决,尤其是近期来说。可能最近这几个月,一两月大家会陆陆续续看到原本非常热的世界顶级的人工智能这些公司出现了一些不那么令人乐观的变化,当然还有很多大的外部变化。所以现在是有一些困难,这些困难我解读成“音障”,后面什么意思我会慢慢去把它一条条解释清楚。

  作为做存储的人,我个人是做了差不多有20年的存储,存储这个行业也基本上,国际存储工业协会就就是在1999年成立的,我基本上可以稍微自夸一点讲,我见证过前面存储非常辉煌的兴起的阶段,也非常切身的感受了最近将近十年存储不那么辉煌,甚至是有一点徘徊的这么一些阶段。

  整个的过程非常有意思,大家如果接触存储时间稍微早一点,会记得在2000-2005年之前,那个时候讲存储的技术关键词特别好。大家觉得忌讳谈数据词的,大家data这个词很low的,data喜欢讲niformation,因为那个时候的行业领头羊是EMC,EMC当时是如日中天,牛到什么程度呢?2000年是新世纪纳斯达克敲钟的时候,那个敲钟人是EMC,那的是非常非常风光的一个公司。

  EMC的理念,它从来不讲data,它虽然做的storage,但它从来不讲data,它讲的叫information。所以你会看到从存储行业作为一个独立行业开始,实际上关键词就从数据变成信息,倒回去十五年、二十年多年前经历是从数据到信息的一个转换。到2006年、2007年之后,甚至2010年的时候,那个时候大家又讲大数据,又讲回来,大家又讲信息了,觉得信息是一个比较过时的词,又讲data甚至有CDO,出了一个新的职位叫做首席数据官,所以你看到又回来了。这个世界蛮有意思,真的是螺旋形在前进,当年我们都不屑一用的词,但是前面加了“大”字,就是大数据。

  大数据这两年其实大家家看到很多的评论都已经很公开了,就说大数据已死,昨天西瓜还写了一篇文章,就是这个大数据又不讲了,其实在五年前大家都不讲大数据。2016年AlphaGo一热,围棋这件事直接把人工智能带出来,大家都认为说人工智能,就是智能化大数据又扔到一边了。

  这个是很好玩的一个螺旋。但是未来又是什么?未来的方向在哪儿?这是我们更关心的,除了关心现在之外,我们从业者更关心的是将来哪天又回到螺旋的另一个方向去,实际上在我看来这个就是整个行业的发展,虽然看上去是一个左一下右一下的摇摆,但它里面有内在的逻辑。从最早IT从无到有的建设过程,把一些传统录到录像带上的东西存到磁盘上,这就算是大功一件。

  像中石油有一个专门做勘探数据处理的叫东方物探公司。东方物探公司所有的勘探数据,就是模拟地震炸出来的数据也是放到磁带上,那些磁带占的地方之大,东方物探为它的磁带建的一个楼,那个的楼的名字就媒体楼,全都是数据在里面,全都是放磁带的,那个楼里面没有人。

  以前的数据是这么存放的,后来把它转到硬盘上,转成可以初步的数字化。所以在IT从无到有的时候,有数据其实就是核心了,就已经是完成第一阶段。到二阶段到我说的二十年前,人们发现我数据已经足够很多了,剩下的我从数据里面得到我想要的东西,所以强调是一个数据能告诉我一个什么东西,这个时候不是数据本身,而是数据告诉我的信息,这个词微妙的差别就在这儿。

  当信息多到一定程度的时候,当我们说大数据的时候,其实我们在说的并不是数据本身,我能拥有多少数据,我能拥有全北京市的所有道路的交通情况。2008年奥运会之前,北京市整个道路交通监控,上了几个TB的存储我还参与这个事了。当时是把几个TB的存储存下来这个本身不是问题,也不是建设目的,而是说要解决我把整个数据再次处理,把它的信息再做抽象再次分析之后能得到的结论。所以大数据实际上是一个我已经有足够多的信息之后做一个规律的抽取和规律的总结,财神报信念是动力,到智能化实际上就更进一步升级,就是不仅我能抽取到什么规律,写今天我希望能有什么规律,数据能自动告诉我。

  智能化给人打开一个新的大门,在没有深度学习之前,我们所有的知识就来源于这个方面,实践向老师学习,还有一些观察等等这样的一些方面。但是有了深度学习之后,我们又多了一个知识源,我们可以像机器学习。就像以前机器人为什么下围棋下不过人,是因为人是老师,机器人所有下棋的技巧是跟人学的。后来有了深度学习之后,实际上现在你再看,人是跟机器去学棋,因为机器自己统一规则和摸索,它发明了一些它的走法是人类从来没有的。所以人类相当于通过深度学习,找到了新的知识源,人可以跟机器去学习,这又是一个新的进步。所以未来是什么样的,34422财神爷中特网脑海里同时保留积极和消。应该是一个非常值得期待的一个事。

  以往积累得越多,今天发展速度就越快,以往所有的经验、积累都会帮助你今天,这样你整个的规律就是一个指数型的发展,说白了这其实就是摩尔定律,大家如果忘了高数的话,看这个东西觉得晕,但实际上很简单,左边这是摩尔定律,你历史上所有的东西都能帮助到今天,你当然就越来越快的指数涨上去。

  另外一种发展规律,你以往的这种积累你有一个中心值,像一侧走得越快,实际上往回拉的力量就越大,实际上就像一个弹簧。为什么经济有周期?经济十年一个小周期,60年一个大周期,经济所有的周期就是因为对中心偏离,一旦一个经济尽速快速发展阶段就会有杠杆,就会去加速,加速超过平均值的话有一个反向的压力,箫条的一定程度也是这样,所以整个周期和指数级这两种规律实际上在我们技术进步和由技术做推动的经济的大环境下是两种因素的交叠,这两个因素的较爹是个非常有意思的结果。

  最直接的一个结果就是我们看到技术的传播的速度在影响着技术本身创新的速度。什么意思?可能我需要借用一下回到我题目上“音障”那个词,借用超音速的原理。我们任何一个技术的创新,技术的创新它必须得传播给使用技术的人,它才能发挥出价值来。我发明一个新的技术,必须得有别人把它用起来,用我这个新技术赚到钱了,我才能有发展。

  所以技术是有传播速度的,技术的传播速度不是分分钟见效的。我们看到今天有一个新的技术,可能它经过一段时间才能传播到上下游,传播到其它领域让别人受益。但如果我自己技术的更迭速度太快,快到说我发明了一个新技术,交给您用了,您刚把个新技术用起来,还没赚到钱我下一代技术又出来了,这个时候我是赚不到钱的,你也赚不到钱,新技术的更迭速度撞到了它的传播速度上。

  新技术的传播速度就是新技术创新速度的上限,这就是我题目上讲的“音障”。这个实际上是我们今天看到所有技术都是好技术,人工智能都是好的技术,但是为什么那么做人工智能非常顶尖的人,他赚不到钱?就是因他发展太快了,至少其中一个因素是一样。其实以前就是这个逻辑在,不是今天在有,所以创业的人经常讲说“提前半步是英雄,提前一步一步就是先烈”,提前的太早就会死在沙滩上了,这个也被很多创业的人作为一个规律,总结教育大家说创业要timing,要注意这个时间,太超前的东西是不行的。

  我个人不是这么看,我自己也创业过4次了,我觉得以前是这样的,很多的老的规律它有它的道理,因为它有它的时间局限性和时代局限性,因为这个“音障”早晚要突破。今天我们讲的叫数字经济,数字经济在我理念核心就是主从关系的定位,以前我们说新的技术是作为辅料,帮助你做什么零售也好,做制造也好,做社区也好,你有传统的业务在,新的技术去帮助到这个技术,让这个技术获得成长。

  如果是传统的业主为主,技术为辅的话,这个“音障”是一定存在的。但我说的突破“音障”是什么概念呢?就是这个主从关系意味,技术本身成为一个主导,整个其它的业务是追着技术的发展来走,甚至由技术本身创造自己新的业务模式,新的生态模式,到今天我们已经能看到看到一些新的互联网技术的更迭所带来新的业务的产生,它实际上对传统冲击,都不是说我卖苹果,你也卖苹果,你把给攻垮了,不是这么简单。我是卖苹果的,你可能是卖橘子的,然后你居然就把我给击垮了,甚至比这个更夸张。做投资的人经常讲一个词叫OTT,叫OverTheTop就“过顶传球”,其实就是说新的技术所带领这种业务的发展,超过传统业务的时候那传统业务根本就不知道它的存在,等它发现已经淘汰的时候已经来不及了。

  前两天好玩的一个说法,美团为什么收共享单车,做自己的外卖不挺好吗?但是美团发现它的外卖发展瓶颈受共享单车的影响,共享单车发展起来订外卖的人会很少,很多想象不到跨领域的冲击都是挺好玩。所以技术的领导在经济业务领域的这种建设和领导力,它一旦建设起来的话才是真正突破了“音障”,这样所有的业务会跟随这个这个东西去走。

  当然说得比较虚,在说具体的东西之前,我先解释一下麦克斯韦妖(Maxwells demon)这个事。其实我想说的是信息本身是一种能量,是一种结结实实的能量,就跟太阳能一样,跟煤、石油一样的东西,信息本身就是能量。这个从物理上面,麦克斯韦两百多年前就已经总结出来的东西的的东西就是麦克斯韦妖。

  我相信很多人都已经知道了,一个小盒子里面本来是有温度均衡的一个气体,中间有一个隔板,隔板上有一个门,门那站着一个小妖,这个小妖能看清楚哪个分子运动的快,哪个分子运动的慢。然后把他红色运动快的分子往大家的右边去放,把运动慢的分子往大家左边的方向去放。经过一段时间之后,右边半边盒子平均速度就会越来越高,左边这个平均速度就越来越低,其实相当于右边越来越热,左边就越来越冷。

  我们知道如果一个封闭系统,如果从热心平衡变成了一边冷一边热,实际上一定是有做功,说白了就是空调。家里边之所以能比外面凉,是因为你插着电,空调如果不插是不可能让屋子里变凉的。

  我们就是现在需要一个什么分析,比如说用户的行为,我做零售的,我想知道哪些用户喜欢喝酸奶,哪些用户喜欢喝啤酒,我就去抓来相应的数据,对着我这个目标做一通分析得出一个结论,这种方式实际上在今天看来是比较简单粗暴。就像最原始的使用煤炭的方式或者使用能源的方式。今天我想做顿饭,我就把能烧的东西找过来烧一顿我今天要的这顿饭就完了。

  但是在智能时代,我刚才讲说,实际上整个信息里面所蕴含能量的转移会非常丰富,所以它不是简单就把,之所以大数据这个理念被淘汰,其实就是因为算数据的方式太简单粗暴,这个能量没有存储和转移和再利用的机制在。

  我们想我们今天之所以有这种方便,是因为我们有电的这种东西,有各种各样的手段去发电,把各种各样的能源收集起来,以电的方式存储起来,传播出去,加各种各样的用能源的东西直接用电去做。实际上能源以电的方式去传输和应用的这种比例就可以应用在智能方面,我们看人工智能就是这样一个概念,我们用数据去训练一个神经网络,这个神经网络具备的一个能力实际上可以再利用,而且它是可以传输、附用的,多个神经网络是可以组合,所以整个方式完全会不一样,整个体系、生态都会完全不一样。

  当然,用户对我们的整个技术和设备供应商的要求也会越来越高。最早IOE那个年代,用户只是说我都是先成业务软件,我需要找一个地方把它装上,给我个环境把它装上就完了,供应商是更多的提供的是一些基础资源和基础环境。

  现在在云时代,云时代理念就变了,不是我有一个现成的软件装上运行就完了,实际上我要不不停的写我的软件,云这个东西你要给我一个运行我代码的一个环境,就是它不光是一个运行环境,它要包括你整个代码的管理,甚至是CICD,所以今天我们看到云平台或今天中台的理念特别盛行,实际上本质上来讲把整个用户的期望值抬升,让用户做更小的事情或者是更大的自由。

  未来实际上有了智能的介入或者智能的帮助之后,还会有更高的理念,将来可能要求用户应并不需要自己能写代码,但他也很方便、很敏捷地去构建自己的业务。我只要有个idea,我这个idea就可以运行起来,就可以以某种方式执行起来,那个时候供应商提供的东西就更多,当然就会有更多智能化的东西在里面。这是过去、今天和远景我的理解,具体到我们公司现在做的事情,那里面未来可做的事情我相信非常多,我们公司只能挑其中一点点做。

  我们做更多实际上是资源管理的事,这是一个漫画,一家人过,小孩问他爸爸说那个桥头有个限重10吨,小孩问他爸爸说这个“限重10吨”是怎么测出来的,他爸爸跟他说就是不停开越来越重的卡车来轧这个桥,轧到这个桥塌了就知道它最大的载重是多少了。记住桥当初怎么建的,再把它重新建一遍,最大程度就是10吨,听起来很可笑。

  今天我们的数据中心的这个承载,很多时候确实是这样。尤其是大家做过双11秒杀这种,你的数据中心承载一个这种,谁都不知道多大负载的业务压力的时候,就是大家蒙着来,塌了我们再加东西,没塌就接着跑,就只能这样。我见过很多,包括移动什么的很多用户就是这样面临它的的承载能力,整个IT系统花了这么多钱建起来了之后,它最大承载能力到底多大,不知道,每一人能说的清楚。甚至有的时候它的瓶颈在哪都说不清楚。有怀疑数据库的时候,我们做过双11秒杀,有的时候怀疑数据库,怀疑前端的webservic,到最后线秒杀的那天卡是是卡在F5的负载均衡上面,就是各种各样的你想不到的地方。

  所以整个数据中心资源管理有很多需要去做的事,我们是用人工智能做了一些工作,当然我们人工智能做得更多的是底层的,就是资源层的CPU利用率、内存利用率这样一些东西。上层有APM的这种东西我们是跟他配合,跟APM配合,就可以把整个全栈智能化的运维完整的建立起来。

  最后的目的,目前来讲,我们建一个中台也好,叫平台也好,反正是是一个更智能化的平台,传统很被动的使用方式和比较僵化的运维方式,甚至有的时候是亡羊补牢的运维的方式变成一个更主动的、更智能的,可能用户还不知道的时候我们就先知道。我们告诉用户说你这个系统在下个月会迎来一个可能要塌掉的负载,瓶颈主要在什么地方,在什么地方加什么东西,做这样的这样事情。

  这只是一部分,实际上未来智能化在数据中间的应用会非常广,我们做是非常简单的一点。我的介绍就到这里。

  未经允许不得转载:DOIT先智数据董唯元:​智能时代的存储变局