讨论 | 国内大数据发展简史&产业化落地

导读：讨论范围包括了互联网公开数据的挖掘、价值变现、数据获取的合法性以及数据产业落地等相关方向。

就类似话题进行了比较剧烈的脑暴讨论

当时就一直在思考这个问题，后续完了自己又想了几遍，发现确实有所得，也挺多东西想表达一下的。

大数据在国内的发展简史

大数据是在2009年开始相对比较正式引入国内的，基本上与Hadoop的“入侵”国内同步。但在那时其实并没有实际落地的东西，除了一些大公司在试探性使用，直到2012-2013年，国外已经完成一轮“探险”，国内才陆续开始思考大数据如何落地的事了。确实是这样的，国内在新技术领域上，一向落后于国外半拍，而我也恰恰也是在那个时候“入坑”的。那个时候其实很多公司企业(除了当时BAT内部使用的案例)，也是在尝试性的涉足大数据领域，一边追逐技术的完善，一边在探索大数据与实际业务的结合点。

直到2014年，算是大数据在国内的一个爆发点，正式的转折点。首先，以Hadoop为代表的生态趋于成熟，甚至结合内存处理领域、数据实时处理领域，已经形成了一套完整的大数据平台技术解决方案。其次，已经越来越公司结束了探索性实验，用实际的成果尝到了大数据这种处理模式的好处，已经形成了越来越多的实际可参考的良性案例。当然，最重要的是确实存在实际的规模数据处理的需求。其实这个需求一直存在，只是很多时候没有找到合适的契机爆发出来。

也就是从2014开始，大数据的人才市场需求在急剧扩增，很多其他IT领域开发人员纷纷转型到数据行业，其中以逐渐没落的传统IT行业为代表。有人才市场需求，进一步促进了大数据培训市场的发展，各种大数据培训机构如雨后春笋般的出现。其实这也是没办法的事，因为当时还没有哪个高校开设有大数据相关的课程呢。当然，这波浪潮同样卷到了学术界，部分高校也意识到了这个技术大势，陆续有不少高校开始开设大数据相关的专业课程。

2015年，随着互联网的发展，市场各种互联网应用需求的饱和，导致了流量红利的消失，让很多企业公司不得不考虑通过数据来提升效率以及推进用户体验，例如推荐系统、个性化服务等。资本市场从2014-2015年逐渐介入，进一步促进各大互联网企业公司向数据化转型，使得大数据这个领域进一步达到高潮。

那么，2016呢?

我们知道，资本市场算是迎来半个寒冬，流量红利的消失，o2o在15年底都死的差不多了，16年让资本市场变得更谨慎。但是，就算是这样，国内很多以大数据为技术驱动的公司依然拿了不少融资，包括神策、诸葛IO、GrowingIO等第三方数据分析公司，明略数据等这种针对于服务偏传统行业的数据公司，甚至如DataEye类似垂直领域的数据分析公司都活的好好的。是的，资本依然看好大数据这个领域方向。同时，在国家政策方面，2016年可谓是大数据的国家政策元年，各种国家政策开始偏向大数据。这意味着，大数据已经从半个风口的状态，过渡到理性、稳健的状态，这是一个良性的状态。

透过现象看本质，2016年之后呢?

正如上面所说，目前大数据已经逐渐从“潮流”这种略带风险性的标志状态，过渡到稳健、良性发展的状态。提前“入坑”的童鞋，相信已经享受到“潮流”带来的部分福利，包括比其他普通IT同行们略高的薪酬待遇，以及更多、更自由的选择性等。那么，后续会是一种什么样的情况呢?首先，数据化依然会是一个不可逆的趋势，在资本以及政策的驱动下，更多的公司会逐渐的进行数据化，甚至包括很多传统IT产业，一样挡不住这个大势。那么在人才市场需求上的情况呢?个人感觉需求还是在的，因为市场远没有达到饱和，但是福利待遇会有所下降。这是为什么呢?

2016-2017年，各大高校逐渐会开始投放专业的“正规军”，是的，那些大数据专业的学生们将被正式投放到市场中了。此外，从2014年到2016年，大数据的培训市场一直在增加的，不管是线上的还是线下的。这意味着，每年，应该是每几个月都会有大量的大数据速成工投放到人才需求市场中。最重要的一点，经过四五年的大浪淘沙，市场已经有一大批“自学成才”的“老司机”可以撑起场面了。

在人才需求以及人才的待遇上，而不是一才难求的现象了，也会逐渐的趋于良性，趋于理性(之前一篇大数据招聘乱象的文章，喜欢可以看看《你们是不是真的很缺大数据工程师?》)。所以，如果你从大学刚毕业出来，发现大数据没有传说中那么“香馍馍”，也不要奇怪;而从大数据培训流水线上下来的童鞋们，也需要做好准备，薪水可能无法跟你想象中那样了，翻个几倍之类的。不过不用太过于担心，虽然大数据的人才市场趋于日渐饱和，但是“驾龄”足够，“车”开的足够溜的，依然只有那么一小戳人。你依然是稀缺资源，所以不要怕。虽然，这一切看似良好，但是有些东西依然值得我们更进一步的深思。

那就是，大数据产业化情况。

正如之前在技术群中进行脑暴讨论的那样，这几年大数据虽然市场需求不少，但是依然难以达到产业化的状态。

这里贴一个产业化的概念：产业化是指某种产业在市场经济条件下，以行业需求为导向，以实现效益为目标，依靠专业服务和质量管理，形成的系列化和品牌化的经营方式和组织形式。目前大数据的实际落地形式大部分都以辅助、加速其他业务为主，起一个催化剂，提升效率，加快速度的作用，鲜有看到以大数据作为独立产业而存在的。当然也有，比如上面提到的第三方数据分析商、垂直领域的DataEye，以及为企业提供大数据解决方案的明略数据等，也算是以大数据为根深立命而存在的。但是总体来说，真的不多，而且绝大部分都是以2B的形式存在。我们知道，从格局上来看，2B的产品永远是难以做到2C产品那种真正宏伟规模，改变产业格局的。所以，从这点来说，虽然你市场需求放在这里，但想真正以大数据为切入点、为立足的根本做点事，其实也没有想象中那么容易。

不过作为大数据领域的半个“老司机”，依然是希望大数据这个技术领域、这个行业，有一天能够形成独立的、推动人类进程的一些东西。亦如互联网、亦如社交网络、亦如电子商务、亦如移动互联网等!

结语

最近一直有很多新手同行们向我请教大数据方向上的一些事，自己也一直在思考互联网开放数据落地变现、以及大数据产业格局相关的问题。所以，想的多了，对一些东西还是有一些看法的，藏在心中不吐不快。也希望，上面闲话里的一些东西能够引起你的一些共鸣，当然反驳也欢迎，欢迎一切与人格无关，与技术有关、与业态有关的探讨。

下次希望有时间，能和大家一起探讨一些关于互联网开放数据落地变现相关的话题，这也是我目前一直想探索的东西，下次如果有所收获再写点东西吧。

来源：网络大数据