搜索热词： 大数据Datahoop事务所数据分析师数据分析员大数据分析平台
当前位置 > 首页 > 技术热点 > 数据产品设计原则和架构实现(3)

数据产品设计原则和架构实现(3)

来源：中国数据分析行业网 | 时间：2016-09-09 | 作者：数据委

Engineering，我们面临的问题

30首先我们需要Scalable，需要很好的数据系统，帮你做很好的优化。第二步是可视化，最后是Web Application Framework。

31经过演化以后的状态

这是我们数据系统的图，这是从下到上的顺序。如果你们从第三方买数据，你需要让它走到你的系统里来。

另外是Kafka，从LinkedIn走出去的，我们当然要大量用Kafka做数据处理，然后放进来作为主要的存储地方，根据数据的不同用途，我们会把它用不同方法处理，比如有Map-Reduce，Spark，Presto。当我们有一个庞大系统以后，有很多高并发还有性能上的考虑，所以我们有很多专业零散的数据库，这是演化的过程，慢慢发现你需要添加越来越多专业型的数据仓储。这是LinkedIn开源的，最重要的是你要把每一个都想明白，OLAP的时候我们用的是Pinot，优势是假如你放几十倍的数据，做前端语句查询，它可能在极短的时间内，几十毫秒时间内，就把结果给我们展示出来。我讲的理念是，原来很多做技术产品的，先把数据放到一个地方再去查询，问题在于当你有很多数据维度，你的维度极大，不可能再做OLAP，像这种实时的OLAP相对来说就非常好用了。这里我们也有LinkedIn自己的开源项目，速度极快，支持并发。

Data Visualization Platform

32

我们希望有一个简单的方式，简单的工具，让他不需要做很复杂的编程，BI这边用的是Reporting，做很多的数据产品。

Web Application Architecture

33

Web Application Framework演化最重要的一点是从原来很大的架构走过去，我看也有相关专题分享，大家有兴趣可以多去了解了解，把我们的系统拆的非常细，它支持更好的协作，维护起来相对来说更简单一些。前端现在用的是Play，我的建议是根据你们已有团队特征特长选择前端架构。

总结：这些是我的分享内容，从三方面分享了我们真正的干货，没有任何的保留，我希望大家可以想一想你的公司里面哪些数据可以用什么样的方式提供价值。

来源：网络大数据

上一篇 ：
下一篇 ：

Copyright 2008 Chinacpda.org Inc. All rights reserved. 中国数据分析 版权所有

主办单位：中国商业联合会数据分析专业委员会 邮箱：xiehui@chinacpda.org 地址：北京市朝阳区朝外大街乙6号朝外SOHO-C座-931室

中国数据分析 京ICP备10215243号-1