行业资讯
数据挖掘核心算法之——回归
回归，是一个广义的概念，包含的基本概念是用一群变量预测另一个变量的方法，白话就是根据几件事情的相关程度，用其中几件来预测另一件事情发生的概率，最简单的即线性二变量问题(即简单线性)；复杂一点就是多变量(即多元线性，这里有一点要注意的，因为我最早以前犯过这个错误，就是认为预测变量越多越好，做模型的时候总希望选取几十个指标来预测，但是要知道，一方面，每增加一个变量，就相当于在这个变量上增加了误差，变…
数据流程图和数据结构是需求分析中不可缺少的一环
需求分析活动要完成4项任务，分别是：问题识、评价和综合、形成规格说、评审规格说明。这4项任务中，“问题识别”是要识别出用户提出软件需求要解决的问题；“评价和综合”是要评价数据信息的流程和数据结构，对软件功能逐步细化，阐明接口特性，揭示设计约束，并将其综合成一个总的用户问题的解法；“形成规格说明”和“评审规格说明”，顾名思义，这里不再赘述。这4个任务中，主要的需求分析活动集中在“评价和综合”；而评…
t-sne数据可视化算法的作用是啥？为了降维还是认识数据？
降维是手段，认识数据是目的。 最近两年 t-SNE 在生物行为学有一些优秀的应用。我认为类似的分析思想和技术将在动物行为的神经基础这一领域起到革命性的作用。 对动物行为的研究，历史上一直局限于两类： 精确测量的简(wu)单(liao)行为。 例如小鼠研究中常用的刺激-反应延时，和左/右选择等。这些研究所测量的行为可以很精确也很稳定，但总是比较没意思。(除了无聊之外这实际上也极大的限制了我们对神经…
如何建立数据分析中心
随着大数据的风靡，越来越多的专家、企业开始逐渐认同数据分析将在未来成为管理支持的重要依据。但企业建立数据分析系统并不是一件容易的事，在建设过程中会遇到各种特殊而难以量化的需求，尤其是对于集团化的公司。为此，这里分享湖南梦洁家纺CIO杨昊在帆软大数据巡展上分享的关于建立数据分析中心的演讲，希望能给同行的读者有所启发。 如何建立数据分析中心？ 两大痛点阻碍数据化管理 对于企业的数据管理，以梦洁家纺为…
大数据开发常见问题（1）
Q. 如何查看实时的项目占用存储多少? A. 执行 desc project -extended project_name 语句进行查看 。 Q. 数据同步时，如何进行增量同步? A. 具体操作可参考数据增量同步文档 。 Q. 如果之前提交的任务修改后再次提交，是否会影响当天的任务调度? A. 根据修改的内容来确定是否会影响：如果修改的只是 sql 语句，则不会影响；如果修改自定义参数和调度配置…
HBase FlushCache原理实现
FlushCache时间点 当memstore的字节数超过 hbase.hregion.memstore.flush.size 时, Region会发起一次异步的Flush Region操作, 这次Flush请求其实是放入到一个叫做MemStoreFlusher的队列中, 这个队列后面跟着一个线程池, 每个线程从队列中取Flush 请求, 然后每个FlushHandler并发地去进行对应的Flu…
实现数据中心间互通的纽带——DCI技术
现在的数据中心早已不是一座孤立的机房，而是一个建筑群。一个数据中心可以包含很多个分支数据中心，可以说是一个数据中心群，这些分支数据中心所处的位置不同，却可以通过网络互联起来，共同完成相应的业务部署。像阿里、腾讯、百度等这些大型互联网公司，为了提升客户访问体验，会在不同省会都会建立自己的数据中心分支机构，以便满足不同地区的客户访问需求，数据中心早已不再局限于一座或几座机房。 这些数据中心要协同运转…
大数据营销：追踪到行为，却抓不住心
曾几何时，大数据和大数据营销风靡全球，大数据的火爆，带动了国内外学术界、企业界和政府的热情，各类相关研究机构如雨后春笋般涌现。有人说大数据的热潮触发了一场思想启蒙运动，使得“大数据是资产，不是包袱”、“要拿数据说话”等观念逐步深入人心，改变了以往不重视数据积累、不相信数据分析等认识。然而，在大数据热火朝天前行的路上，开始有人用冷静的眼光进行反思和批判。例如，2014年3月英国报刊《财经时报》(F…
大数据是什么和大数据技术十大核心原理详解
一、数据核心原理 从“流程”核心转变为“数据”核心 大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。 例如：IBM将使用以数据为中心的设计，目的是降低在超级计算机之间进行大量数据交换的必要性。大数据下，云计算找…
HBase无法创建带有snappy压缩属性的表
一、要求 在Hbase 数据库中创建带有snappy压缩属性的表。 二、登陆到hbase 数据库执行建表操作 hbase(main):016:0> create 'dcs:t_dev_history', { NAME => 'f', DATA_BLOCK_ENCODING => 'PREFIX_TREE', BLOOMFILTER => 'ROW', REPLICATIO…