行业资讯
数据挖掘 | 数据理解和预处理
导读： 从这次开始，咱们脚踏实地，具体说一说如何一步步进行数据挖掘工作，这次我们的主题是“数据理解与预处理”。很多人说，数据准备工作真是个“体力活”，耗时耗力不说，还异常的枯燥无味。建模之前的数据处理确实是平淡的，它往往不需要多高的智商，多牛的编程技巧，多么高大上的统计模型。但是，它却能时时触发你的兴奋点，因为它需要足够的耐心和细心，稍不留神就前功尽弃。在这次的内容里，我首先会从“数据理解”、“…
通过BulkLoad快速将海量数据导入到Hbase
导读： 本文将针对这个问题介绍如何通过Hbase的BulkLoad方法来快速将海量数据导入到Hbase中。 在第一次建立Hbase表的时候，我们可能需要往里面一次性导入大量的初始化数据。我们很自然地想到将数据一条条插入到Hbase中，或者通过MR方式等。但是这些方式不是慢就是在导入的过程的占用Region资源导致效率低下，所以很不适合一次性导入大量数据。本文将针对这个问题介绍如何通过Hbase的…
ApacheKudu1.1.0 发布，Hadoop 存储系统
导读： 为了应对先前发现的这些趋势，有两种不同的方式：持续更新现有的Hadoop工具或者重新设计开发一个新的组件。Apache Kudu 1.1.0 发布了。 该版本主要更新内容如下： 改进 Python 客户端，支持"IN-list"； 改进客户端超时可调性； 为工作负载释放性能； 提高服务器启动时间； 提高 Raft 稳定性。 Apache Kudu 简介 为了应对先前发现的这些趋势，有两种…
Hadoop&Spark扫盲
Hadoop&Spark扫盲 最近在工作中使用Spark ,突然发现Hadoop ,HDFS,Hive ,Mapreduce等很多大家讨论火热的东西基本只听过名词。今天查了相关资料，总结在此。 Hadoop Apache Hadoop 是受Google 的两篇Paper( Mapreduce , Google File System )启发诞生的。最早在Nutch项目里，2006年移入H…
如何利用数据仓库优化数据分析？
导读： 在整个数据分析流程中，数据处理的时间往往要占据70%以上！这个数字有没有让你震惊呢？为了提高分析效率和质量，借用数据仓库进行数据分析是一个很好的选择，详细的工作方法本文都有所介绍。 首先，我们来了解一下数据仓库吧！数据仓库是一个面向主题的、集成的、相对稳定的、反应历史变化的数据集合。那数据分析又是干什么的呢？笔者凭借个人的经验认为，基于业务需求，结合历史数据，利用相关统计学方法和某些数据…
初学hadoop的心路历程
导读： 在学习hadoop之前，我就明确了要致力于大数据行业,成为优秀的大数据研发工程师的目标，有了大目标之后要分几步走，然后每一步不断细分，采用大事化小的方法去学习hadoop。下面开始叙述我是如何初学hadoop的。 hadoop Hadoop学习两步走:linux学习、hadoop学习。 在接触hadoop之前我有java基础，为此我的计划是首先学习Linux,然后学习hadoop生态系统…
技术对决：Spark对Impala对Hive对Presto
导读： 在大数据浪潮全面来袭的历史背景下，我们一直面临着同一类难题的困扰——该选择哪款工具解决相关问题?这项挑战在大数据SQL引擎领域同样存在。作为大数据报告工具开发商，AtScale公司通过基准测试为我们带来了如下答案。 大数据技术对决 1. Spark 2.0在大规模查询性能方面可达1.6版本的2.4倍。二者的小规模查询性能基本持平。 Spark 2.0 improved its large…
NEC图像数据挖掘技术：从100万人中抓小偷只需10秒
导读： 日本最大的信息技术提供商 NEC(日本电气)近日表示，它已经建立起一个人工智能系统，用户可通过此系统迅速搜索 CCTV 镜头并从其中的上百万个人脸中识别出特定人员。 NeoFace 图像数据挖掘(NeoFace Image data mining ) 该应用名为 NeoFace 图像数据挖掘(NeoFace Image data mining )，人们可以使用它搜查通缉犯和丢失儿童的下落…
四款有针对大数据的数据处理系统
导读： 为了从大数据中挖掘出有价值的信息，需要有针对大数据的数据处理系统。目前，一些大型的互联网企业，例如谷歌、Facebook 等企业都研发了针对大数据的数据处理系统。 1)批量数据处理系统 这种系统是对互联网中产生的海量的静态的数据进行处理。例如对客户在网站中的点击量和网页的浏览量等数据进行处理，从而或者客户对哪些商品比较偏爱。谷歌公司研发的 GFS(Google File System，即…
流处理和Lamda架构中的挑战
流处理是一种非常有用的技术，解决了如何从数据流中快速获取结果的问题。但是流处理技术并不能满足苛求高一致性和鲁棒性需求的用例的要求。 职于LinkedIn公司流处理架构部门的Kartik Paramasivam在今年夏天撰写了两篇文章，解释了LinkedIn力图在使用Apache Samza做数据处理中避免Lambda架构的原因及具体做法。流处理是一种非常有用的技术，解决了如何从数据流中快速获取结…