行业资讯
数据科学、机器学习和AI的区别
当我进行以数据科学家进行自我介绍时，经常会被问道：“数据科学和机器学习有什么区别?”或者“这是不是意味着你在研究人工智能?”所以我将通过本文进行回答。这些领域确实有很多重叠的地方，但它们并不是一个领域：即使很难用语言表达，这些领域的大多数专家也都能直观的理解特定的工作是如何被分类为数据科学、机器学习或人工智能的。 所以在这篇文章中，我提出了关于这三个领域差异的简化定义: ·数据科学产生洞察力。…
数据是矛也是盾：大数据是如何打击黑产的？
随着互联网的不断发展，多种多样的业态层出不穷，无论是传统的零售，还是处在热潮中的共享业态，都逐渐完成了数字化，甚至智能化的转变。伴随着这样的变化，安全问题也逐渐成为了企业关注的焦点。 每年“双十一”前后，“网络黑产”都会成为热门话题。所谓“黑产”，指的是非法入侵计算机、窃取企业、公民信息、制作销售黑产工具及从事电信诈骗等。由于各个环节分工的多元化、专业化、集团化，网络黑色产业链逐步形成，不但威胁…
从0到1：Python爬虫知识点梳理
做数据分析和任何一门技术一样，都应该带着目标去学习，目标就像一座灯塔，指引你前进，很多人学着学着就学放弃了，很大部分原因是没有明确目标，所以，一定要明确学习目的，在你准备学爬虫前，先问问自己为什么要学习爬虫。有些人是为了一份工作，有些人是为了好玩，也有些人是为了实现某个黑科技功能。不过可以肯定的是，学会了爬虫能给你的工作提供很多便利。 小白入门必读 作为零基础小白，大体上可分为三个阶段去实现。…
大数据关键技术分析
古代，人们用牛来拉重物，当一头牛拉不动一根圆木时，他们不曾想过培育更大更壮的牛。同样，在面对计算能力不足时，我们也应尝试着结合使用更多的计算机系统。Hadoop就是基于这样的理念设计。Hadoop是一个由Apache基金会所开发的分布式系统基础架构，计算分析处理所涉及的框架，允许多台设备一起工作，充分利用集群的威力进行高速运算和存储，共同完成一项任务，而对于用户来说这些设备是感知不到了，Hado…
海量大数据分布式数据库解决方案思路
随着互联网的发展，分布式技术的逐渐成熟，动态水平扩展和自动容灾备份、一键部署等技术方案不断成熟，各大中小互联网企业都在尝试切换将产品的技术方案到分布式的方案，但是分布式的技术方案有一个业内比较难以解决的问题，就是分布式事务的处理，大部分都是将业务尽量限制在同库中，避免跨库事务，或者采用消息队列处理分布式事务，或者采用DTC来处理，但是性能都不是太理想。 在阅读关于淘宝数据库OceanBase的一…
过往60年，我们的地球人口究竟在如何变化
我们平时观察世界的时候 ，都是通过我们的视觉直观感受。但是很多时候，这个世界大得超乎我们想象。大数据除了能够解决很多生活中的问题外，它还是一种天然的、观察世界的方式和视角。当数据侠Chuan Sun用联合国开发计划署的全球人口数据作了一番分析后，他发现数据和可视化为他描绘了一幅观察世界的新景象。 世界人口的分布 在我写作此文的那一刻(2016年8月9日早上9点)，我们这个星球的人口数为7,441…
Hbase写操作产生的木桶效应
生产环境中hbase的写存在木桶效应，具体体现在hbase写入数据缓慢，在参数优化很好的情况下，仍然没有解决问题。经过多次的排查，产生问题的原因有2个： 1.网络问题 某个节点的网卡出现不明显故障，造成该节点网速传输速度下降。 2.异构设备磁盘硬件I/O 有时候很多利旧设备不舍得丢弃，大数据集群又是一个廉价的高性能的分布式计算平台，只要是能开机的物理机都可以并入集群，但是，随之带来的问题就是磁盘…
清华大学教授尹浩：区块链可能是未来信息社会的基础设施
11月7日，中国区块链技术与应用创新发展论坛暨中国电子学会区块链专委会成立大会在北京举行。清华大学教授尹浩作为嘉宾出席了此次活动并发表了演讲。 区块链可能会是构建未来信息社会的基础设施。他看区块链的角度是：从重构网络体系结构角度，它可能对互联网底层逻辑产生更新，也可能建立信息社会的信息基础设施。目前应用和服务垄断导致数据驱动创新很容易受限在中国的BAT延长线。而历史经验给我们一个启示，每一次技术…
IaaS：云安全的下一个篇章
从制造业、金融服务到公共部门的行业中的公司信任云服务提供商及其关键的数据，软件即服务(SaaS)应用程序(如Office 365和Salesforce)的快速增长取决于信任。但是，SaaS在IT安全专业人员确定云服务提供商可以产生与传统软件相当或具备更好的安全性之前采用量一直很低。主要的挑战仍在企业方面，Gartner预测95%的云安全事件是用户的错误。 现在，第二波的云采用浪潮正在迅速蔓延，围…
双十一大数据处理要控制成本
在大数据时代，最不缺伐的就是峰值流量的出现。一旦出现降价、打折或者平台周年庆，当日的峰值流量将可能刷新平台服务器承载上限，而这也意味着多种压力共同提升，其中最容易被忽视的一部分在于数据。因为当天数据量会爆炸，如果不及时处理，这些数据的核心价值将会随之而降低。 流量峰值带来数据爆炸 从去年的数据来看，我国电商业务的交易额达到了22.97万亿元，同比增长25.5%。这种增长率也意味着数据量飙升，从服…