行业资讯
Python编程需要注意的几个问题
Python编程需要注意的几个问题 研发人员在使用Python编程时会遇到众多问题，本文主要讲述的在在实际应用中的基本问题： > 编码 所有的 Python 脚本文件都应在文件头标上 # -*- coding:utf-8 -*- 用于设置编辑器，默认保存为 utf-8 格式。 > 注释 业界普遍认同 Python 的注释分为两种，一种是由 # 开头的“真正的”注释，例如，用于表明为何…
公有云：如何实现多因素认证方法
用户认证是所有公司安全战略的重要部分，确保仅仅是授权用户才能访问有价值的数据和资源。在用户名和密码之外，越来越多的企业开始使用额外的认证方法，来确认用户的身份。 公有云：如何实现多因素认证方法 多因素认证(MFA)将传统的登录证书和授权用户持有的物理设备码结合起来。MFA也扩展到了公有云上，这里未授权用户可能会破坏重要的应用，并导致巨大的云上开支。公有云供应商，包括Amazon Web Serv…
大数据的重要技术应用之“智能电网”
智能电网是大数据的重要技术应用领域之一。中投顾问发布的《“十三五”数据中国建设下智能电网产业投资分析及前景预测报告》分析认为智能电网大数据结构复杂、种类繁多，具有分散性、多样性和复杂性等特征，这些特征给大数据处理带来很大的挑战。智能电网大数据平台是大数据挖掘的基础，通过智能电网大数据平台可实现智能电网全数据共享，为业务应用开发和运行提供支撑。 智能电网是以物理电网为基础，将现代先进的传感测量技术…
Hadoop中最不容错过的压缩知识
随着大数据时代的来临，数据体量越来越大，处理这些数据会越来越受到网络IO的限制，为了尽可能多的处理更多的数据我们必须使用压缩。那么压缩在Hadoop里面是不是所有格式都适用呢?它都有哪些性能呢? 压缩在sqoop里面可以做，在hive和impala里面也可以做。那么什么情况下我们会用压缩呢?通常在数据量非常大，我们通过压缩去减小数据量，从而达到将来去使用数据的时候，减少数据传输IO的情况下去使用…
大数据生态一种新的高性能数据格式
Apache CarbonData是一种新的高性能数据存储格式，针对当前大数据领域分析场景需求各异而导致的存储冗余问题，CarbonData提供了一种新的融合数据存储方案，以一份数据同时支持“任意维度组合的过滤查询、快速扫描、详单查询等”多种应用场景，并通过多级索引、字典编码、列存等特性提升了IO扫描和计算性能，实现百亿数据级秒级响应。CarbonData是由华为开源贡献到Apache基金会的大…
2016年谷歌开源了这些超酷炫的项目
导读： 回顾我们在 2016 年开源的项目，有很多令人兴奋的事情。 我们发布了很多开源软件、硬件和数据集，来看看今年的一些版本。人工智能可以可以创作艺术和谱写曲子了，手机传感器也可以成为强大的研究实验室了，普通耳机也可以实现 VR 中的 3D 全景音效了……这些你还不知道?来看看谷歌的这些超酷的开源项目吧!开放源代码软件让 Google 能够无需重新发明轮子就能够快速有效地进行开发，也让我们能够…
为什么说 Storm 比 Hadoop 快？
导读： storm的网络直传、内存计算，其时延必然比hadoop的通过hdfs传输低得多;当计算模型比较适合流式时，storm的流式处理，省去了批处理的收集数据的时间；因为storm是服务型的作业，也省去了作业调度的时延。所以从时延上来看，storm要快于hadoop。 为什么说 Storm 比 Hadoop 快？ “快”这个词是不明确的，专业属于点有两个层面：1.时延 ， 指数据从产生到运算产…
MongoDB安全和认证
1、每个MongoDB实例中的数据库都可以有许多用户。如果开启了安全性检查，则只有数据库认证用户才能执行读或者写操作。在认证的上下文中，MongoDB会将普通的数据作为admin数据库处理。admin数据库中的用户被视为超级用户(即管理员)。在认证之后，管理员可以读写所有数据库，执行特定的管理命令，如listDatabases和shutdown。 mongoDB 在开启安全检查之前，一定要至少有…
大数据分析原地踏步，原来是分析工具面临信任问题
导读： 有时候大数据分析似乎总是在原地踏步，似乎数据信任的问题阻碍了数据分析的进一步应用。业务领导们理解新数据分析是必须经历的转型，但是他们不确定这种转变是否值得信赖。最近，来自咨询专业服务公司KPMG(毕马威会计事务所)的一份调查报告对这种进退两难的处境给出了一些看法。 大数据分析原地踏步，原来是分析工具面临信任问题 Forrester研究公司在2016年7月发起了一份调查报告，针对KPMG(…
走近NoSQL数据库的四大家族
导读： 在目前的企业IT架构中，系统管理员以及DBA都会考虑使用NoSQL数据库来解决RDBMS所不能解决的问题，特别是互联网行业。传统的关系型数据库主要以表(table)的形式来存储数据，而无法应对非结构化数据的挑战。在进行数据标准化的过程中，关系型数据库性能遭遇了瓶颈。 走近NoSQL数据库的四大家族 NoSQL顾名思义就是Not-Only SQL，它可以作为关系型数据库的良好补充。在Tec…