当前位置 > 首页 > 技术热点 > Hadoop不需认证导致数据泄漏

Hadoop不需认证导致数据泄漏

来源:中国数据分析行业网 | 时间:2017-06-20 | 作者:数据委

最近,有报导指全球hadoop 服务器因配置不安全导致大量数据泄漏,涉及使用 Hadoop 分布式文件系统(HDFS)的近 4500 台服务器,数据量高达 5120 TB (5.12 PB),经分析,这批数据泄漏的近 4500 台 HDFS 服务器中以美国和中国为主。

1758Hadoop不需认证导致数据泄漏

互联网上暴露的 Hadoop 服务器如果没有配置认证均可能受影响,攻击者针对 HDFS 的攻击删除了大多数目录,并会添加一个名为「NODATA 4U_SECUREYOURSHIT」的新目录和「PLEASE_README」的目录,攻击者可能备份业务数据后在服务器上删除这部分数据,然后直接发送勒索邮件并索要勒索赎金。

该问题产生是由于管理员在配置失误所致,由于直接在云端上开放了 Hadoop 机器 HDFS 的 50070 web 端口及部分预设服务端口,骇客可以通过命令行操作多个目录下的数据,如进行删除操作,安全风险高。

用户可以透过人手方式检测端口是否开放到了公网。

Hadoop2.3-HA高可用集群环境搭建 http://www.linuxidc.com/Linux/2017-03/142155.htm

Hadoop项目之基于CentOS7的Cloudera 5.10.1(CDH)的安装部署 http://www.linuxidc.com/Linux/2017-04/143095.htm

Hadoop2.7.2集群搭建详解(高可用) http://www.linuxidc.com/Linux/2017-03/142052.htm

使用Ambari来部署Hadoop集群(搭建内网HDP源) http://www.linuxidc.com/Linux/2017-03/142136.htm

Ubuntu 14.04下Hadoop集群安装 http://www.linuxidc.com/Linux/2017-02/140783.htm

假如真的发生问题,可以进行以下修復措施:

安装完 Hadoop 集群后,进行安全加固:

按照安全最小化原则,禁止公网对这部分端口存取,如果因业务需要必须对外开放,请使用 ECS 提供的安全组策略指定存取 IP 存取端口业务,如无必要,关闭 Hadoop Web 管理页面;

开启服务级别身份验证,如 Kerberos 认证;

部署 Knox、Nginx 之类的反向代理系统,防止未经授权用户存取;

使用交换机或防火墙策略配置访问控制策略 (ACL),将 Hadoop 预设开放的多个端口对公网全部禁止或限制可信任的 IP 地址才能存取包括 50070 以及 WebUI 等相关端口。

来源:中国大数据