新闻快讯
< >

全球5120TB数据泄露,Hadoop服务器配置不当是主因

E安全6月5日讯 据Shodan互联网设备搜索引擎的分析显示, Hadoop服务器因配置不安全导致海量数据被暴露。涉及使用Hadoop分布式文件系统(HDFS)的近4500台服务器,数据量高达5120 TB (5.12 PB)。该数据总量大于2015年MongoDB数据库的数据泄露量(595.2 TB)。这次,Shodan在发布的分析研究中写到,就数据量而言,与MongoDB相比,HDFS绝对是优胜者。尽管未经身份验证而连接到互联网的MongoDB数据库更多,但就数据泄露而言,MongoDB集群就显得相形见绌(25TB Vs. 5PB)。

全球5120TB数据泄露,Hadoop服务器配置不当是主因-E安全

HDFS支持Hadoop分布式文件系统,这是一个可以在基于云的服务器上运行的分布式文件系统。它是Apache Hadoop的核心技术,但它也部署了自定义解决方案。HDFS系统通常位于云托管环境中,用于存储和处理大量的用户数据。

这批数据泄露的近4500台HDFS服务器,泄露最多HDFS实例的国家是美国和中国,这两个国家拥有世界上超过50%的数据中心,其中美国(1900台)和中国(1426台),其次是德国(129台)和韩国(115台)。大部分HDFS实例托管在云上,亚马逊(1059个)和阿里巴巴(507个)。

HadoopMongoDB

延伸阅读:2015年,同样是Shodan分析得出,全网MongoDB数据库(开源SQL数据库)泄露。当时“纽约时报”、“易趣”、“Foursquare”等许多公司都采用了这种数据库,而数据泄露的原因多是由于MongoDB版本过于老旧或是随意放在公网没有经过身份验证。

全球5120TB数据泄露,Hadoop服务器配置不当是主因-E安全

2015年不安全的MongoDB数据库暴露在网上以后,安全专家发现,黑客复制并删除易受攻击的数据从而实施敲诈勒索。攻击者要求受害者支付赎金取回数据以及修补被利用的漏洞。

大多数互联网上暴露的MongoDB服务器似乎已经遭到攻击,类似的勒索攻击还针对Elasticsearch、CouchDB和Hadoop服务器,此类攻击目前仍在瞄准Hadoop和MongoDB。Shodan创始人约翰·马瑟利表示,首批针对HDFS的攻击删除了大多数目录,并创建了名为“NODATA4U_SECUREYOURSHIT”的目录,但未向受害者索要赎金。

通过Shodan查询字符串“NODATA4U_SECUREYOURSHIT”,Shodan检索出了超过200个Hadoop分布式文件系统结果。

如何查询已经暴露的Hadoop分布式文件系统

Shodan在博文提到如何搜索暴露在网上的Hadoop分布式文件系统。

1. 通过Shodan命令行接口下载数据:

全球5120TB数据泄露,Hadoop服务器配置不当是主因-E安全

2. 编写Python脚本测算暴露的数据量(hdfs-exposure.py)

全球5120TB数据泄露,Hadoop服务器配置不当是主因-E安全

 

3. 运行Python脚本获取暴露的数据量:

全球5120TB数据泄露,Hadoop服务器配置不当是主因-E安全

根据Shodan创始人Matherly的说法,目前仍然有207个基于HDFS的集群有赎金要求,不过不清楚这些是不是今年1月袭击的遗留问题,还是现下仍然有服务器正被劫持。

关于如何配置Hadoop服务器以在安全模式运行的说明,可以访问此链接

E安全注:本文系E安全独家编译报道,转载请联系授权,并保留出处与链接,不得删减内容。联系方式:① 微信号zhu-geliang ②邮箱eapp@easyaq.com
@E安全,最专业的前沿网络安全媒体和产业服务平台,每日提供优质全球网络安全资讯与深度思考,欢迎关注微信公众号「E安全」(EAQapp),或登E安全门户网站www.easyaq.com , 查看更多精彩内容。