安全界的Baidu、Google——FOFA提速啦!

2018/12/24 19:35:00

默认标题_公众号封面首图_2018.12.24.jpg

安全界的Baidu、Google

网络空间资产检索系统(FOFA)与谷歌、百度不同,FOFA直接进入互联网的背后通道,搜索的不是与某个字段相关联的内容,而是各种各样完全不同的IP地址。FOFA能找到几乎所有与互联网相关联的东西,像服务器、摄像头、打印机、路由器,甚至交通监控摄像头,倘若你能掌握FOFA的搜索技巧,那将呈现出一个完全不同的世界。

微信图片_20181224193230.png

FOFA的运营规模很大,目前的网站和服务记录数已经超过13亿(服务7.56亿,网站5.65亿),服务白帽子超过2万每天检索次数超过百万次。随着数据量的增长和查询量的加大,原有的fofa后端架构已经不能很好的支持了,表现为:搜索任何一个产品时间都很长,统计数据需要很长时间才能出来,网站经常出现502错误等;已经严重影响使用。

为了尽可能给用户提供更好的服务,我们对服务器和带宽进行了升级;fofa的硬件升级经历了如下三个阶段:

  • 扩展服务器集群;

  • 增加一主多数据的全SSD服务器;

  • 同时将ES大版本。

服务器集群增加后,检索速度得到了极大的提升,大部分检索都能在一秒内出结果。


微信图片_20181224182417.png

本次还对ES分片进行了调整,由之前的5个分片增加到近百个分片,新增分片后集群最大可以扩展到近百台机器(总数据量可支持到96亿),可以支持FOFA继续运行至少2年左右。