神刀安全网

被黑了

话说从前些天开始,我的某台服务器不时会出现外网访问响应速度变慢的情况,不过内网访问倒是一直正常。因为并不是核心服务器,所以一开始我便忽略了监控报警,但是随着服务器的可用性越来越差,我不得不腾出手来看看到底发生了什么。

既然是网络问题,那么就在客户端用「mtr <IP>」检查一下网络情况:

被黑了

mtr

既然丢包主要发生在最后一跳,那么就在服务器用「sar -n DEV」检查一下带宽:

被黑了

sar

明显可见 TX 流量时不时便会到达一定的高峰,说明服务器在向外发送大量数据,导致触及了带宽阈值,那么到底是什么原因造成的呢?是时候祭出「iptraf」神器了,本例的服务器中,内网正常,其网卡是 eth0;外网异常,其网卡是 eth1:

被黑了

iptraf (General interface statistics)

单独监控外网网卡发现大部分流量都集中在 UDP 协议之上:

被黑了

iptraf (Detailed interface statistics)

按照端口监控发现流量主要集中在 UDP 的 53 端口上。不过需要说明的是这里的端口既可能是源端口,也可能是目标端口,并且 iptraf 缺省只监控 1024 以下的端口:

被黑了

iptraf (Statistical breakdowns)

监控具体的流量包,发现本地端口在不停的往远程的端口发请求:

被黑了

iptraf (IP traffic monnitor)

随便提一下,在上面的确诊过程中,我详细描述了 iptraf 的用法,其实 iftop 也不错,但是需要说明的是,iftop 缺省并不显示端口信息(按 p 键显示)。

被黑了

iftop

如果要想知道某个端口运行的是什么程序,可以使用 lsof 命令:

shell> lsof -i:<PORT>

结果发现可疑进程是通过 jenkins 用户启动的,于是我们基本上可以确认攻击者是通过 jenkins 漏洞攻陷服务器的,让我的服务器成为一台肉鸡,进而对目标发起 DNS 反射攻击。既然已经大概搞清楚了被攻击的原因,那么最简单的方法就是把问题服务器直接下线,重新配置一个新服务器,不过有时候事情并不简单,所以得想办法恢复它。

因为攻击者可能会在服务器上做手脚,所以我们需要仔细排查每一个存在隐患的地方,比如 cron 配置,还有 /etc/passwd 和 /etc/rc.d/init.d/* 等文件。此外,一些常用的命令也存在被感染的可能性,如果操作系统是 CentOS 的话,可以按如下方式确认:

shell> rpm -V $(rpm -qa)

它会检测文件在安装后是否发生了变化,如果是,那么会给出相应的提示,比如:长度变化提示 S,权限变化提示 M,最重要是的 MD5 变化的话提示 5,一旦发现了某个命令可能存在问题,重新安装它(前提是 yum 没有被感染):

shell> yum reinstall <PACKAGE>

即便再小心,也难免百密一疏,木马可能会死灰复燃,此时可以试试 sysdig 命令:

shell> sysdig -c spy_users

它会监控所有的用户行为,如果木马有动作,自然也会被记录下来。

回想整个事件,如果我不在外网服务器上乱装服务,或者及时升级到最新版,那么可能就不会被黑;如果我能总是启用监控报警,那么可能很早就会发现问题。不过出问题并不可怕,更重要的是我们要能理清问题的来龙去脉,别重复摔在同一个坑里。

转载本站任何文章请注明:转载至神刀安全网,谢谢神刀安全网 » 被黑了

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
分享按钮