应急响应-主机安全告警K8s恶意DNS请求排查
k8s集群中某台主机请求恶意域名触发主机安全告警,但是排查发现被告警的是负责集群dns解析的主机,并发真正发起恶意请求的主机/容器。这类场景下如何才能快速排查出存在漏洞的业务或服务?
k8s场景下如何应急响应?
k8s使用coreDNS或者kube-dns来作为集群内部的dns解析服务,这类云原生场景下的恶意请求排查会相对麻烦些,所有业务都是容器化部署,并且k8s中dns服务默认未开启日志。
思路一:开启coreDNS解析日志
找到coredns所在的容器。
kubectl get pods -A -o wide | grep dns
默认coredns未开启日志,执行logs命令没有解析记录。注意:执行命令要带上 -n kube-system (命名空间)。
修改coredns配置文件加入log。
kubectl edit configmap coredns -n kube-system
修改配置coredns会自动重启。
注意开启日志可能的影响:
- 重启coredns可能短暂影响集群域名解析
- 域名解析量大,开启日志可能会影响到服务性能
测试域名解析来自哪个pod?
我们在开启日志后,使用另一个容器发起dns请求,可以看到对应的容器ip。
思路二:tcpdump抓包
在coredns的宿主机上抓53端口的流量。但需要结合恶意请求的告警定位到准确时间的报文信息。
但是k8s场景下,容器内部很多命令都是没有。这个时候就需要用到nsenter进行到容器内部的网络空间进行抓包。一个比较典型的用途就是进入容器的网络命名空间。通常容器为了轻量级,大多都是不包含较为基础网络管理调试工具,比如:ip、ping、telnet、ss、tcpdump 等命令,给调试容器内网络带来相当大的困扰。
nsenter 安装
nsenter 位于 util-linux 包中,一般常用的 Linux 发行版都已经默认安装。如果你的系统没有安装,可以使用以下命令进行安装:
yum install util-linux -y
nsenter 进入容器网络空间
nsenter -t <PID> -n bash
tcpdump -i any port 53 -C 20 -W 200 -w /tmp/client_dns.pcap
在正常情况下,抓包对业务无影响,仅会增加小部分的CPU负载和磁盘写入。该命令会对抓取到的包进行rotate,最多可以写200个20 MB的.pcap文件。
但是上面的命令将包内容输出到了文件,无法在标准输出上看到记录。不想要完整的数据包,可以用下面的命令。
tcpdump -i any port 53 -vvv | tee -a /tmp/dns.log
此时也能捕获到coredns内部的域名请求ip。
赞赏微信赞赏支付宝赞赏
发表评论