压缩包数据清洗最佳实践
常用的压缩包格式有zip,rar,7z这三类。一开始在处理这些压缩包时,采用的思路是直接用python封装的第三方模块如zipfile、rarfile、py7zr这些直接处理原始压缩文件。
如果只是处理几百兆的小文件,是没有任何问题,但对于几十G的压缩包效率极其低下,尤其针对不解压提取压缩包内部的文件内容的场景,一个rar的压缩包处理时长可能花费数十个小时。
本文针对压缩包清洗,花费大量时间研究。深入分析清洗数据的坑点,以及优化思路。
阅读更多常用的压缩包格式有zip,rar,7z这三类。一开始在处理这些压缩包时,采用的思路是直接用python封装的第三方模块如zipfile、rarfile、py7zr这些直接处理原始压缩文件。
如果只是处理几百兆的小文件,是没有任何问题,但对于几十G的压缩包效率极其低下,尤其针对不解压提取压缩包内部的文件内容的场景,一个rar的压缩包处理时长可能花费数十个小时。
本文针对压缩包清洗,花费大量时间研究。深入分析清洗数据的坑点,以及优化思路。
阅读更多在日常的终端安全事件响应中,钓鱼攻击几乎是所有入侵故事的开端。所谓钓鱼攻击,本质上是一种社会工程手段。攻击者并不急于利用系统漏洞,而是通过邮件等方式诱导用户点击恶意链接,或在本地主机上执行带有恶意行为的文件,从而窃取账号信息、投递木马,甚至直接获得初始控制权限。
在实际处置事件时,我们经常发现,真正被“攻破”的并不是系统本身,而是人的判断力。
阅读更多
和朋友一起协同开发,需要打通双方的局域网互访,所以考虑到vpn的场景。一开始考虑frp+openvpn的实现。frp实现点对点穿透,openvpn负责组网。但是感觉这样配置较为繁琐,双方都需要部署frp和openvpn,体验不是很友好。
探索了多种方案最终选择了Zerotier,一个自带P2P打洞的vpn,同时满足需要。只需要自建一台有公网ip的moon服务器就可以高效实现各个zerotier节点之间的打洞。
阅读更多