压缩包数据清洗最佳实践
常用的压缩包格式有zip，rar，7z这三类。一开始在处理这些压缩包时，采用的思路是直接用python封装的第三方模块如zipfile、rarfile、py7zr这些直接处理原始压缩文件。
如果只是处理几百兆的小文件，是没有任何问题，但对于几十G的压缩包效率极其低下，尤其针对不解压提取压缩包内部的文件内容的场景，一个rar的压缩包处理时长可能花费数十个小时。
本文针对压缩包清洗，花费大量时间研究。深入分析清洗数据的坑点，以及优化思路。
阅读更多Zerotier + Openwrt异地组网高阶配置
和朋友一起协同开发，需要打通双方的局域网互访，所以考虑到vpn的场景。一开始考虑frp+openvpn的实现。frp实现点对点穿透，openvpn负责组网。但是感觉这样配置较为繁琐，双方都需要部署frp和openvpn，体验不是很友好。
探索了多种方案最终选择了Zerotier，一个自带P2P打洞的vpn，同时满足需要。只需要自建一台有公网ip的moon服务器就可以高效实现各个zerotier节点之间的打洞。
阅读更多