链家-全国二手房源数据爬取思路分析
因为前几天在参加数学建模的比赛,恰好指导老师问我写过哪些爬虫,好像提到了他们之前让学生抓取链家上的房价信息。听老师描述起来好像还有些困难的样子,还有多种反爬措施。于是我就试着爬取了一下链家上二手房的信息,所以就把我在分析抓取数据的过程分享给大家。
因为前几天在参加数学建模的比赛,恰好指导老师问我写过哪些爬虫,好像提到了他们之前让学生抓取链家上的房价信息。听老师描述起来好像还有些困难的样子,还有多种反爬措施。于是我就试着爬取了一下链家上二手房的信息,所以就把我在分析抓取数据的过程分享给大家。
FFmpeg是我前段时间分析某视频网站加密的时候了解到的,功能非常强大。是视频处理最常用的开源软件,用途广泛,大量用于视频网站和商业软件(比如 Youtube 和 iTunes),也是许多音频和视频格式的标准编码/解码实现。在FFMpeg2.X 由于在解析HTTP Live Streaming流媒体m3u8文件处理不当,可导致SSRF漏洞与任意文件读取漏洞。当网站允许用户上传多媒体文件,并使用FFMpeg进行处理时会触发该漏洞。 阅读更多
Nexus Repository Manager 3 是一款软件仓库,可以用来存储和分发Maven、NuGET等软件源仓库。其3.14.0及之前版本中,存在一处基于OrientDB自定义函数的任意JEXL表达式执行功能,而这处功能存在未授权访问漏洞,将可以导致任意命令执行漏洞。
阅读更多因为昨天恰好看到了一些以前关于redis漏洞的文章,想起蒋大佬前段时间也在学习redis。我记得他是在服务器上装了redis的。所以就顺手测了一下他的redis,果不其然没设密码。所以就直接把我的ssh公钥写了进去,顺利的把他的服务器给搞到手了,美滋滋。所以就将这个Redis未授权访问漏洞复现了一遍。
这个漏洞是上个月出的一个phpmyadmin的漏洞。今天花了一下午的时间来复现了这个漏洞,写一下自己复现该漏洞的整个过程及自己的一些心得体会。
最近在研究php代码审计,恰好又看到了宽字节注入,虽然这个在很早之前就了解过,但是由于一直都没有机会尝试过这个注入,所以就利用sqli-labs来重新来研究一下。这里就用的是第33题,GET – Bypass AddSlashes()。
我学习python也有几年时间了。对我而言,python已经远不止是一门编程语言了,而是我的一位好朋友。所以每次写代码时,感觉是和好朋友聊天,而当看到别人的py代码时,就如碰到一位旧时好友,一见如故,总有一种莫名的亲切感。恰好最近也有许多人问我关于python的学习方法,以及如何学习爬虫的问题。所以我就借此总结一下我在Python学习过程中的心得体会。
PS:这篇文章很早就写了,偶然发现放草稿箱里一年多了,现在(2020.01)补充了后面的部分内容。