pornhub视频地址接口抓取分析&&爬虫源码分享

pornhub这个网站可能大多数人都知道,至于网站什么内容什么的我就不做什么介绍了。如果实在不知道就自行Google吧。当然这是一篇纯粹的技术文章,因为pornhub上的视频是无法直接下载的。通过页面分析pornhub得到视频的源地址,就可以不用挂vpn观看视频或直接下载了。

阅读更多

Apache SSI 远程命令执行漏洞复现

使用SSI(Server Side Include)的html文件扩展名(.shtml),通常称为”服务器端嵌入“或者叫”服务器端包含“。

shtml不是html而是一种服务器API,shtml是服务器动态产生的html。两者都是超文本格式,但shtml是一种用于SSI(Servcie Side Include ,服务器端包含指令)技术的文件,一般浏览器访问时会优先扫描依次shtml文件看有没有SSI指令存在,就就按服务器设定的规则去解释SSI指令,然后跟html一起被渲染。当shtml或shtm中不包含服务端可执行脚本时作用和html或htm一样。 阅读更多

关于反字体反爬的一种新思路–利用OCR识别

因为前几天一位同学和我讨论如何爬取起点中文网的上小说的数据。其中遇到了一些内容无法抓取,前端显示出来的是正常的,但复制下来却是乱码。我看了网页源码后发现,是用了特殊的字体。所以直接抓取是拿不到数据的。恰好我之前还没遇到过类似的问题,所以就研究学习了一下。自己偶然想出了一个独特的思路从而曲线救国。

阅读更多

链家-全国二手房源数据爬取思路分析

因为前几天在参加数学建模的比赛,恰好指导老师问我写过哪些爬虫,好像提到了他们之前让学生抓取链家上的房价信息。听老师描述起来好像还有些困难的样子,还有多种反爬措施。于是我就试着爬取了一下链家上二手房的信息,所以就把我在分析抓取数据的过程分享给大家。

阅读更多

CVE-2016-1897/8 ffmpeg任意文件读取/SSRF漏洞复现

FFmpeg是我前段时间分析某视频网站加密的时候了解到的,功能非常强大。是视频处理最常用的开源软件,用途广泛,大量用于视频网站和商业软件(比如 Youtube 和 iTunes),也是许多音频和视频格式的标准编码/解码实现。在FFMpeg2.X 由于在解析HTTP Live Streaming流媒体m3u8文件处理不当,可导致SSRF漏洞与任意文件读取漏洞。当网站允许用户上传多媒体文件,并使用FFMpeg进行处理时会触发该漏洞。 阅读更多

Hadoop Yarn REST API未授权漏洞复现

Hadoop是一个由Apache基金会所开发的分布式系统基础架构,YARN是hadoop系统上的资源统一管理平台,其主要作用是实现集群资源的统一管理和调度,可以把MapReduce计算框架作为一个应用程序运行在YARN系统之上,YARN提供有默认开放在8088和8090的REST API(默认前者)允许用户直接通过API进行相关的应用创建、任务提交执行等操作,如果配置不当,REST API将会开放在公网导致未授权访问的问题。
我还是用的vulhub的环境,但为了避免漏洞本身8088被扫描攻击,我就改到了其他端口。

阅读更多

Redis 未授权访问漏洞 复现

因为昨天恰好看到了一些以前关于redis漏洞的文章,想起蒋大佬前段时间也在学习redis。我记得他是在服务器上装了redis的。所以就顺手测了一下他的redis,果不其然没设密码。所以就直接把我的ssh公钥写了进去,顺利的把他的服务器给搞到手了,美滋滋。所以就将这个Redis未授权访问漏洞复现了一遍。

阅读更多