分类目录python

写这篇博客呢，也是一个偶然。昨天晚上杨勇老师在我们专业群里分享了一些学习资源。但是这些视频是收费的，不过恰好有一位同学已经差不多买完了，所以就可以大家共享账号一起学习。后面想了想我能不能把老齐所有的付费视频给抓取下来呢，经过一上午的摸索，还是不错的呢。

阅读更多

写这篇文章纯属一时兴起，是因为昨天协会群里有人发了问卷调查的链接，虽然这也很常见，之前空间也经常有人发问卷调查，但有的内容很长，问题又多，实在是麻烦得很。但是呢，作为一个程序猿，我觉得应该用我们方式去填问卷，其实只是我想皮一下。所以昨晚就写了个脚本，发现还真的挺好使的。

阅读更多

通过机器学习算法来识别正方系统的验证码是我大二上学期就有的一个想法。不过拖了很久，恰好利用这学期我们学校举办的奔腾杯比赛来做这个事情。因为刚开始接触机器学习，对一些主流的深度学习框架还了解的不深，所以我选择了最简单的Keras，节省了大量的时间成本。这期间参考了大量的文章和别人的模型，才写成本文，由于我目前能力尚且不足，文章难免会有很多疏漏和不足之处，还望各位大佬见谅和指教。

阅读更多

我在之前的一篇文章里写过链家上全国所有城市的二手房房价信息抓取的爬虫思路以及代码。之后我便一直在学习数据可视化的内容。因为房价一直都是大家比较关注的话题，二手房价格也不低，新房更是让人望而却步。所以将爬取到的数据拿出来进行可视化分析。

阅读更多

前几天在空间看到同学发说说关于爬取西刺代理遇到了一些问题，所以今天就自己尝试了下。发现爬取页面上的ip本身并不困难，恰好突发奇想既然抓取了这么多免费的代理ip，不如写入数据库来供自己的爬虫使用。所以我就想到了这里用Redis再合适不过了，建立一个自己的ip代理池，美滋滋！

阅读更多

pornhub这个网站可能大多数人都知道，至于网站什么内容什么的我就不做什么介绍了。如果实在不知道就自行Google吧。当然这是一篇纯粹的技术文章，因为pornhub上的视频是无法直接下载的。通过页面分析pornhub得到视频的源地址，就可以不用挂vpn观看视频或直接下载了。

阅读更多

因为前几天一位同学和我讨论如何爬取起点中文网的上小说的数据。其中遇到了一些内容无法抓取，前端显示出来的是正常的，但复制下来却是乱码。我看了网页源码后发现，是用了特殊的字体。所以直接抓取是拿不到数据的。恰好我之前还没遇到过类似的问题，所以就研究学习了一下。自己偶然想出了一个独特的思路从而曲线救国。

阅读更多

因为前几天在参加数学建模的比赛，恰好指导老师问我写过哪些爬虫，好像提到了他们之前让学生抓取链家上的房价信息。听老师描述起来好像还有些困难的样子，还有多种反爬措施。于是我就试着爬取了一下链家上二手房的信息，所以就把我在分析抓取数据的过程分享给大家。

阅读更多