标签：python

2019-01-04LeoKing阅读(815)赞(1)

微信改版，加星标不迷路 摘要： 如今移动互联网越来越发达，各式各样的 App 层出不穷，也就产生了优劣之分，相比于普通 App，我们肯定愿意去使用那些良心佳软，但去发现这些 App 并不太容易，本文使用 Scrapy 框架爬取了著名应用下载...

2019-01-04LeoKing阅读(1012)赞(0)

有态度地学习 其实每次爬东西的时候，特怕IP被封，所以每次都要把时间延迟设置得长一点… 这次用Python搭建一个简单的代理池。获取代理IP，然后验证其有效性。 不过结果好像不是很理想，为什么西刺代理的高匿代理都能用？？？ 不是...

2019-01-04LeoKing阅读(677)赞(0)

有态度地学习 之前讲了代理池以及Cookies的相关知识，这里针对搜狗搜索微信公众号文章的爬取，将它俩实践一下。 在崔大的书里面，他是用代理IP来应对搜狗的反爬措施，因为同一IP访问网页过于频繁，就会跳转验证码页面。 不过时代在进步，搜狗搜...

2019-01-04LeoKing阅读(1236)赞(0)

有态度地学习 验证码有图形验证码、极验滑动验证码、点触验证码、宫格验证码。这回重点讲讲图形验证码的识别。 虽说图形验证码最简单，但是对于我这等新手，还是要苦学一番。首先寻找测试网站，网站选的是如云阁小说网，小网站不怕被封。他们的验证码一般如...

2019-01-04LeoKing阅读(926)赞(0)

有态度地学习 上一份的推送是关于QQ音乐所有评论的获取，这一次讲讲QQ音乐精彩评论的获取。翻了一下QQ音乐热歌排行榜上的歌，发现QQ音乐热评多的歌不多，所有评论和网易云音乐比起来也挺寒碜的，只能说网易云不愧是文艺小青年的聚集地。不过不能因为...

2019-01-04LeoKing阅读(896)赞(0)

有态度地学习 对于Ajax加载的网页已经分析了好几回，这回来说说利用selenium自动化获取网页信息。 通常对于异步加载的网页，我们需要查找网页的真正请求，并且去构造请求参数，最后才能得到真正的请求网址。而利用selenium通过模拟浏览...

2019-01-04LeoKing阅读(950)赞(0)

有态度地学习 最近在研究如何对搜狗搜索公众号文章进行爬取，由于需要用到Cookies，所以这回先了解下Cookies的相关知识。 搜狗的反爬有点厉害，即使我用了高匿代理，它还是会提醒我IP访问过于频繁，然后跳转验证码页面。 其实真正的原因不...

2019-01-04LeoKing阅读(989)赞(0)

有态度地学习 讲道理，pyspider确实是一款优秀的爬虫框架，我们可以利用它快速方便地实现一个页面的抓取。 不过带来便捷性的同时，也有它的局限性，复杂页面不好爬取。 在本次的数据爬取中，BOSS直聘是成功使用pyspider。但拉勾网却不...

2019-01-04LeoKing阅读(1265)赞(0)

豆瓣电影TOP250，对于众多爬虫爱好者，应该并不陌生。 很多人都会以此作为第一个练手的小项目。 当然这也多亏了豆瓣的包容，没有加以太多的反爬措施，对新手比较友好。 本期通过Scrapy框架，对豆瓣电影TOP250信息进行爬取。 同时对获取...

2019-01-03LeoKing阅读(716)赞(0)

笔者从大学开始就接触 Python，起初是好奇为什么 Python 不需要浏览器就能抓取网站数据。深感奇妙之余，也想亲身体验这种抓取数据的乐趣，所以写了很多爬虫程序。 后随着知识面的拓展，开始了解到数据分析这一领域，方知道爬取到的数据背后原...