E-mail:[email protected]
仅作校招参考使用……
这是我在某游戏公司实习的时候写的部分代码，主要是用Scrapy爬取的视频网站的爬虫。
全部用Python写成，Python也是我最喜欢的语言。
为了满足分布式爬虫的开发管理和高性能爬虫，使用Scrapy。
已经部署，每天循环开启，
爬虫的思路都是一样的，需要的参数可能不一样，关于Scrapy的介绍和使用请移步https://doc.scrapy.org/en/latest/。
迭代请求页面，爬取页面信息……
没啥好说的……
关于爬虫的技巧，如查看出处，拼接URL，反爬虫，都是实践出真知啊……