-
Notifications
You must be signed in to change notification settings - Fork 0
llnkwell/pixiv_crawl_byTAGs
Folders and files
Name | Name | Last commit message | Last commit date | |
---|---|---|---|---|
Repository files navigation
爬虫提供pixiv网页端按照标签搜索结果的图片下载功能 可以用目标tag加上其他收藏量tag(如:5000users入り等)搭配得到经过过滤的图片 但是由于tag是用户和画师可以自选的,所以这个方法爬取漏图难以避免,同时可能下载到少量差图(部分画师自行打上收藏量相关的标签) 当然开了pixiv会员的账号可以在获取json时自行筛选所有符合收藏量的作品 写了有段时间了,当时没有做图片下载失败的错误重试相关功能,同时在下载图片时如果由于网络波动等原因导致的连接关闭可能得到不完整的图片,这方面的异常捕获也可以完善下(
About
A simple pixiv web crawler downloads images based on tags.
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published