Skip to content

A simple pixiv web crawler downloads images based on tags.

Notifications You must be signed in to change notification settings

llnkwell/pixiv_crawl_byTAGs

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

爬虫提供pixiv网页端按照标签搜索结果的图片下载功能

可以用目标tag加上其他收藏量tag(如:5000users入り等)搭配得到经过过滤的图片
但是由于tag是用户和画师可以自选的,所以这个方法爬取漏图难以避免,同时可能下载到少量差图(部分画师自行打上收藏量相关的标签)

当然开了pixiv会员的账号可以在获取json时自行筛选所有符合收藏量的作品

写了有段时间了,当时没有做图片下载失败的错误重试相关功能,同时在下载图片时如果由于网络波动等原因导致的连接关闭可能得到不完整的图片,这方面的异常捕获也可以完善下(

About

A simple pixiv web crawler downloads images based on tags.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages