GitHub – qichengzx/toutiaoSpider: 根据指定标签爬取今日头条文章图片。-演道网

今日头条图片爬虫

根据指定标签爬取对应文章图片,以”标签名/文章名”为目录存储。

RUN

$ git clone git@github.com/qichengzx/toutiaoSpider.git
$ cd toutiaoSpider
$ //main.go后添加需要爬取的标签名
$ go run main.go 街拍 摄影

SCREENSHOT

2016-12-11 19-31-51

TODO

并发爬取

以 标签名/文章名/文件名 结构存储

错误处理

Windows 保存图片的目录格式

已知问题

某些情况下会出现 unexpected EOF 错误导致退出

转载自演道,想查看更及时的互联网产品技术热点文章请点击http://go2live.cn

发表评论

电子邮件地址不会被公开。 必填项已用*标注