scrapy抓取下载360图片

时间:2019-08-09 来源:www.beautymug.com

博九备用网址

  假设我们要做一个有关美食的网站,需要从360图片库采集一批美食图片,不仅是采集图片的链接,而是将图片下载到本地,引用第三方图片链接总是不可靠的,哪天设置了防盗链,又得重新忙活,还是要放在自己的图床才踏实

  进入360图片库,以美食分类为范例,url为:

,在 chrome 的开发者模式中,可捕获到获取数据的请求:

  

  获取图片数据的请求

  从这些 url 的请求格式,可得出其规律为: 每页的数量为 30 ,url 中的数量取值为

  因此,第一页的url便是: 直接访问该url,可得到以下json数据

  

  json结果解析

  修改 配置文件:

  upload.jianshu.iousersupload_avatars1864602428daddc-4447-4c4b-a291-eb8e45686b4b.jpg?imageMogr2auto-orientstrip%7CimageView21w96h96

  塞亚猫

  upload.jianshu.iouser_badgeb67c298d-f020-4f89-aac6-0710bc0709ec

  2019.07.21 15:57*

  字数 312

  假设我们要做一个有关美食的网站,需要从360图片库采集一批美食图片,不仅是采集图片的链接,而是将图片下载到本地,引用第三方图片链接总是不可靠的,哪天设置了防盗链,又得重新忙活,还是要放在自己的图床才踏实

  进入360图片库,以美食分类为范例,url为:

,在 chrome 的开发者模式中,可捕获到获取数据的请求:

  

  获取图片数据的请求

  从这些 url 的请求格式,可得出其规律为: 每页的数量为 30 ,url 中的数量取值为

  因此,第一页的url便是: 直接访问该url,可得到以下json数据

  

  json结果解析

  修改 配置文件:

  假设我们要做一个有关美食的网站,需要从360图片库采集一批美食图片,不仅是采集图片的链接,而是将图片下载到本地,引用第三方图片链接总是不可靠的,哪天设置了防盗链,又得重新忙活,还是要放在自己的图床才踏实

  进入360图片库,以美食分类为范例,url为:

,在 chrome 的开发者模式中,可捕获到获取数据的请求:

  

  获取图片数据的请求

  从这些 url 的请求格式,可得出其规律为: 每页的数量为 30 ,url 中的数量取值为

  因此,第一页的url便是: 直接访问该url,可得到以下json数据

  

  json结果解析

  修改 配置文件:

达到当天最大量