Scrapy框架实现文件下载功能
在使用Scrapy框架爬虫的时候，很多时候都是在爬取数据，但有的时候也需要爬取文件，例如图片、音视频、文本文件，虽然我们可以自定义代码搞定这些问题，但要知道Scrapy为我们提供了一个可重用的Item Pipelines，叫做Media Pipeline。Media Pipeline分为Files Pipeline和Images Pipeline。：
（1）能避免重新下载已下载过的数据。 （2）可以指定下载后保存的路径。 Images Pipeline为处理图片提供了额外的功能： （1）将所有下载的图片格式转换成普通的JPEG并使用RGB颜色模式。 （2）生成缩略图。 （3）检查图片的宽度和高度，确保它们满足最小的尺寸限制。Files Pipeline
Pipeline同时会在内部保存一个被调度下载的URL列表，然后将包含相同媒体的链接关联到这个队列上来，从而防止重复下载。这里随便找几个文件下载URL地址：
# zip压缩包
https://github.com/scrapy/scrapy/archive/master.zip
# MP3音乐
# jpg图片
https://icon.qiantucdn.com/20200527/01fc9da19898637c71a676cb53cc58d32创建Scrapy项目，需要在settings.py文件进行配置：
# 设置保存路径
FILES_STORE='D:\\files\\'
# 设置请求头
DEFAULT_REQUEST_HEADERS = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en',
'User-Agent': 'User-AgentMozilla/5.0 (Windows NT 10.0; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0'
}
# 配置DownloadFile管道
ITEM_PIPELINES = {
'file_down.pipelines.FileDownPipeline': 300,
'file_down.pipelines.DownloadFile': 1,
}其它配置按需添加，这里只配置重要的文件下载信息。接着定义items.py管道类：
import scrapy
class FileDownItem(scrapy.Item):
file_url = scrapy.Field()
file_name = scrapy.Field()
pass最后是spider.py爬虫文件：
import scrapy
from file_down.items import FileDownItem
class FileSpider(scrapy.Spider):
name = 'file'
# QQ音乐
start_urls = [
'http://isure.stream.qqmusic.qq.com/C400001VIcIs35VE9a.m4a?guid=1667117097&vkey=6273C1FCA41658AD85D888D4839BE654C7CB7AB60FB98AC4B3EA39202930090746A768A168A05F47FD67C28FDE12F1C392605A3483723732&uin=0&fromtag=66'
]
def parse(self, response):
# 下载方法一
# with open(self.settings.get('FILES_STORE')+'.mp3', 'wb') as f:
# f.write(response.body)
# 下载方法
item = FileDownItem()
item['file_name'] = ['file.zip', 'file.mp3', 'file.jpg']
item['file_url'] = ['https://github.com/scrapy/scrapy/archive/master.zip',
'https://webfs.yun.kugou.com/202007120912/1ed2ca496f8f1a294dd2ee8d3be293b2/G233/M09/1B/1D/yZQEAF8HAZSAZCvyADpYeejGt2g394.mp3',
'https://icon.qiantucdn.com/20200527/01fc9da19898637c71a676cb53cc58d32']
return itemfrom scrapy.pipelines.files import FilesPipeline
from scrapy.pipelines.images import ImagesPipeline
import scrapy
from scrapy.utils.project import get_project_settings
settings = get_project_settings()
class FileDownPipeline:
# 自动生成的管道
def process_item(self, item, spider):
return item
class DownloadFile(FilesPipeline):
# 重写get_media_requests
def get_media_requests(self, item, info):
# 遍历item['file_url']
for index, url in enumerate(item['file_url']):
yield scrapy.Request(url, meta={'name': item['file_name'][index]})
# 重写file_path，设置下载文件名
def file_path(self, request, response=None, info=None):
# request.meta['name']来自get_media_requests方法的meta
file_name = settings['FILES_STORE'] + request.meta['name']
return file_name实现流程如下： （1）、 在Spider中爬取一个Item后，将相应的文件URL放入file_urls字段中。 （2）、 Item被返回之后就会转交给Item Pipeline。 （3）、 当这个Item到达FilesPipeline时，在file_urls字段中的URL列表会通过标准的Scrapy调度器和下载器来调度下载，并且优先级很高，在抓取其他页面前就被处理。而这个Item会一直在这个Pipeline中被锁定，直到所有的文件下载完成。 （4）、 当文件被下载完之后，结果会被赋值给另一个files字段。这个字段包含一个关于下载文件的新字典列表，比如下载路径、源地址、文件校验码。files里面的顺序和file_url的顺序是一致的。若下载出错，则不会出现在这个files中。
Images Pipeline
ImagesPipeline的使用跟FilesPipeline差不多，不过使用的字段名不一样，image_urls用于保存图片的URL地址，使用ImagesPipeline的好处是可以通过配置来提供额外的功能，比如生成文件缩略图、通过图片大小过滤需要下载的图片等。ImagesPipeline使用Pillow来生成缩略图以及转换成标准的JPEG/RGB格式。这里不再详细介绍了！
