在Scrapy爬虫框架进行数据解析 使用Scrapy内建的Xpath进行数据解析我们已经知道了如何进行数据解析，那么现在就需要进行数据持久化存储，这里有两种方式存储数据，一种是基于终端指令，另一种是基于管道。
基于终端指令存储
在 Scrapy爬虫框架的基本使用 创建spider工程和spider爬虫 scrapy基本命令我已经整理了一些终端的常用命令，里面就有存储的命令，你可以再去看一下。
承接前一篇文章的数据解析，这里我们使用终端命令进行数据存储。需要注意的是，这种方法只可以将parse方法的返回值存储写入到指定后缀的文件中。修改一下parse方法：
# -*- coding: utf-8 -*-
import scrapy
class MeiziSpider(scrapy.Spider):
name = 'meizi'
allowed_domains = ['www.linuxcool.com']
start_urls = ['https://www.linuxcool.com/']
def parse(self, response):
all_list=[]
ul_list=response.xpath('//ul[@class="category-posts"]/li')
for li in ul_list:
# extract() 将列表中的每一个列表元素表示的Selector对象中的字符串取出
href=li.xpath('./a/@href').extract()
# extract()表示将列表中的第0个列表元素进行数据提取
title=li.xpath('./a/text()').extract_first()
dic={
'href':href,
'title':title,
}
all_list.append(dic)
return all_list #返回值就是解析到所有的数据
在终端中执行命令：
scrapy crawl meizi -o meizi.json #保存json文件到本地该命令只能存储为json、jsonlines、jl、csv、xml、marshal、pickle后缀的文件。
基于管道进行存储
实现流程：
首先第一步已完成，进行第二步，在Item类中也就是items.py文件中定义相关属性，解析的数据有几个字段就定义几个属性：
# -*- coding: utf-8 -*-
import scrapy
class Myspider1Item(scrapy.Item):
# 定义两个属性，是用来存储解析到两个字段的值
href = scrapy.Field()
title = scrapy.Field()
第三步，需要在爬虫文件中实例化Item对象，并将数据封装到Item对象中：
# -*- coding: utf-8 -*-
import scrapy
from myspider1.items import Myspider1Item
class MeiziSpider(scrapy.Spider):
name = 'meizi'
allowed_domains = ['www.linuxcool.com']
start_urls = ['https://www.linuxcool.com/']
# 基于管道的持久化存储
def parse(self, response):
ul_list=response.xpath('//ul[@class="category-posts"]/li')
for li in ul_list:
href=li.xpath('./a/@href').extract_first()
title=li.xpath('./a/text()').extract_first()
# 将解析到的数据存储到Item对象红
item=Myspider1Item()
# item['href']访问item对象中的title属性（只可以这样访问属性）
item['href']=href
item['title']=title
第四步，将存储了解析数据的Item对象提交给管道（pipelines.py）：
# -*- coding: utf-8 -*-
import scrapy
from myspider1.items import Myspider1Item
class MeiziSpider(scrapy.Spider):
name = 'meizi'
allowed_domains = ['www.linuxcool.com']
start_urls = ['https://www.linuxcool.com/']
# 基于管道的持久化存储
def parse(self, response):
ul_list=response.xpath('//ul[@class="category-posts"]/li')
for li in ul_list:
href=li.xpath('./a/@href').extract()
title=li.xpath('./a/text()').extract_first()
# 将解析到的数据存储到Item对象红
item=Myspider1Item()
# item['href']访问item对象中的title属性（只可以这样访问属性）
item['href']=href
item['title']=title
# 将item对象提交给管道（pipelines.py定义好了管道类）
yield item第五步，在管道文件中接收Item对象，使用process_item方法进行接收：
# -*- coding: utf-8 -*-
class Myspider1Pipeline:
# 这个方法是用来接受爬虫文件提交过来的item对象（一次只能接收一个item对象）
# 参数item：就是接收到的item对象
def process_item(self, item, spider):
# 将接收到的item对象写入文件
href=item['href'] #将item对象中存储的值取出
title=item['title']
# open('./a.txt') 写在此处是错误的，因为process_item方法会被调用多次
return item在process_item方法中不能进行文件打开操作，process_item一次只能接收一个item对象，而我们的爬虫返回很多的item对象，所以process_item会执行多次，也就是文件会打开多次，这是不允许的。在管道中给我们提供了open_spider方法和close_spider方法，前者只会在爬虫开始后被执行一次，后者只会在爬虫结束前调用一次，如果想了解更多内容参考：Scrapy深入学习pipelines管道文件，这里就解释这么多：
# -*- coding: utf-8 -*-
class Myspider1Pipeline:
# 重写父类的方法：只会在爬虫开始后被执行一次
def open_spider(self,spider):
print('I am open_spider()')
self.file=open('./meizi.txt','w',encoding='utf-8')
# 这个方法是用来接受爬虫文件提交过来的item对象（一次只能接收一个item对象）
# 参数item：就是接收到的item对象
def process_item(self, item, spider):
print('I am process_item()')
# 将接收到的item对象写入文件
href=item['href'] #将item对象中存储的值取出
title=item['title']
self.file.write(href+':'+title+'\n')
return item
# 重写父类的方法：只会在爬虫结束前调用一次
def close_spider(self,spider):
print('I am close_spider()')
self.file.close()最后一步，在settings.py文件中开启管道：
ITEM_PIPELINES = {
# 300表示优先级，数值越小优先级越高
'myspider1.pipelines.Myspider1Pipeline': 300,
}
你可以看到这是对我们的管道类进行注册，这样才可以使用我们的Myspider1Pipeline，300表示优先级，数值越小优先级越高。这样运行我们的爬虫文件，你会发现I am open_spider()在爬虫开始的时候打印一次，I am process_item()打印多次，I am close_spider()在爬虫结束的时候打印一次。
