Scrapy框架爬取郑州二手房网站

目标网站http://second.zz.fccs.com/，是一个郑州的二手房网站，采用scrapy框架来做做一个案列。这里使用pycharm来演示，那么现在pycharm的terminal终端创建一个项目scrapy startproject ershoufang，这里的名字就叫做ershoufang吧，然后我们生成一个爬虫scrapy genspider er_spider http://second.zz.fccs.com/，这里当然也可自己建一个，我们可以在spiders文件夹下新建一个er_spider文件，在这个里面编写自己的爬虫文件。

我们可以在pycharm的terminal终端输入命令scrapy shell http://second.zz.fccs.com/ ，进入scrapy shell ，response就是数据返回的对象，可以直接使用response.xpath('xpath语句')来提取我们想要的内容。

分析html结构发现我们需要的所有内容都在一个li标签下面，那么我们做一下测试，看看xpath语句对不对，如果xpath语句不会的话，可移至xpath语法学习。

#extract返回所有结果 extract_first返回一个结果 不加返回的是一个含有data的对象 
response.xpath('//div[@class="info0"]/div[@class="t"]/a/div[1]/text()').extract()  #提取标题
response.xpath('//div[@class="info1"]/div[@class="p1"]/div[1]/text()').extract()  #面积
response.xpath('//div[@class="info1"]/div[@class="p1"]/div[2]/span/text()').extract()  #价格
response.xpath('//div[@class="info0"]/div[@class="lp"]/label[2]/text()').extract()  #区

测试完成，就需要在items文件中把自己的数据对象定义一下，就是我们需要提取的内容，格式都是固定的，类必须继承spider.Item

class ErshoufangItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()   
    title = scrapy.Field()  #名字
    price = scrapy.Field()  #价格
    area = scrapy.Field()   #面积
    district = scrapy.Field()   #区

这里如果想手动建爬虫文件的话，可参考下面的代码:

import scrapy
from from ershoufang.items import ErshoufangItem
#我们需要在爬虫文件中引入items中的类
#会显示红提示，但是不会出错

class ErshouFang(scrapy.Spider):
    name='ershou'  #爬虫的名字
    start_urls=['http://second.zz.fccs.com/']  #起始的url 固定的变量名

    def parse(self,response): #定义解析方法，名字固定为parse
        for ershoufang_item in response.xpath('//li[@class="item salelist"]'):  #先抓大，所有的内容都在li标签下
            yield{  创造一个生成器
                'title':ershoufang_item.xpath('./div[@class="info0"]/div[@class="t"]/a/div[1]/text()').extract(),
                'area':ershoufang_item.xpath('./div[3]/div/div[@class="p1"]/div[1]/text()').extract(),
                'price':ershoufang_item.xpath('./div[3]/div/div[@class="p1"]/div[2]/span/text()').extract(),
                'district':ershoufang_item.xpath('./div[@class="info0"]/div[@class="lp"]/label[2]/text()').extract()

            }
        #获取下一页的href a/[last()] 取出a的最后一个标签
        next_page=response.xpath('//div[@class="pages"]/div/div/div/a[last()]/@href').extract_first()
        if next_page is not None:  #如果存在下一页
            yield scrapy.Request(response.urljoin(next_page))
            #把下一页的链接交给scrapy.Request对象，使用urljoin拼接

ROBOTSTXT_OBEY = False #默认为True，改为False不遵守爬虫协议


ITEM_PIPELINES = {
   'ershoufang.pipelines.ErshoufangPipeline': 300,
}  #settings文件本身就有，开启即可

MONGODB_HOST='127.0.0.1'  #本地
MONGODB_PORT=27017  #端口
MONGODB_DBNAME='ershoufang' #定义数据库名
MONGODB_DOCNAME='ershou'  #定义集合名

编写一个爬虫可以按照爬虫文件<------>items文件<------>settings文件<------->pipelines文件的顺序写。

常见报错

这个运行过程可能会出错，那么在这里提示一下，其实大部分还带你自己看明白。运行过程中，会一页一页的显示数据就像 DEBUG: Scraped from <200 http://xxxx.html>这样，有数据就是没有问题，那么也可能是这样DEBUG: Crawled (403) ，这是挂了，需要跟换ip，或者界面出现了验证码，一般都是请求太快，网页会显示验证码，我们只要跟换ip就可以了。

测试发现这个网页爬取到40到50页就会出现验证码，其实就是ip挂了，需要更换ip。我们也可以对数据保存为json或者csv格式到本地，使用scrapy crawl ersou -o ershou.json或者csv，自己可以练习一下。