Xpath的基本方法和使用详解 Python爬虫中最好用解析库

在爬虫开发的过程中还有一种解析html的方法,就是xpath,今天这篇文章就来详细介绍一下,至于你以后使用不使用呢就看你自己的个人爱好了。XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。在您继续学习之前,你应该了解HTML的基本知识。

什么是 XPath?

  • XPath 使用路径表达式在 XML 文档中进行导航
  • XPath 包含一个标准函数库
  • XPath 是 XSLT 中的主要元素
  • XPath 是一个 W3C 标准

XPath 术语

我们在使用的过程中需要知道下面的内容,使用xpath就是根据节点来提取自己想要的内容的。

  • 父(Parent):每个元素以及属性都有一个父。
  • 子(Children):元素节点可有零个、一个或多个子。
  • 同胞(Sibling):拥有相同的父的节点
  • 先辈(Ancestor):某节点的父、父的父,等等。
  • 后代(Descendant):某个节点的子,子的子,等等。
选取节点 常用的路劲表达式:
表达式描述实例 
nodename选取nodename节点的所有子节点xpath(‘//div’)选取了div节点的所有子节点
/从根节点选取xpath(‘/div’)从根节点上选取div节点
//选取所有的当前节点,不考虑他们的位置xpath(‘//div’)选取所有的div节点
.选取当前节点xpath(‘./div’)选取当前节点下的div节点
..选取当前节点的父节点xpath(‘..’)回到上一个节点
@选取属性xpath(’//@calss’)选取所有的class属性

二、谓语

谓语被嵌在方括号内,用来查找某个特定的节点或包含某个制定的值的节点

表达式结果
xpath(‘/body/div[1]’)选取body下的第一个div节点
xpath(‘/body/div[last()]’)选取body下最后一个div节点
xpath(‘/body/div[last()-1]’)选取body下倒数第二个div节点
xpath(‘/body/div[positon()<3]’)选取body下前两个div节点
xpath(‘/body/div[@class]’)选取body下带有class属性的div节点
xpath(‘/body/div[@class=”main”]’)选取body下class属性为main的div节点
xpath(‘/body/div[price>35.00]’)选取body下price元素值大于35的div节点

 三、通配符

Xpath通过通配符来选取未知的XML元素

表达式结果
xpath(’/div/*’)选取div下的所有子节点
xpath(‘/div[@*]’)选取所有带属性的div节点
取多个路径

使用“|”运算符可以选取多个路径

表达式结果
xpath(‘//div|//table’)选取所有的div和table节点
Xpath轴

轴可以定义相对于当前节点的节点集

轴名称表达式描述
ancestorxpath(‘./ancestor::*’)选取当前节点的所有先辈节点(父、祖父)
ancestor-or-selfxpath(‘./ancestor-or-self::*’)选取当前节点的所有先辈节点以及节点本身
attributexpath(‘./attribute::*’)选取当前节点的所有属性
childxpath(‘./child::*’)返回当前节点的所有子节点
descendantxpath(‘./descendant::*’)返回当前节点的所有后代节点(子节点、孙节点)
followingxpath(‘./following::*’)选取文档中当前节点结束标签后的所有节点
following-sibingxpath(‘./following-sibing::*’)选取当前节点之后的兄弟节点
parentxpath(‘./parent::*’)选取当前节点的父节点
precedingxpath(‘./preceding::*’)选取文档中当前节点开始标签前的所有节点
preceding-siblingxpath(‘./preceding-sibling::*’)选取当前节点之前的兄弟节点
selfxpath(‘./self::*’)选取当前节点
功能函数

使用功能函数能够更好的进行模糊搜索

函数用法解释
starts-withxpath(‘//div[starts-with(@id,”ma”)]’)选取id值以ma开头的div节点
containsxpath(‘//div[contains(@id,”ma”)]’)选取id值包含ma的div节点
andxpath(‘//div[contains(@id,”ma”) and contains(@id,”in”)]’)选取id值包含ma和in的div节点
text()xpath(‘//div[contains(text(),”ma”)]’)选取节点文本包含ma的div节点

xpath实例

from lxml import etree
#转解析类型
xpath_html=etree.HTML(html)
#调用xpath方法
result=xpath_html.xpath('/html/head/title') #返回的是标签对象,看不到我们所需要的内容的
result_text=xpath_html.xpath('/html/head/title/text()') #在后面加上text取文本
#print(result,result_text)
#xpath语法   1.节点 /  2.跨节点 // 3.精确查找://li[@属性="属性值"] 4.属性:@属性
#xpath返回结果为list类型  可以通过下标提取值
#xpath中[]下标从1开始,跨节点是不能按照[]方式提取 只能取 平级关系的标签
#//a[3] 跨节点取a标签 就不能使用[],因为有的a标签不是平级关系
result=xpath_html.xpath('//li') #你可以在后面加上text取文本
result=xpath_html.xpath('//li[@id="menu-item-1"]/text()') #按照属性值进行查找
result=xpath_html.xpath('//li[@id="menu-item-2"]/@href') #一般都是取出href属性
result=xpath_html.xpath('//a[1]/@href')[0] #取出第一个a标签的href属性 xpath[]下标从1开始
result=xpath_html.xpath('//a[2]')
result=xpath_html.xpath('//head/following-sibling::*[1]') #取head的平级标签,正常情况下是取head的子标签
print(result)

由于是演示每个语法的使用,出现先了多个变量名字相同,需要注意一下。基本上知道这些就没有问题了,我们来实战测试一下,随便找一个url,抓取相关内容,采用面向对象的代码格式。在解析数据的时候需要按照先抓大在抓小的原则,这样会减少一些困扰。一般来说web网页中的文章列表都是很有规律的,我们只需要先解析单个文章的标签,里面包含有相关的url,title,article等等一些我们想要的信息,如果你上去就解析url,title的话,就不能保证数据的一致性,两个是独立的信息,你需要另外拼接,可以使用enumerate方法来根据下标组合:

发表评论