Python爬虫网页内容提取工具xpath-创新互联

上一节，我们详述了lxml.html的各种操作，接下来我们熟练掌握一下XPath，就可以熟练的提取网页内容了。

XPath 是什么？

XPath的全称是 XML Path Language，即XML 路径语言，是一种在XML（HTML）文档中查找信息的语言。它有4点特性：

• XPath 使用路径表达式在 XML 文档中进行导航
• XPath 包含一个标准函数库
• XPath 是 XSLT 中的主要元素
• XPath 是一个 W3C 标准

我们从网页中提取数据，主要应用前两点。

XPath 路径表达式

使用XPath我们可以很容易定位到网页中的节点，也就是找到我们关心的数据。这些路径跟电脑目录、网址的路径很相似，通过 / 来表示路径的深度。

XPath 标注函数库

头内建了100多个函数，当然我们提取数据用到的有限，也就不用记住全部100多个函数了。

Xpath 的节点（Node）

XPath中的核心就是节点（Node），定义了7种不同类型的节点： 元素（Element）、属性（Attribute）、文本（Text）、命名空间（Namespace）、处理指令（processing-instruction）、注释（Comment）和文档节点（Document nodes）
这些节点组成一棵节点树，树的根节点被称为文档节点。
其中注释就是html里面的注释：``
而命名空间、处理指令和网页数据提取基本没关系，这里就不再详述。

下面我们以一个简单的html文档为例，来解释不同的节点及其关系。

      
ABC
              
home
         
python
       

这段html中的节点有：

• 文档节点： 
• 元素节点：
• python
• 属性节点：  id="menu"

XPath 节点的关系

节点间的关系完全照搬人类传宗接代的辈分关系，但只是直系关系，没有叔叔、大伯之类的旁系关系。
还是以上面的html文档为例来说明节点关系：

父（Parent）

每个元素节点（Element）及其属性都有一个父节点。
比如，body的父是html，而body是div、ul 的父亲。

子（Children）

每个元素节点可以有零个、一个或多个子。
比如，body有两个子：div，ul，而ul也有两个子：两个li。

同辈（Sibling）

同辈有相同的父辈节点。
比如，div和ul是同辈。

先辈（Ancestor）

某节点的父辈及其以上辈分的节点。
比如，li的父辈有：ul、div、body、html

后代（Descendant）

某节点的子及其子孙节点。
比如，body的后代有：div、ul、li。

XPath节点的选取

选取节点，也就是通过路径表达来实现。这是我们在网页提取数据时的关键， 要熟练掌握 。

下表是比较有用的路径表达式：

接下来通过具体的示例来加深对路径表达的理解：

XPath函数

Xpath的函数很多，涉及到错误、数值、字符串、时间等等，然而我们从网页中提取数据的时候只会用到很少的一部分。其中最重要的就是字符串相关的函数，比如contains()函数。

contains(a, b)

如果字符串a包含字符串b，则返回true，否则返回false。
比如： contains(‘猿人学Python’, ‘Python’)，返回true
那么它用在什么时候呢？我们知道，一个html标签的class是可以有多个属性值的，比如：

     ...