PyQuery: 爬虫界最简洁优雅的库

预报名开始 | Python爬虫与文本分析工作坊 & 课题申报高级研修班

咨询加请加微信，记得备注“工作坊”

简洁的PyQuery库

pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析 HTML 文档，易用性和解析速度都很好。特别适合进行访问和解析网页数据。

PyQuery库官方文档 https://pythonhosted.org/pyquery/index.html

本文章节：

1. 初始化为PyQuery对象

2. 常用的CCS选择器

3. 伪类选择器

4. 查找标签

5. 获取标签信息

6. 高级方法

一、初始化为PyQuery对象

相当于BeautifulSoup库的初识化方法，将html转化为BeautifulSoup对象。

bsObj = BeautifulSoup(html, ‘html.parser’)

PyQuery库也要有自己的初始化。

1.1 将字符串初始化

Run

1.2 将html文件初始化

1.3 对网站访问并初始化

Run

上面的字符串出现乱码，所以需要设置使用encoding参数

二、常用的CCS选择器

从这一节开始，我们就要对PyQuery对象进行操作，获得我们想要的各种数据。你会看到解析网页，不论什么苦，基本原理实际上是没有区别的，学会了一种解析库。再看其他解析库文档，是很容易理解的。

在 CSS 中，选择器是一种模式，用于选择需要添加样式的元素。

常用的css选择器

本文只讲clas id 和element最常见的css选择器。对css不太懂了，也没关系，可以去w3c官网的css选择器，查看下文档

Run

2.1 打印id为container的标签

Run

2.2 打印class为object-1的标签

Run

打印标签名为body的标签

Run

2.3 多种css选择器使用

选出ul节点，有很多种表达方式。比如ul节点（该ul节点中的属性键值对为id=container）

Run

三、伪类选择器

Run

3.1 伪类nth

Run

3.2 contains

Run

四、查找标签

PyQuery对象拥有很多实用的定位方法

Run

获得所有的li标签

Run

查看li标签的类型

Run

doc(‘li’)返回的不是PyQuery类型，而是lxml.etree. Element类型。 Element.text获取节点的文本内容

Run

获取所有的li，并以PyQuery形式逐个迭代

Run

查看doc.items迭代出的对象的数据类型

Run

PyQuery类型拥有.text()方法

Run

Run

获得doc节点的（当前为整个文档）的 id=’container’ 的节点

Run

id=’container’ 的节点的子节点们

id=’container’ 的节点的子节点们（节点内带字符串）

Run

Run

id=’container’ 的节点的第二个子节点

Run

id=’container’ 的节点的子节点中不含有 class=’object-2′ 的节点

Run

.map方法传入两个参数，分别是索引值和element。

Run

Run

输出ul的子节点的html

Run

五、pyquery高级用法

PyQuery与BeautifulSoup对比，我们会发现PyQuery可以对网址发起请求。比如

5.1 opener参数

PyQuery对百度网址进行请求，并将请求返回的响应数据处理为PyQuery对象。一般pyquery库会默认调用urllib库，如果想使用selenium或者requests库，可以自定义PyQuery的opener参数。

opener参数作用是告诉pyquery用什么请求库对网址发起请求。常见的请求库如urllib、requests、selenium。这里我们自定义一个selenium的opener。

Run

这时候我们就能上面学到的知识对PyQuery对象进行操作，提取有用的信息。

5.2 cookies、headers

在requests用法中，一般为了访问网址更加真实，模仿成浏览器。一般我们需要传入headers，必要的时候还需要传入cookies参数。而pyquery库就有这功能，也能伪装浏览器。

Run注意，我这里返回的内容你可能觉得很少，是因为这是PyQuery对象。PyQuery.html()

5.3 让你的selenium带上pyquery功能

如何让driver访问的网址得到的网页直接变为PyQuery对象，更方便提取数据？

本来我想用Phantomjs自定义一个类，让selenium拥有pyquery的功能。后来测试发现phantomjs去年不再支持selenium，因为曾经的无头浏览器phantomjs具有不可替代的作用，但如今chrome和firefox都能提供无头浏览器的功能。

Run

这几个对pyquery功能的扩展，我觉得实现方式很不错，很美观简洁，以后我会多模仿，比如用函数或类的方式，对已有的库及函数进行功能加持。

至于实战，大家可以看很久之前大邓分享的文章pyquery爬取豆瓣读书

推荐阅读

新经济形式下提升战略思维？双一流名校邀你读硕士

周志华《机器学习》西瓜书新出算法推导视频！（超级详细）

【视频课】Python爬虫与文本数据分析

计算社会经济学

国务院政府工作报告(1954—2017)文本挖掘及社会变迁研究

文本大数据分析在经济学和金融学中的应用： 一个文献综述

预报名开始 | Python爬虫与文本分析工作坊 & 课题申报高级研修班

咨询加请加微信，记得备注“工作坊”

notebook资源下载，后台回复 20190911