轻松组建分布式 pyspider 集群-演道网

前言

写爬虫爬站，你只有一台机子怎么能叫一个科学的、高效的爬虫呢？你起码得要有成百上千台机子一起跑才叫爬虫吧~当然，我是开玩笑的，而且我觉得谁没事开成百上千个服务器来跑爬虫（当然，除了B/G等）

使用 pyspider 也有一段时间了，一直比较郁闷的是，这是一个可以分布式运行的爬虫框架，那究竟怎么能让他分布式起来呢？

趁着现在这段时间非常有空，于是我继续翻阅了pyspider架构设计，终于得到了我的答案，下面我就来演示演示如何组件分布式的 pyspider 集群。

理论

以下内容摘自框架设计

pyspider 的架构主要分为 scheduler（调度器）, fetcher（抓取器）, processor（脚本执行）：

• 各个组件间使用消息队列连接，除了scheduler是单点的，fetcher 和 processor 都是可以多实例分布式部署的。 scheduler 负责整体的调度控制
• 任务由 scheduler 发起调度，fetcher 抓取网页内容， processor 执行预先编写的python脚本，输出结果或产生新的提链任务（发往 scheduler），形成闭环。
• 每个脚本可以灵活使用各种python库对页面进行解析，使用框架API控制下一步抓取动作，通过设置回调控制解析动作。

意思就是，如果我们想要进行分布式的运行，那么我们需要公用 master 的 scheduler ，其他 slave 机子只需要自己跑自己的 fetcher 和 processor 即可

组建

安装 pyspider

敬请参阅：Debian 8.1 安装配置 pyspider 爬虫

pyspider 设置

请参照上一篇文章我所写的配置

由于 MySQL 和 redis 的服务器地址都已经不是本地的127.0.0.1，因此我们要将其设置为 master 或者你 MySQL 的服务器IP。

另外，我们要将 fetcher 设置xmlrpc-host地址，如果你修改了默认的地址可能需要设置xmlrpc-port，这都是因人而异的。

我的设置如下：

{
  "taskdb": "mysql+taskdb://pyspider:pyspider-pass@192.168.1.3:3306/taskdb",
  "projectdb": "mysql+projectdb://pyspider:pyspider-pass@192.168.1.3:3306/projectdb",
  "resultdb": "mysql+resultdb://pyspider:pyspider-pass@192.168.1.3:3306/resultdb",
  "message_queue": "redis://192.168.1.3:6379/db",
  "phantomjs-proxy": "127.0.0.1:25555",
  "fetcher": {
    "xmlrpc-host": "192.168.1.3"
  }
}

supervisor 配置

好吧这里并不需要参考上一篇文章的设置。

上一篇文章我们直接使用的是/usr/local/bin/pyspider -c /pyspider/config.json来运行，默认就是ALL，意思是将所有的模块都运行。

而现在，我们只是在 slave 中运行的，根据上面所说的，我们只需要运行 fetcher 和 processor 就好了，我顺便也把 phantomjs 也运行了吧，因为我指向的是127.0.0.1

这里我们的 supervisor 运行到了组的概念。

[group:pyspider]
programs=pyspider-fetcher,pyspider-processor,pyspider-phantomjs

[program:pyspider-fetcher]
command=/usr/local/bin/pyspider -c /pyspider/config.json fetcher
autorestart=true
user=pyspider
group=pyspider
directory=/pyspider
stopasgroup=true

[program:pyspider-processor]
command=/usr/local/bin/pyspider -c /pyspider/config.json processor
autorestart=true
user=pyspider
group=pyspider
directory=/pyspider
stopasgroup=true

[program:pyspider-phantomjs]
command=/usr/local/bin/pyspider -c /pyspider/config.json phantomjs
autorestart=true
user=pyspider
group=pyspider
directory=/pyspider
stopasgroup=true

同样将配置文件写入到/etc/supervisor/conf.d/pyspider.conf ，写入后，运行supervisorctl reload刷新配置，即会自动运行。

测试

运行好 slave 后，我担心的就是，他会不会没有运行成功呢？

有两种方法可以检验，一是看 supervisor 的运行日志，如果你看到有信息的话就说明成功了；二我就是爬一个我可控的站，然后去看日志。

很明显我现在要讲的是第二种方法。

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2015-06-11 13:24:29
# Project: imlonghao

from pyspider.libs.base_handler import *

class Handler(BaseHandler):
    crawl_config = {
    }

    def on_start(self):
        for i in range(1,11111):
            self.crawl('https://imlonghao.com/%s.html' % str(i), callback=self.detail_page)

    @config(priority=2)
    def detail_page(self, response):
        return {
            "url": response.url,
            "title": response.doc('title').text(),
        }

我新创建了一个新的 project 来跑我自己的博客，然后我用 tcpdump 来看连接（好吧其实我应该看 Nginx 日志的）

效果如下：

root@imlonghao:~# tcpdump -i eth0 -tnn dst port 443 -c 1000 | awk -F"." '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -nr |head -20
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes
1000 packets captured
1006 packets received by filter
0 packets dropped by kernel
    492 IP *.*.*.221
    463 IP *.*.*.203

我们可以看到目前我的 master 和一台 slave 都是正常运行的了，并且两台在相同时间内的请求数差别不大，应该是正常运行了！

后记

安装好 slave 后，由于我用的是 iwStack 的云 VPS ，我可以将这台安装好的 VPS 配置成模板，如果遇到需要大量 VPS 的话，我只需要新建一台 VPS 并且使用这个模板即可，根本不需要再 SSH 连接进去进行其他的操作，也是非常简单的了。

DigitalOcean 和 Vultr 等同理

若有不对，敬请指出