请教一下如何对多个服务器上的爬虫进行管理

我最近遇到一个问题。我用 python 写了一个 selenium 爬虫，自动处理一些任务。现在放在 4 个 windows 服务器上，
我更新爬虫文件都是用远程桌面连接，将新代码复制粘贴进去，然后关闭正在运行的爬虫程序，再打开新更换的。
现在还好，以后服务器多了，这样手动维护总感觉不太对劲。
请教一下有什么好的办法没有？如何能够自动更新代码并在更新后自动重启爬虫 python 程序？有什么工具可以使用吗？谢谢！

爬虫

Python

服务器

请教

30 条回复 • 2020-07-02 09:26:38 +08:00

Latin

2020-07-01 16:27:32 +08:00

稍等会，会有人过来推荐的

zzxy001

2020-07-01 16:30:16 +08:00

还请大佬们指点迷津，百度了半天也没找到好的解决办法

scukmh

2020-07-01 16:32:29 +08:00

webhook 它不香嘛？

Ultraman

2020-07-01 16:33:06 +08:00 via Android

不负责任猜测哦，开个 git 仓库，本地改完推上去，服务端写个脚本定时往回拉然后关掉旧的开新的。虽然比较糙。

wysnylc

2020-07-01 16:36:27 +08:00

所有的项目最终都要考虑分布式

lenqu

2020-07-01 16:38:02 +08:00

容器化解决的就是这个问题，常规 k8s，简单 shell 脚本就能实现

zzxy001

2020-07-01 16:42:07 +08:00

目前是这个问题，以后项目可能需要根据任务的不同动态启动不同的 selenium 爬虫程序，让每个服务器都不会空闲。
我属于小白一个，感谢大家。大家提的建议我都会去百度学习，看看能不能实现我想要的功能

zzxy001

2020-07-01 16:43:40 +08:00

@lenqu 能不能稍微详细讲一下思路，我从哪里可以入手

MrTreasure

2020-07-01 16:44:44 +08:00

找一个 ssh 的库，写脚本，把你这些手动操作的步骤都写成脚本

zzxy001

2020-07-01 16:46:44 +08:00

@MrTreasure 是 shell 脚本可以完成这些步骤吗？

zzxy001

2020-07-01 16:51:42 +08:00

@MrTreasure 刚刚初步搜了一下，shell 脚本是 Linux 系统，window 可以用吗

la2la

2020-07-01 17:00:03 +08:00

使用工具是有成本的，如果服务器或者爬虫的数量不是特别多的话，可以写个脚本，在开发环境测试后，运行脚本把文件分配到服务器上，顺便重启。

raphael008

2020-07-01 17:06:31 +08:00

linux->ansible
windows->powershell

matepi

2020-07-01 17:12:23 +08:00

搭 Git

爬虫的任务进程以外，再开个守护性进程。守护进程负责从 Git 上拉；拉完杀了重启任务进程

守护性进程还可以做些例行任务管控、查询任务进度之类的的动作，和爬虫执行任务进程解耦分离

守护进程挂到 windows 服务自启。

kalago

2020-07-01 17:13:15 +08:00

scrapyd 不能满足你这个需求吗？

Saurichthys

2020-07-01 17:32:47 +08:00

xx-job 维护就好了

luocjv

2020-07-01 17:33:09 +08:00

代码加版本控制推荐 git, 可以自己搭建 gitlab 或者用 github 之类的,然后改完代码用 webhook 触发多个服务器上的更新代码脚本并重启服务

wiken

2020-07-01 18:00:14 +08:00

git + webhook

tikazyq

2020-07-01 18:08:03 +08:00 via iPhone

分布式爬虫管理平台 crawlab

https://www.crawlab.cn

lenqu

2020-07-01 18:30:22 +08:00

@zzxy001 给个现成的用用，portainer，你自己查查
#### follow NDPS

gabon

2020-07-01 21:36:38 +08:00 via Android

任务调度平台

qsbaq

2020-07-01 21:50:38 +08:00

定时每分钟拉取 git 或者 svn 最新的代码
然后定期用脚本重启爬虫

ClericPy

2020-07-01 23:04:43 +08:00

最近正好也在整集群折腾 chrome 爬虫, 不过肯定不会用 selenium 这种过时的东西...

简单的说, linux 真的太香了, 一开始用的 VPS 是 windows Server 用的 rdp 一开始还觉得有界面挺好的, 安装软件也挺快的... 后来贴代码实在傻, 就又弄了几台 CentOS, 全程 fabric, 线上调试也是 tmux 太简单了, 关键内存利用率高多了

跑题了, 目前楼上们说的用 git 自动拉代码已经是成本比较低的了, 如果代码不敏感, 自己写个 api 远程下代码对比字符串变化重启服务的小脚本也不是没写过...

jiejiss

2020-07-01 23:16:33 +08:00

写个新爬虫从你的服务器上爬取旧爬虫的源码，然后替换+重启 :D

（建议你用土法子是考虑到你很可能弄不来 webhook 。否则还是建议 webhook

metamask

2020-07-01 23:17:33 +08:00

如果不考虑其他比较好的办法，快速解决

> 将新代码复制粘贴进去，然后关闭正在运行的爬虫程序，再打开新更换的。

2 种方法，被动和主动

1.写个 script，内容：git pull，restart （ kill pid，start )；

2.1 被动：楼上说的，webhook，或者直接用 pipeline ；
2.2 主动：你直接写个脚本，每分钟自动 git pull 代码，pull 到代码就 restart