PHP 爬虫如何降低 cpu 占用，其实只用到一个函数 getimagesize

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1656 天前的主题，其中的信息可能已经有所发展或是发生改变。

如果是 1920x1080 的图片就存下就算 md5，不过 40%不符合要求，49%图片不存在。
现在似乎是 cpu 到顶了，10%的 cpu 一般在 7%。

11 条回复 • 2020-05-18 21:44:01 +08:00

RihcardLu

2020-05-17 11:07:47 +08:00 via iPhone

不要用库去获取，换系统命令或者 ffmpeg

vus520

2020-05-17 11:14:27 +08:00

这个 CPU 也不算高，兄弟。

z5864703

2020-05-17 14:51:16 +08:00

其实楼主应该想说提高效率吧，爬的太慢处理的太慢

pinews

2020-05-17 16:17:23 +08:00

@z5864703 是的，

vibbow

2020-05-17 18:14:45 +08:00

试试用 imagick
https://www.php.net/manual/zh/imagick.getimagesize.php

hefish

2020-05-17 21:27:34 +08:00

别是没爬到本地，而是在线获取图片然后 md5 哒。。。

PHPJit

2020-05-18 08:12:06 +08:00 via iPhone

协程

liuguang

2020-05-18 09:59:14 +08:00

php 是单线程的，有可能是 CPU 在下载的时候，等待 io 导致 CPU 占用高(猜测)，也许可以用其它语言编写一个异步 io 的程序，说不定 CPU 就可以降不少，当然这只是猜测。到底是等待 io 造成的 CPU 占用多，还是计算图片大小，计算 md5 造成的 CPU 占用高，这个需要实际测一下才知道。

pinews

2020-05-18 20:41:13 +08:00

@hefish 就是啊，下载到本地还要删除，麻烦，需要计算 md5 的机会很少。

pinews

2020-05-18 21:27:38 +08:00

@liuguang io 不高的，ssd，文档说有 320，控制面板检测到的只有 2/秒
@vibbow 好的我试试

pinews

2020-05-18 21:44:01 +08:00

不过磁盘使用率是

Maximum \ 34.80 %
Maximum \mnt\resource 5.97 %

不知道是什么意思？会不会这上面被限制了？