seoguess 最近的时间轴更新
seoguess

seoguess

V2EX 第 115056 号会员,加入于 2015-05-04 13:59:19 +08:00
求一份 MongoDB 安全配置
程序员  •  seoguess  •  2019-05-14 22:57:49 PM  •  最后回复来自 seoguess
9
Python 爬虫多线程问题咨询
Python  •  seoguess  •  2019-04-26 23:13:06 PM  •  最后回复来自 seoguess
14
win10 更新时断电,无法开机了怎么办?
问与答  •  seoguess  •  2016-07-13 23:26:50 PM  •  最后回复来自 fetich
9
初学 CSS, PSD 转网页时发现 IE 下错位....
程序员  •  seoguess  •  2016-07-13 13:08:15 PM  •  最后回复来自 wilddog
25
关于 flask 处理数据的问题
Python  •  seoguess  •  2016-06-17 11:18:23 AM  •  最后回复来自 seoguess
15
ubuntu 下 home 目录占用空间过大,应该怎么处理?
Linux  •  seoguess  •  2016-05-17 11:26:50 AM  •  最后回复来自 seoguess
16
seoguess 最近回复了
2019-05-14 23:00:15 +08:00
回复了 zhuwd 创建的主题 程序员 三线小城的程序员如何实现财务自由?
@JohnLou 很多人只是冲着一个希望去的,只要有人忽悠,就会有人相信。嗯,论韭菜的个人修养。
2019-05-14 22:58:47 +08:00
回复了 zhuwd 创建的主题 程序员 三线小城的程序员如何实现财务自由?
@GrayLand119 人才
2019-05-14 22:57:49 +08:00
回复了 seoguess 创建的主题 程序员 求一份 MongoDB 安全配置
@nicolas0caser 收到,谢谢你!
2019-05-13 23:51:54 +08:00
回复了 seoguess 创建的主题 程序员 求一份 MongoDB 安全配置
@WordTian 原来如此,我理解错用法了。非常感谢!
2019-05-13 12:15:35 +08:00
回复了 seoguess 创建的主题 程序员 求一份 MongoDB 安全配置
net:
port: 27233
bindIp: 127.0.0.1,localhost,154.*.*.*

mongod.conf 启动时候没报错,但是就是不生效。
2019-05-13 12:14:34 +08:00
回复了 seoguess 创建的主题 程序员 求一份 MongoDB 安全配置
@nicolas0caser 你好,bindip 设置请教一下。
2019-05-13 11:50:22 +08:00
回复了 seoguess 创建的主题 程序员 求一份 MongoDB 安全配置
@WordTian 你好,请问设置过 bindip 同时绑定 locahost 跟外网本地 ip 吗?

net:
port: 27233
bindIp: 127.0.0.1,localhost,154.***.***.***

我设置成这个的时候,所有的 ip 都可以连接上去。如果删除了 154 开头的外网 ip,就只能本地连接数据库了。

服务器上 netstat -a |grep :27233 显示如下:

tcp 0 0 localhost:50822 localhost:27233 ESTABLISHED
tcp 0 0 localhost:27233 localhost:50818 ESTABLISHED
tcp 0 0 154.XXX.X.XXX:27233 116.XXX.X.XXX:60584 ESTABLISHED


请问我的设置哪里出现了问题?搞了一整天了没找到资料。或者我干脆放弃 bindip,从 iptables 下手可行?谢谢!
2019-04-26 23:13:06 +08:00
回复了 seoguess 创建的主题 Python Python 爬虫多线程问题咨询
原来 max_worker 为空的情况下,默认线程为 cpu 核数量*5,难怪花了 300+秒。
2019-04-26 22:56:20 +08:00
回复了 seoguess 创建的主题 Python Python 爬虫多线程问题咨询
@zy342500 谢谢,我以为放空的话就是没有限制。

max_workers=100,跑完用时 79 秒
max_workers=1000,跑完用时 49 秒
2019-04-26 10:16:22 +08:00
回复了 seoguess 创建的主题 Python Python 爬虫多线程问题咨询
@scriptB0y 我用 concurrent 模块重新修改了下代码,发现效率比我之前的代码差了好多....
for 循环: #获取 cookie:
threads = [ (i.get('hotelId'),headersCookie) for i in id_lines.find() ]
pool = ThreadPoolExecutor()
future_tasks = [ pool.submit(start_claw, t) for t in threads ]
wait(future_tasks, return_when=ALL_COMPLETED)

time.sleep(3)


3K 左右的链接,用时 382 秒

for 循环: #获取 cookie:
threads = []

for i in id_lines.find():
hotelId = i.get('hotelId')
threads.append(hotelId)


for hotelid in threads:
t = ClawData(hotelid,headersCookie)
t.setDaemon(True) #防止程序异常退出时,有僵尸进程存在
t.start()

for hotelid in threads:
t.join()

time.sleep(3)

用时:52 秒

请问为啥效率可以差别这么大?
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   949 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 18ms · UTC 21:22 · PVG 05:22 · LAX 14:22 · JFK 17:22
Developed with CodeLauncher
♥ Do have faith in what you're doing.