seoguess's recent timeline updates seoguess's recent timeline updates |
seoguessV2EX member #115056, joined on 2015-05-04 13:59:19 +08:00 |
| 求一份 MongoDB 安全配置 程序员 • seoguess • May 14, 2019 • Lastly replied by seoguess | 9 |
| Python 爬虫多线程问题咨询 Python • seoguess • Apr 26, 2019 • Lastly replied by seoguess | 14 |
| win10 更新时断电，无法开机了怎么办？ 问与答 • seoguess • Jul 13, 2016 • Lastly replied by fetich | 9 |
| 初学 CSS， PSD 转网页时发现 IE 下错位.... 程序员 • seoguess • Jul 13, 2016 • Lastly replied by wilddog | 25 |
| 关于 flask 处理数据的问题 Python • seoguess • Jun 17, 2016 • Lastly replied by seoguess | 15 |
| ubuntu 下 home 目录占用空间过大，应该怎么处理？ Linux • seoguess • May 17, 2016 • Lastly replied by seoguess | 16 |
seoguess's recent replies
May 14, 2019 Replied to a topic by v2dev › 程序员 › 三线小城的程序员如何实现财务自由？ |
@JohnLou 很多人只是冲着一个希望去的，只要有人忽悠，就会有人相信。嗯，论韭菜的个人修养。
May 14, 2019 Replied to a topic by v2dev › 程序员 › 三线小城的程序员如何实现财务自由？ |
@GrayLand119 人才
May 14, 2019 Replied to a topic by seoguess › 程序员 › 求一份 MongoDB 安全配置 |
@nicolas0caser 收到，谢谢你！
May 13, 2019 Replied to a topic by seoguess › 程序员 › 求一份 MongoDB 安全配置 |
@WordTian 原来如此，我理解错用法了。非常感谢！
May 13, 2019 Replied to a topic by seoguess › 程序员 › 求一份 MongoDB 安全配置 |
net:
port: 27233
bindIp: 127.0.0.1,localhost,154.*.*.*
mongod.conf 启动时候没报错，但是就是不生效。
port: 27233
bindIp: 127.0.0.1,localhost,154.*.*.*
mongod.conf 启动时候没报错，但是就是不生效。
May 13, 2019 Replied to a topic by seoguess › 程序员 › 求一份 MongoDB 安全配置 |
@nicolas0caser 你好，bindip 设置请教一下。
May 13, 2019 Replied to a topic by seoguess › 程序员 › 求一份 MongoDB 安全配置 |
@WordTian 你好，请问设置过 bindip 同时绑定 locahost 跟外网本地 ip 吗？
net:
port: 27233
bindIp: 127.0.0.1,localhost,154.***.***.***
我设置成这个的时候，所有的 ip 都可以连接上去。如果删除了 154 开头的外网 ip，就只能本地连接数据库了。
服务器上 netstat -a |grep :27233 显示如下：
tcp 0 0 localhost:50822 localhost:27233 ESTABLISHED
tcp 0 0 localhost:27233 localhost:50818 ESTABLISHED
tcp 0 0 154.XXX.X.XXX:27233 116.XXX.X.XXX:60584 ESTABLISHED
请问我的设置哪里出现了问题？搞了一整天了没找到资料。或者我干脆放弃 bindip，从 iptables 下手可行？谢谢！
net:
port: 27233
bindIp: 127.0.0.1,localhost,154.***.***.***
我设置成这个的时候，所有的 ip 都可以连接上去。如果删除了 154 开头的外网 ip，就只能本地连接数据库了。
服务器上 netstat -a |grep :27233 显示如下：
tcp 0 0 localhost:50822 localhost:27233 ESTABLISHED
tcp 0 0 localhost:27233 localhost:50818 ESTABLISHED
tcp 0 0 154.XXX.X.XXX:27233 116.XXX.X.XXX:60584 ESTABLISHED
请问我的设置哪里出现了问题？搞了一整天了没找到资料。或者我干脆放弃 bindip，从 iptables 下手可行？谢谢！
Apr 26, 2019 Replied to a topic by seoguess › Python › Python 爬虫多线程问题咨询 |
原来 max_worker 为空的情况下，默认线程为 cpu 核数量*5，难怪花了 300+秒。
Apr 26, 2019 Replied to a topic by seoguess › Python › Python 爬虫多线程问题咨询 |
Apr 26, 2019 Replied to a topic by seoguess › Python › Python 爬虫多线程问题咨询 |
@scriptB0y 我用 concurrent 模块重新修改了下代码，发现效率比我之前的代码差了好多....
for 循环: #获取 cookie:
threads = [ (i.get('hotelId'),headersCookie) for i in id_lines.find() ]
pool = ThreadPoolExecutor()
future_tasks = [ pool.submit(start_claw, t) for t in threads ]
wait(future_tasks, return_when=ALL_COMPLETED)
time.sleep(3)
3K 左右的链接，用时 382 秒
for 循环: #获取 cookie:
threads = []
for i in id_lines.find():
hotelId = i.get('hotelId')
threads.append(hotelId)
for hotelid in threads:
t = ClawData(hotelid,headersCookie)
t.setDaemon(True) #防止程序异常退出时，有僵尸进程存在
t.start()
for hotelid in threads:
t.join()
time.sleep(3)
用时：52 秒
请问为啥效率可以差别这么大？
for 循环: #获取 cookie:
threads = [ (i.get('hotelId'),headersCookie) for i in id_lines.find() ]
pool = ThreadPoolExecutor()
future_tasks = [ pool.submit(start_claw, t) for t in threads ]
wait(future_tasks, return_when=ALL_COMPLETED)
time.sleep(3)
3K 左右的链接，用时 382 秒
for 循环: #获取 cookie:
threads = []
for i in id_lines.find():
hotelId = i.get('hotelId')
threads.append(hotelId)
for hotelid in threads:
t = ClawData(hotelid,headersCookie)
t.setDaemon(True) #防止程序异常退出时，有僵尸进程存在
t.start()
for hotelid in threads:
t.join()
time.sleep(3)
用时：52 秒
请问为啥效率可以差别这么大？
Select Language