V2EX › Kobayashi 的所有回复 › 第 30 页 / 共 57 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 26 27 28 29 30 31 32 33 34 35 ... 57

❮

❯

2020-08-04 00:50:31 +08:00

回复了 xiaohanliang 创建的主题 › Vim › 感觉 MacVim 比终端 Vim 快好多

换 iTerm，开 GPU 加速渲染。kitty 和 alacritty 也可以。另外 iTerm 默认优先使用集成显卡 GPU 加速，改成始终独显加速。后边两个货没有这个选项，不用管。

2020-07-28 22:11:08 +08:00

回复了 zhijieju 创建的主题 › Python › GitHub：随机生成 UserAgent 浏览器

这库写的还可以。但是 UA 数据源太烂：1 ） UA 版本太老，2 ）没有移动端 UA 。
结论：没用的必要。

2020-07-19 09:03:27 +08:00

回复了 libasten 创建的主题 › 问与答 › 超过 8000 篇的文章 Hexo 无法生成了……

知道为什么 Hugo 生态不比 Hexo 却有很多人往 Hugo 迁吗？之前在 V2EX 见过一个帖子，有几位回复说自己在文章一二百篇以后就开始往 Hugo 迁移，不然编译时间太长。

2020-07-17 11:28:28 +08:00

回复了 crownzzz 创建的主题 › macOS › brew cask 更新 app

对不上拉倒。因为有些软件内置了更新检查，对于这类软件 caskroom 不提供更新提示。

2020-07-11 09:16:58 +08:00

回复了 mpxcat 创建的主题 › macOS › 请问 terminal 为什么会变成这样呀

换 iterm2，自带 terminal 不支持全彩。

2020-07-11 01:16:38 +08:00

回复了 KyrieJoshua 创建的主题 › 程序员 › 还有用 quiver 记笔记的伙伴吗…文件全丢失了

Mweb 吧 VNote 还是卡

2020-07-11 01:14:38 +08:00

回复了 a65420321a 创建的主题 › Python › scrapy 如何在多个模块里共用一个数据库连接池

@a65420321a pipeline 只能拿到 Item，也就是你从结果中拿到的数据。加代理要在请求被 downloader 处理前，自定义 downloader middleware 即可。

兄弟，翻翻教程和文档好吗？教程的话推荐《 Python 3 爬虫开发实战》的最后几张 scrapy 讲解，介绍了 scrapy 架构。重要的是带了很多可以生产直接使用的实例。之后读完文档就可以随意用了。

2020-07-09 21:44:09 +08:00

回复了 a65420321a 创建的主题 › Python › scrapy 如何在多个模块里共用一个数据库连接池

@a65420321a 按照我定义 RedisPipeline 类的方法再定义一个 ProxyPipeline 基类。自己创建的 MyPipeline 同时继承这 2 个类即可。我自己使用方式是在 Pipeline 中同时使用 redis 和 database 连接。

2020-07-09 13:10:10 +08:00

回复了 a65420321a 创建的主题 › Python › scrapy 如何在多个模块里共用一个数据库连接池

我的思路是

1. 每个 Pipeline 一个 redis 连接。由于不明白 pipeline 工作原理（并发？并行？），不确定要不要开连接池。
2. pipeline 上没有 redis 连接。直接绑在 Spider 上, Pipeline.process(self,item,spider) 可以访问到 spider 上的 redis 连接。这个恐怕需要连接池，大小不知道设置多少合适。

2020-07-09 13:06:35 +08:00

回复了 a65420321a 创建的主题 › Python › scrapy 如何在多个模块里共用一个数据库连接池

@a65420321a 接着。https://gist.github.com/laggardkernel/0489ac1ef6ee74839ef545c7d72e085e

2020-07-09 12:58:22 +08:00

回复了 a65420321a 创建的主题 › Python › scrapy 如何在多个模块里共用一个数据库连接池

@zdnyp 搭车问一下。我目前也是基类，每个 pipeline 绑定一个 Redis connection 。不过不太明白 itempipeline 工作原理，itempipeline 支持并行还是并发，pipeline 上单一 Redis 连接后用吗，要必要开连接池？

另外实际上 Redis 连接也能绑在 spider 上。spider 应该只有一个实例，异步的话是不是需要 redis 连接池？ Redis 连接到底跟着谁比较好。

scrapy 文档里 architecture 解释的太简单了。

2020-07-08 10:59:08 +08:00

回复了 buchiluobo 创建的主题 › DNS › 请问 DOH 都有哪些？

@billytom 理论上是 DoH 比 DoT 慢吧。DoT 我只用 stubby，可以重用连接，谷歌 8.8.8.8 60ms 内可达。前边再配合 chinadns 或者其他分流。

2020-07-01 19:13:15 +08:00

回复了 xhf1024 创建的主题 › Java › 关于 git 以及 sourcetree 有什么使用或者规范文档嘛（教小白的那种）

新人培训随便找篇文章就得了。自己研究读 pro git，拿 githug （没有拼错）做练习。

2020-06-24 19:07:28 +08:00

回复了 azev 创建的主题 › Python › 被 Mac 上的 Python 爆击

这算哪门子暴击，我还以为你强迫症犯了把系统 Python 卸载了。

2020-06-22 10:49:18 +08:00

回复了 shindgewongxj 创建的主题 › Apple › macbookpro 合盖外界显示器会烫坏自身屏幕吗？

有可能。键盘那一面也有发热。