V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  ns09005264  ›  全部回复第 1 页 / 共 8 页
回复总数  151
1  2  3  4  5  6  7  8  
15 天前
回复了 callmejoejoe 创建的主题 程序员 请教爬虫代理方案,成本太高了!
@esee 相对爬虫请求来说切换节点不慢,上一个请求结束了立即重置 clash 的连接并切换节点,由于是本地服务,基本切换起来没什么延迟。

不过你说的把每个节点转换成本地 socks5 代理端口,我之前没听说过这种方案,搜索了下后,感觉确实是个不错的方案,本质是把每个节点变成一个入口,而 clash-meta 已经支持多入口。所以现在用机场当爬虫代理应该比较简单了。
17 天前
回复了 callmejoejoe 创建的主题 程序员 请教爬虫代理方案,成本太高了!
17 天前
回复了 callmejoejoe 创建的主题 程序员 请教爬虫代理方案,成本太高了!
看不到出口 IP ,不过可以自建公网服务后通过代理访问进行 IP 查询。

我是通过启动 clash ,然后通过 API 进行节点切换。例子是单线程的,每次请求后,切换一次节点。
如果要多线程,可以每个线程启动一个端口不同的 clash 进程,每个 clash 进程需要提前分配好节点配置。

还有更简单的的方式就是只启动一个 clash ,代理组设置为负载均衡,负载均衡的策略为 Round Robin ,然后就可以多线程通过代理爬取目标地址。clash 会自动切换节点。

还有更进一步的方法,如果你用 golang 开发,直接将 clash(mihomo)导入为库,解析配置后拿到 proxies 随便你怎么分配请求。

https://gist.github.com/MapoMagpie/b7fa02328e0b7cd0a4f4669feae94733.js
17 天前
回复了 callmejoejoe 创建的主题 程序员 请教爬虫代理方案,成本太高了!
我不了解爬虫代理的 IP 需求量是多少,不过我上个月做过类似的事,用的机场。
我自己买的两个 10 元机场加上机场白嫖分享,IP 加起来有 500 个左右,抛开无效和出口重复的,大概有 300 个 IP 左右,
如果找那种 1 元机场以及收集白嫖的,感觉应该能收集 1000 个 IP 没问题。
bspwm 的配置文件是 shell 脚本,bspwm 本身是 daemon 类型的软件,通过客户端 bspc 与 bspwm 通信实时变更相应的配置。所以可以把一堆 bspc 的操作命令放到 shell 脚本里执行,就相当于配置了。

类似的还有:
neovim 是用 lua 语言作为配置
nixos 是用 nix 语言作为配置
听说过天国拯救吗,我想玩一款中国版的底层群众写实游戏,当然也需要具备一些戏剧性和大场面。
水浒传看起来有些潜力,主角的出身要较低,不能像宋江、柴进那样颇有家资。武松做主角应该不错。
的确,我用的 hyprland ,用起来是非常的舒爽,偶尔切换到 windows11 后,操作起来就像带上了一层枷锁,文件管理器好慢,层叠式的窗口切换也好烦。
虽然 hyprland 下还存在一些和输入法相关的问题,但是和 window11 的体验比起来,这些小问题实在不值一提。
经常不显示,希望大家换个图床。
能轻松地进行星级旅行的时代,社会结构和家庭结构应该都完全改变了吧。
亲子关系应该是没了,想一想外出办一趟事回来后,孩子死了,不知道第几代的后代霸占着你的房子。
情侣的话,你走哪伴侣得跟到哪,没有情侣的话真就孤身一人了,每次旅行都是重生。
61 天前
回复了 ryan0053 创建的主题 YouTube 油管能像 B 站一样搞一个后台播放吗
我是 Firefox Android ,切换标签页后会有播放按钮继续播放,或者切换到后台后,通知栏有播放控件。
这种方式有些小瑕疵,不能连续播放列表。但还是能凑合用。
我也有用过其他第三方的客户端如 pipepipe ,但是都不支持登录,也就没有个性化推送,不爱用。
73 天前
回复了 werwer 创建的主题 输入法 初学者应该选择哪种双拼方案?
双拼没意思,虽然按键是少了,但是没解决重码问题。用久了之后,想要在打字方面有点追求的时候,就会觉得双拼不上不下。
不知直接学音形或纯形,比如星空键道六、虎码。
执行远程脚本的方式:
curl -fsSL https://github.com/someone/project/raw/main/install.sh | bash -s
通过 curl 下载文件,再通过管道传递给 bash 来执行该文件。
Web 管理页面:
你的服务器装个 miniserve ,建一个文件夹专门放脚本,命名好脚本们,启动 miniserve 指定目录为该文件夹,然后就可以:
curl -fsSL https://你的服务器:8080/脚本名.sh | bash -s
你访问 https://你的服务器:8080 就可以看到脚本的列表。

另外在 windows 上执行远程脚本:
iwr https://github.com/someone/project/raw/main/install.ps1 -useb | iex
84 天前
回复了 idtlikeceleries 创建的主题 生活 在家做饭是否真的会比较划算?
缺点:麻烦。
优点:肉多,吃的满足。
专业词汇不好用英文,用全拼就太长了,用汉字可能会 url_encode 更不直观,所以拼音首字母就是最好的方式。
helix ,装个 clangd 应该就能开箱即用了,不用像 neovim 那样下载一堆插件
> hx --health cpp
Configured language servers:
✓ clangd: /sbin/clangd
Configured debug adapter: lldb-dap
Binary for debug adapter: 'lldb-dap' not found in $PATH
Configured formatter: None
Highlight queries: ✓
Textobject queries: ✓
Indent queries: ✓
pop 没必要返回 err ,对栈而言,pop 出一个 nil 值非常合理。
98 天前
回复了 june4 创建的主题 编辑器 未来最牛编辑器 zed 的 Linux 版终于出来了
真好啊,可惜我已经喜欢上 helix 的操作逻辑了。
99 天前
回复了 whats 创建的主题 程序员 保留原文格式的翻译平台实现原理?
我写过几个类似的输出功能,基本的原理的就是从原文中提取有效的片段,记录该片段的 seek 与 size ,组成中间数据格式来方便处理,比如翻译。
处理好之后开始输出,依次遍历中间数据格式,根据之前输入时记录的 seek 与 size ,将原文与修改好的片段进行结合。
https://github.com/MapoMagpie/rimedm/blob/3533a0836b9a27b79b52d4d72591e1f2e71d0944/dict/output.go#L79
1  2  3  4  5  6  7  8  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5685 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 55ms · UTC 02:53 · PVG 10:53 · LAX 19:53 · JFK 22:53
Developed with CodeLauncher
♥ Do have faith in what you're doing.