这是一个创建于 475 天前的主题，其中的信息可能已经有所发展或是发生改变。
为了实现 Http 正向代理，我分别用 Java 、Go 、Rust 写了三次，真的是软件界的茴字三种写法了，好像是应该嘲讽的一件事，但略一想想，中间还是有一些意义的，所以想分享下。
整个过程是
- 在最熟悉 Java 的情况下，首先用 Netty 写了一版，主要意义在于学习了 Netty 。
- 然后因为 Java 的内存占用太大，后面又用 Go 写了一把，中间看了 net/http 的实现，看了 Caddy 的部分代码，看了 forwardproxy 插件的代码。
- 最后想用无 GC 的语言再写一把，于是我反复入门 Rust ，熟悉 tokio 、hyper 、rustls 等库，又写了一把。
这三个版本在物理的意义上，仅仅是节省了服务器 100M 的内存（相比 Java 版本），但这不是最重要的。
- 首先，网络编程稍微偏低层，让我知道了 RPC 、Http 这些应用层程序之下的实现是怎样的，在这个过程学习了《 Unix 网络编程》（最初学了点 C 语言的 tcp 编程）、Http 协议等。
- 其次，写出一个有价值的、健壮的 Http 代理，是一个复杂度高到刚好可以用来检验掌握水平的测试，首先要熟悉语言的语法，比如 Rust 里的所有权、闭包、异步 IO 等等，其次需要了解常见的库，比如：命令行参数解析、异常处理、日志、网络库等等。就拿我反复入门 Rust 这件事来说，写出 Rust 版后，我可以说我入门 Rust 50%了，度过了万事开头难的阶段，后面相信会好很多。
我大概是从 17 年开始接触网络编程，看《 TCP/IP 》、《 Unix 系统编程》、《 Unix 网络编程》、《 Java Socket 编程》，基本都是大部头的黑皮书。那时是在大学里，有大把时间。老师的课是那么无聊，所以课外自己折腾了很多。说真的这些书成为我知识体系的重要部分，甚至可以说理解其他东西的基石。
后面开始工作，八股文里经常背的那些中间件，其实根本离不开网络编程，IO 就是这么无处不在。会网络编程后，这些协议在我的脑子里就会变成 tcp 这条流水线上的流淌的真实的有血有肉的东西，不再抽象，因为知道他是怎么通过一次次的 read/write 实现的。无论是 Http 协议、Redis 的 resp 协议、gossip 协议、GRPC 工作原理、各种 sharding/replicate 。还有什么并发编程、事件驱动，在学习 IO 的过程中，遇到 reactor 模式，就必然学会了并发编程、事件驱动。
放一下 Github 的链接，可能会有一些帮助。
 |
1
liprais 2023-09-02 20:46:12 +08:00
关于 rust 我只能说你过于乐观了
|
 |
3
imzcg2 2023-09-03 09:53:51 +08:00
我也想深入请指教
|
 |
4
doraemonki 2023-09-04 01:49:19 +08:00 via Android
看了 go 版的实现，请教一下大佬:
1. 为什么要随机添加 res.Header.Add("Server", "go_web_server") 2. 为什么 https 的请求没有 dail TLS 也能成功呢 |
 |
5
arloor OP  1
1 是为了防止报文长度特征太明显，加入了随机的长度
2 是因为 http connect 隧道的特性，和目标网站的 tls 握手还是浏览器和目标网站进行的，代理只需要建立一个隧道就行。这个可以看下 http tunnel 的 rfc |
|
6
arloor OP @doraemonki 1
|
Select Language