请教一下，谁了解 OpenAI 内部数据工程的技术栈？
levelworm · 2023-03-26 12:17:46 +08:00 via Android · 2341 次点击这是一个创建于 637 天前的主题，其中的信息可能已经有所发展或是发生改变。
我搜了一下领英的招聘，他们公司特地写的很模糊，什么信息也没有。我也问了下 ChatGPT ，但是怕她瞎扯。求问网友有没有知道的？
我了解的是他们用 azure 云，数据库这块有 Spark 和 MySQL ，但是没看到向量数据库，不知道用不用。
我了解的是他们用 azure 云，数据库这块有 Spark 和 MySQL ，但是没看到向量数据库，不知道用不用。
 |
1
janus77 2023-03-26 13:20:54 +08:00  1
他们公司不是有开源项目吗，去翻代码就知道了
|
 |
2
knightdf 2023-03-26 13:26:54 +08:00 1
向量数据库应该是用的，但是具体是哪个就不知道了，他们的 notebook 里有推荐：
https://github.com/openai/openai-cookbook/blob/main/examples/vector_databases/Using_vector_databases_for_embeddings_search.ipynb |
 |
3
zwpaper 2023-03-26 13:55:14 +08:00 via iPhone 1
之前看过他们调优 k8s 的文章，应该还挺先进的
|
 |
4
Baboonowen 2023-03-26 15:18:33 +08:00 1
微软为了 GPT4 改了 Azure ，说不定 OpenAI 用的和你看到的公开 azure 功能也很不一样。
|
 |
8
levelworm OP @Baboonowen 的确，只能在内部能看到了。。。
|
|
9
zwpaper 2023-03-26 23:32:13 +08:00 1
不是魔改，只是大集群优化，几年前他们就跑了一个 2.5k 个节点的集群，作为一个 AI 公司，能容器化，还跑这么一个大集群，真不错了
|
 |
10
cassyfar 2023-03-27 08:07:00 +08:00 1
@levelworm 貌似是自己搭的 k8s ，不是 azure 托管的。网络的问题，这个 scale 云计算托管其实就好了。
|
Select Language