我在 aws lambda 上调用 openai 的 createChatCompletion 接口，耗时 30s
hackingwu · hackingwu · 2023-07-12 10:29:28 +08:00 · 890 次点击这是一个创建于 482 天前的主题，其中的信息可能已经有所发展或是发生改变。
我在 aws lambda 上调用 openai 的 createChatCompletion 接口，耗时 30s ，正常吗，问题可能是出在哪里呢？要怎么优化呢？我的 aws 区是新加坡。
 |
1
corningsun 2023-07-12 10:56:18 +08:00
aws lambda 是不是每次都在初始化？
可以配置过期时间，然后加一个定时调度来保活，这样不会每次都初始化 lambda 。 |
 |
2
hzzhzzdogee 2023-07-12 16:02:13 +08:00
@corningsun 赞同一楼
|
 |
3
vmlinz 2023-07-12 21:47:43 +08:00 via iPhone
接入 cloudwatch xray ，看看问题。
楼上说的冷启动问题也可能，https://aws.amazon.com/blogs/compute/operating-lambda-performance-optimization-part-1/ 可以用 event bridge 定期唤醒，或者预留实例，文档都有介绍。 30 多秒看起来即使是冷启动也不会这么久，你还要看看你的 lambda 函数初始化时间。所以最好集成 xray ，看看数据。 实在不行就换成 ecs fargate 去执行。 |
 |
4
rukeypei 358 天前
之前我用 lambda 配置函数内存 128M, 从实例初始化到返回数据需要大概 8s 左右, 把内存提高到 512M, 时间降低到 1.4s 完全能接受, 后来经过测试, 随着内存配置的升高, 从实例初始化到返回数据会降低, 最后测试内存 2.5g 大概只需要 0.7s 左右(冷启动到处理完成返回数据), 最后我设置到了内存 512M.
这里有个文章可以参考: https://docs.aws.amazon.com/zh_cn/lambda/latest/operatorguide/computing-power.html |
Select Language