OpenAI 为开发者推出半价 API 支持批量处理但不是实时获得结果

[spoock1024]

原文链接: OpenAI 推出半价 API ！

最新消息，对于那些需要批量处理大量数据的开发者来说，今天有个好消息：OPENAI 刚刚推出了一款专为开发者设计的批量处理 API，而且享受 50%的折扣！

通过这个新工具，开发者可以一次性提交大量内容，并在 24 小时内收到处理结果。

可以根据 ChatGPT API 申请教程 这篇文章提交的教程，很方便就可以开通 ChatGPT API 服务。

referer:https://twitter.com/OpenAIDevs/status/1779922566091522492

批量处理 API 的好处

对于开发者来说，可以享受 50%的折扣，成本下降了。而且在处理大批量的文本、摘要、翻译或图像分类时，这种方式极为适合，因为这些任务通常不需要即时响应，开发者可以提交后静待 OPENAI 处理完毕再进行后续操作。

对于 OpenAI 来说，通过在非高峰时段处理这些批量请求，OPENAI 能够更有效地平衡服务器负载并降低成本。

这种模式对双方都有利。根据 OPENAI 的 API 文档，除了半价优惠，开发者还能享受到更高的请求处理速率，即每分钟可提交更多的请求。

如何使用批量处理 API

开发者需要通过 JSONL 文件格式提交数据，将所有请求整合到一个 JSONL 文件中，然后通过 batch 参数上传到服务器。

referer： https://twitter.com/MindMacApp/status/1780108740475441169

详细的使用方法包括创建批处理任务、请求正文格式和结果检索可以参考下面的步骤。

准备 JSON 格式的文件

{
    "custom_id": "mmrequest-1",
    "method": "POST",
    "url": "/v1/chat/completions",
    "body": {
        "model": "gpt-3.5-turbo",
        "messages": [
            {
                "role": "system",
                "content": "You are a helpful assistant."
            },
            {
                "role": "user",
                "content": "What is 2+2?"
            }
        ]
    }
}

提交文件

curl https://api.openai.com/v1/files -H "Authorization: Bearer $OPENAI_API_KEY" -F purpose="batch" -F file="@/Users/username/Downloads/mmbatch.jsonl"

调用批量处理 API

curl --request POST --url https://api.openai.com/v1/batches --header "Authorization: Bearer $OPENAI_API_KEY" --header 'Content-Type: application/json' --data '{ "input_file_id": "file-id-from-step-2", "endpoint": "/v1/chat/completions", "completion_window": "24h" }'

获得批量处理任务状态

curl https://api.openai.com/v1/batches/{batch_id_from_step_3} -H "Authorization: Bearer $OPENAI_API_KEY"

获得处理结果

curl https://api.openai.com/v1/files/{file_output_id_from_step_4}/content -H "Authorization: Bearer $OPENAI_API_KEY" > batch_output.jsonl

更多的详细使用方法，可以参考官方 OpenAI 的批量处理 API

referer:https://platform.openai.com/docs/api-reference/batch

批量处理 API 支持模型

当前批量处理的 API 支持的模型包括：

• gpt-3.5-turbo
• gpt-3.5-turbo-16k
• gpt-4 gpt-4-32k
• gpt-4-turbo-preview
• gpt-4-turbo
• gpt-3.5-turbo-0301
• gpt-3.5-turbo-16k-0613
• gpt-3.5-turbo-1106
• gpt-3.5-turbo-0613
• gpt-4-0314
• gpt-4-turbo-2024-04-09
• gpt-4-32k-0314
• gpt-4-32k-0613

总结

总的来说，推出这种异步任务对 OpenAI 和调用方都是一个双赢的结果。

OpenAI 来说可以在非高峰期时处理这些请求，这样可以平衡服务器资源节省成本。

对于开发者来说，处理实时性要求不高的任务，只需要支付 50% 的费用，成本也下降了。

对于我自己来说，目前我个人主要是在编程方面用得比较多，所以 API 的方式比较适合我，每天高强度使用 GPT4-Turbo 的 API ，每个月的花费也不会到 20 美刀。

[lizhisty]

gpt4 不太行了 试试 opus 会让你发现什么才是大模型