最近给工作室写了一个 AI 生图相关的小项目,叫 MuseCanvas 。
项目地址: https://github.com/nextroad-dev/MuseCanvas
一开始做它主要是因为工作室 AIGC 方向有一些实际需求。我们会用到 GPT-Image-2 之类的图像生成模型,但内网环境下代理不太稳定,经常容易被阻断;而且直接调用模型的话,生成质量也比较吃 Prompt ,效果不太稳定。
所以我想做一个简单的生图工作台,先把工作室里常用的东西整合起来,而不是每次都临时拼接口、改脚本、手动整理结果。
目前主要做了这些:
- 后台统一配置模型和供应商
- 用户可以提交生图任务
- 查看任务进度和生成历史
- 生成前先整理 Prompt
- 支持预设模板,不过目前模板导入还有些问题
- 管理员后台可以管理用户、模型、供应商和任务
- 使用 PostgreSQL 、Redis 和对象存储
- 支持 Docker Compose 部署
其中“生成前整理 Prompt”是我比较想继续打磨的点。
现在很多生图需求其实是比较口语化的,直接丢给模型效果会比较玄学。所以我加了一层前置处理,根据预设模板和 LLM 先把用户输入整理一下,再交给图像模型生成。这个功能目前还比较早期,但在工作室内部用应该会比较实用。
后面如果继续做,我想把它往创作工作台方向推进,不只是单次文生图,而是逐步支持更完整的任务流,比如:
- 文生图
- 图生视频
- 多步骤生成
- 任务队列
- 素材管理
- 模板复用
- 兼容本地 ComfyUI
目前项目还比较早期,UI 、部署文档、模板导入、模型适配这些地方都有不少需要改的。最近临近期末周,先把项目整理出来开源,等考完试之后再慢慢收集大家的意见继续迭代。
欢迎大家提 Issue 、PR ,或者直接在评论区拍砖。
比较想听听大家怎么看:
- Prompt 前置整理这个方向有没有继续做的价值?
- 工作台后面做任务流,比如文生图到图生视频,会不会更实用?
- 如果要兼容本地 ComfyUI ,大家觉得怎么设计会比较舒服?
- 工作室内部使用的话,素材管理、模板复用、任务队列哪个更应该优先做?
- README 和部署文档还需要补哪些内容?
项目还比较早期,欢迎轻喷。重喷也可以,但希望顺手给点方向。
