V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
yedaxia
V2EX  ›  分享创造

只需要录音文件, AI 自动生成视频

  •  
  •   yedaxia ·
    YeDaxia · 2022-03-19 18:36:32 +08:00 · 3603 次点击
    这是一个创建于 1016 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在开发了33 搜帧之后,我突发奇想,既然可以根据文案匹配到关联的画面,那么理论上是可以在这个基础上实现一个自动生成视频的功能。

    
    33 搜帧是一个使用 AI 技术构建的视频画面搜索引擎,它的核心能力是通过文本来搜索相关视频素材里面的帧画面。
    
    

    于是,经过了七七四十九天的闭关,终于搞了一个初步能用的版本。

    只要你录好音,这个工具就能帮你生成一个视频,具体步骤如下:

    第一步:上传录音文件

    第二步:语音识别生成台词文本,修正识别错误的部分

    第三步:选择匹配的素材,然后一键生成视频。

    目前可能还存在很多局限性,不过还是值得作为视频创作者的你前来一试的~

    体验链接:33 搜帧

    18 条回复    2022-03-22 11:01:03 +08:00
    id4alex
        1
    id4alex  
       2022-03-19 18:40:52 +08:00
    上传文本, 借助 api 合成音频和视频.

    起码我看到 YouTube 是有人这样做的.
    moonkiller
        2
    moonkiller  
       2022-03-19 18:41:56 +08:00
    🐮啊
    这就去试试
    yedaxia
        3
    yedaxia  
    OP
       2022-03-19 18:45:31 +08:00
    @id4alex 啊,没有感情的工作机器~
    C603H6r18Q1mSP9N
        4
    C603H6r18Q1mSP9N  
       2022-03-19 18:48:46 +08:00
    advancejar
        5
    advancejar  
       2022-03-19 21:11:54 +08:00
    非常好的创意,完善了真的是 ai 创造给人看了
    yedaxia
        6
    yedaxia  
    OP
       2022-03-19 22:58:11 +08:00
    @advancejar 谢谢支持。
    Chihaya0824
        7
    Chihaya0824  
       2022-03-21 01:00:04 +08:00
    草,想起了我们学校以前就有人做过一模一样的东西
    phithon
        8
    phithon  
       2022-03-21 02:37:36 +08:00
    这个真的支持!
    haiyan
        9
    haiyan  
       2022-03-21 08:37:44 +08:00
    @id4alex 我写过把小说变成视频上传 youtube ,被封了很多号,就算求了
    yws112358
        10
    yws112358  
       2022-03-21 09:57:32 +08:00
    积分扣除有点问题啊
    我刚才用 read aloud 生成了一段音频 注册给了 50 积分。生成一次 扣了 23 积分。生成之后发现有个片段有问题。,返回编辑,结果又扣了 23 ,并且可能由于缓存,编辑的片段并未生效,还是原来那个
    hwwang112244
        11
    hwwang112244  
       2022-03-21 14:09:31 +08:00
    请教下,这个具体的视频素材是哪儿来的,有侵权的风险吗?
    hbtech
        12
    hbtech  
       2022-03-21 14:38:31 +08:00
    我是之前内测的时候就注册了,后面送了我 500 积分。现在似乎有点问题,剪切一直显示失败,一看积分还扣除了

    xueyangkk
        13
    xueyangkk  
       2022-03-22 10:13:46 +08:00
    我上上家公司做过类似的产品 ,给你提供点思路吧 他们做的是 识别电影中的物体 台词 等等, 搜所的时候 可以根据物体 和 台词 组合成新的短片 。 举个例子 我爱你 周星驰在大话西游说过 梁朝伟 在某部片子里说过 等等等 。。最后组合成一部 我爱你的合集 。 这个有个困难的是 版权怎么解决 ? 其次训练的精度 尤其是截取片段的准确度要很高 。这些问题一直弄了很久 .... 最后上线了 但是商业化变现又很困难 。 客户是 MCN 机构 试用一段时间 反馈效果是不准,其次是资源不够多等等问题
    yedaxia
        14
    yedaxia  
    OP
       2022-03-22 10:51:52 +08:00
    @hbtech 谢谢反馈,这个是昨天升级服务器导致的,现在已经修复了,这边会补偿积分。
    yedaxia
        15
    yedaxia  
    OP
       2022-03-22 10:52:50 +08:00
    @yws112358 嗯谢谢反馈,是缓存问题,已经修复了。
    yws112358
        16
    yws112358  
       2022-03-22 10:57:17 +08:00
    @yedaxia #15 反复编辑的项目可以不扣积分或者酌情减少积分扣除吗
    yedaxia
        17
    yedaxia  
    OP
       2022-03-22 11:00:00 +08:00
    @xueyangkk 谢谢建议。
    yedaxia
        18
    yedaxia  
    OP
       2022-03-22 11:01:03 +08:00
    @yws112358 嗯,这个后续会完善一下~
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1247 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 17:36 · PVG 01:36 · LAX 09:36 · JFK 12:36
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.