V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
bronana
V2EX  ›  程序员

想请教下大家如何图像识别,根据图片或图标转换成文字?

  •  
  •   bronana · 2023-01-31 08:14:36 +08:00 · 4159 次点击
    这是一个创建于 666 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我玩的一款网络手游明日方舟,又更新了,这次的更新我是直接玩不懂了,看看能不能把号卖掉。

    游戏没有导出数据的功能,所以只有手动来整了,然而又没有接触过这方面的技术。

    游戏截图 1 游戏截图 2 游戏截图 3

    如上图所示,解析图片中的图标或文字,识别后转成文本。

    弱弱地提一下需求:

    由于手机截图不方便,可能需要配合安卓模拟器

    • 要么通过安卓模拟器一张张截图以后,导出到我的电脑,再用代码解析所有的截图;
    • 要么高级一点,直接用代码连接安卓模拟器,自动解析;

    不知道可以用什么技术实现?

    murmur
        1
    murmur  
       2023-01-31 08:18:29 +08:00
    你说的对,剑三有个软件分析装备配队就是遍历你的背包截图(原理类似),然后去申请个免费的 OCR 配额去识别文字

    抓包这个得有足够数据泄露,目前我知道原神是因为有官方 API ,所以登录了米游社之后拿 token 可以去软件自动跑
    wanei
        2
    wanei  
       2023-01-31 08:24:07 +08:00   ❤️ 1
    utools 上面好像有 OCR 插件,可以直接图片识别文字。
    bronana
        3
    bronana  
    OP
       2023-01-31 08:28:13 +08:00
    @wanei #2 不是文字,有些东西不是文字😅
    太难的话,我其实也可以录个视频发网上算了😅😅
    bronana
        4
    bronana  
    OP
       2023-01-31 08:33:30 +08:00
    @bronana #3 号上面东西有点多,想写个文字版本的省流,但是一个一个的写太多了,好多都是重复的。
    brianinzz
        5
    brianinzz  
       2023-01-31 08:34:58 +08:00
    @bronana yolo?更像目标检测 除非有训练好的模型不然训练有一定的成本 需要样本和标注 想玩玩可以为了卖号没必要
    也可以看看这个 https://www.v2ex.com/t/763083
    Deplay
        6
    Deplay  
       2023-01-31 08:44:49 +08:00
    @brianinzz 这里似乎并没有必要使用 dl ,因为图标并不会有很大的变化,顶多受 dpi 的影响,其特征也没有什么识别的意义
    @bronana 可以参考 pyautogui
    dreasky
        7
    dreasky  
       2023-01-31 08:56:57 +08:00
    不算目标检测 只能算图像检测或相似度检测 前提是你要有图标和文字的对应表
    catsoul
        8
    catsoul  
       2023-01-31 09:01:16 +08:00
    没必要卖号,新活动就是仿饥荒的模式,但是因为做得不完善,导致玩起来感觉很无聊,必须很痛苦的熬过前期。

    想拿资源和皮肤有两个办法:

    第一是花点钱找代练,眼不见心不烦;
    第二是偷懒过关,每次进去,随便乱配个队伍,然后无脑刷资源图,但是不配置角色进队伍,空队伍进图,进去之后直接退出战斗,也会掉落物资,熬到第五天(偶尔运气好能熬到第七天第八天)等怪物打到大本营直接退出本轮,可以结算 50 分左右

    我昨晚上边看电影边这么刷,已经把皮肤刷到手了
    cheese
        9
    cheese  
       2023-01-31 09:10:43 +08:00
    你举得例子里面有很多其实不是 ocr 是相似度检测,也就是你提前训练好了模型,告诉它啥是啥,有你标记训练集的功夫,你自己就直接把背包标完了
    shakoon
        10
    shakoon  
       2023-01-31 09:11:06 +08:00
    为了卖号还要这么折腾,很可能并不能提升卖价。建议直接录屏+语音介绍
    Asakijz
        11
    Asakijz  
       2023-01-31 09:27:52 +08:00
    要不用 maa 挂机刷刷?方舟的号好像卖不了多少的,留着偶尔回来抽个 10 连也行
    LavaC
        12
    LavaC  
       2023-01-31 09:31:20 +08:00
    新活动也没必要卖号啊,我这种纯咸鱼玩家也不喜欢这种活动,还不好抄作业,大概率就不玩了。
    liudaolunhuibl
        13
    liudaolunhuibl  
       2023-01-31 09:38:13 +08:00
    自己整理一个数据集,然后去百度的 ai stuio 上用 paddle 训练一个模型出来
    Juszoe
        14
    Juszoe  
       2023-01-31 10:50:08 +08:00
    OpenCV 模板匹配就完事了,用不着 AI
    lonewolfakela
        15
    lonewolfakela  
       2023-01-31 11:05:48 +08:00
    没玩过方舟,但是这种东西难道不应该是挂个什么抓包的软件就能把数据全扒拉下来么……
    yaphets666
        16
    yaphets666  
       2023-01-31 11:28:48 +08:00
    昨天看人用 AI 地下城与勇士搬砖 就是用的视觉 AI
    SummerGua
        17
    SummerGua  
       2023-01-31 11:31:33 +08:00
    明日方舟的一个数据站用了截图识别: https://penguin-stats.cn/report/recognition 里面有源码链接,可以看看
    theArrowOfCupid
        18
    theArrowOfCupid  
       2023-01-31 11:47:16 +08:00
    安卓截图的话,可以用 scrcpy ,没必要用模拟器
    LeegoYih
        19
    LeegoYih  
       2023-01-31 11:53:20 +08:00
    如果只是卖一个号,直接列个 excel 就完了,写脚本完全是南辕北辙。
    如果是卖一堆号,可以用猪场的 Airtest
    https://airtest.doc.io.netease.com/IDEdocs/airtest_framework/0_airtest_info/
    https://github.com/AirtestProject/Airtest
    NoOneNoBody
        20
    NoOneNoBody  
       2023-01-31 13:06:32 +08:00
    如果涉及的图标数量很少,可以自己逐个图标弄一张图,并输入描述文字
    用 opencv.sift 或者 opencv.matchTemplate 就能匹配(后者需要两张图的图标尺寸很接近),无需深度学习
    其实工作量最大反而是前面的输入,如果检测次数在 20 次以内,还不如目测完成算了
    aotuman233
        21
    aotuman233  
       2023-01-31 13:11:12 +08:00 via iPhone
    https://maa.plus/
    直接看人家的源代码吧
    aiqinxuancai
        22
    aiqinxuancai  
       2023-01-31 15:31:44 +08:00
    其实你就是想做脚本吧...
    Vipcw95
        23
    Vipcw95  
       2023-01-31 15:52:43 +08:00
    大多都是不值钱的东西,主要的练度写写,资源写写,需要搞那么复杂?
    rookie4show
        24
    rookie4show  
       2023-01-31 16:17:35 +08:00
    去逛了下舟版的 nga ,没有发现大佬的黑科技,yys 的话 nga 有大佬写的痒痒熊内存快照,如果技术力足够的话还是推荐解析内存
    lemionwang0907
        25
    lemionwang0907  
       2023-01-31 16:38:39 +08:00
    camScanner 可以,可以试一下。
    montaro2017
        26
    montaro2017  
       2023-02-01 08:39:57 +08:00
    就一个新活动没必要把号卖了吧,我也玩不来这个新模式,但是我用 MAA 自动刷,放着也不用自己管
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   6009 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 02:42 · PVG 10:42 · LAX 18:42 · JFK 21:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.