V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
wangxiaoaer
V2EX  ›  问与答

桌面指定位置截图、识别、点击等最快的实现方式

  •  
  •   wangxiaoaer · 2020-03-19 08:26:59 +08:00 · 2281 次点击
    这是一个创建于 1492 天前的主题,其中的信息可能已经有所发展或是发生改变。

    自己玩的小众游戏,某类道具是定时刷新一批,然后需要通过点击抽奖的方式获取,而我希望只有在某个道具出现的时候再去抽(否则点数就浪费了),但又不可能每时每刻盯着,所以想弄个工具自用,大概逻辑如下:

    1 桌面指定区域(道具列表)截图

    2 调用百度文字接口识别道具名称,如果关键字匹配,进入 3,否则等待一定时常重复 1。

    3 点击抽奖按钮(位置是固定的),等几秒钟在桌面指定区域(抽奖结果)截图,调用百度接口识别是否抽中,如果抽中结束程序,如果没中重复 3。

    PS:只用支持 win 平台,但最好不需要其他什么依赖。

    逻辑不是很复杂,但是对我么有桌面端经验的人来说就是抓瞎,昨天试了试基于 Nodejs,发现截图和自动操作不是很好实现。

    又想到了易语言,官网看了下 有易语言 易语言飞扬 易乐谷啥的,一脸懵逼。

    有没有其他办法呢?

    10 条回复    2020-03-23 08:56:26 +08:00
    icyflash
        1
    icyflash  
       2020-03-19 08:53:42 +08:00 via Android
    按键精灵就可以了
    lloovve
        2
    lloovve  
       2020-03-19 09:11:05 +08:00 via iPhone
    Opencv 百度在线识别太慢吧
    ThirdFlame
        3
    ThirdFlame  
       2020-03-19 09:13:27 +08:00
    autoit 按键精灵
    CoCoMcRee
        4
    CoCoMcRee  
       2020-03-19 09:13:30 +08:00
    我做过魔兽世界的钓鱼辅助。Python 写的,主要靠 Opencv 图像识别,流程也是截图,识别,鼠标移动,点击。
    其中对于钓鱼上钩的判断是通过声音来判断的。
    coderluan
        5
    coderluan  
       2020-03-19 09:28:12 +08:00
    opencv-python,用最简单的图像相似度函数判断抽奖就行了,用不到百度接口。
    wangxiaoaer
        6
    wangxiaoaer  
    OP
       2020-03-19 09:59:41 +08:00
    抽奖程序 5 分钟刷新一次,百度接口识别速度戳戳有余,一天 5w 次免费额度,挺方便的。

    说起按键精灵,有官网和教程吗?
    Kelan
        7
    Kelan  
       2020-03-19 10:02:00 +08:00
    编程基础一般的话可以试试 sikuli
    6167
        8
    6167  
       2020-03-19 10:42:08 +08:00
    说来也巧,最近正好用 opencv 写了一个 python 函数,可以在屏幕上快速定位。至于点击可以用 PyAutoGui 实现,其中也自带了屏幕定位,就是比较慢
    loading
        9
    loading  
       2020-03-19 10:42:47 +08:00 via Android
    autohotkey
    wangxiaoaer
        10
    wangxiaoaer  
    OP
       2020-03-23 08:56:26 +08:00
    汇报一下进展:

    1 整个脚本基于 Nodejs
    2 截图基于 screenshot-desktop
    3 图片处理后通过百度文字识别( 5w/天 的免费额度还是挺给力的)
    4 关键字匹配后通过 TG 机器人给自己发消息。
    5 收到消息后立马到电脑上手动操作(自动点击等没实现)

    目前已经达到了当初的目的。但是弊端是游戏窗口不能最小化,而且不能遮挡。

    所以又有个几个小问题:

    1 其他截图方案能否做到后台指定窗口截图?

    2 本地除了 opencv 还有别的方案吗? opencv 依赖太重,假设脚本给别人用的话,需要配置的环境太多了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1002 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 18:59 · PVG 02:59 · LAX 11:59 · JFK 14:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.