V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
runninghipp
V2EX  ›  问与答

有没有不错的 RPA 工具,可以把网页内容抓取下来,

  •  
  •   runninghipp · 169 天前 · 971 次点击
    这是一个创建于 169 天前的主题,其中的信息可能已经有所发展或是发生改变。

    有一个需求,就是想通过 RPA 工具,(类爬虫工具),把一个网站的数据落成结构化的数据,比如 EXCEL 或者 TXT , 在对数据进行分析 ; (背景,研发、测试、产品都在类似禅道这样的系统进行相关任务单填写工时,想把数据弄下来,进行人效分析);

    5 条回复    2024-07-02 17:45:10 +08:00
    Evrins
        1
    Evrins  
       169 天前
    这个需求不应该直接对接 禅道 的 api 吗?
    zangai
        2
    zangai  
       169 天前
    实在智能
    CadonHo
        3
    CadonHo  
       169 天前
    禅道有专门的 api ,直接从 api 里获取数据效率更高
    EndlessMemory
        4
    EndlessMemory  
       169 天前
    影刀看看
    dassh
        5
    dassh  
       169 天前
    直接查数据库吧

    SELECT x.realname as 姓名, x.product_name as 所属产品, x.id as 编号, x.task_name as 任务名称, x.pri as 优先级,
    x.estStarted as 预计开始, x.realStarted as 实际开始, x.deadline as 截止日期, x.finishedDate as 实际完成, DATEDIFF(x.finishedDate, x.deadline) as 延期(天),
    format(x.estimate,1) as 最初预计, format(x.consumed,1) as 任务总消耗 FROM
    (SELECT a.id,a.project, b.realname, a.name as task_name, a.pri, d.name as product_name, a.consumed, a.estimate, a.estStarted, a.deadline, a.realStarted, a.finishedDate FROM `zt_task` a
    join zt_user b on a.finishedBy = b.account
    join (select project, min(product) as product from zt_projectproduct group by project) c on a.project = c.project
    join zt_product d on c.product = d.id
    where a.status in ("done", "closed")
    and a.deleted = 1
    and a.finishedDate >={start} and a.finishedDate < {end}
    ) x
    ORDER BY x.realname, x.product_name, x.finishedDate
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4096 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 05:24 · PVG 13:24 · LAX 21:24 · JFK 00:24
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.