V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
burgleaf
V2EX  ›  问与答

想做一个任务管理系统做任务分发,请教一下相关经验

  •  
  •   burgleaf · 2023-03-29 11:00:18 +08:00 · 825 次点击
    这是一个创建于 365 天前的主题,其中的信息可能已经有所发展或是发生改变。

    有一个需求,大概分为两部分:

    1. 有一个任务管理系统,不同用户在管理系统上可以发布一些不同的耗时的脚本任务,当然除了发布任务之外用户还可以操作和查询其他信息

    2. 有一个集群可以接收任务,集群内的机器数量可以伸缩扩展。每一台机器都是通过多线程来并行执行任务,执行完任务把结果返回给任务管理系统

    有几个问题请教一下各位大佬:

    1. 个人比较熟悉 java 和 python 两门语言,有没有值得参考的开源系统或者框架

    2. 给用户用的任务管理系统界面该怎么做技术选型,很久以前用的是 jquery 和 bootstrap 。很多年没写前端代码了,就目前前端技术来看选用什么前端框架和开源模板做管理系统比较合适(操作体验好,样式好看,容易上手,组件丰富)

    3. 优化整个集群执行任务的效率和数据一致性有没有什么好的经验可以分享一下

    3 条回复    2023-03-29 11:31:33 +08:00
    malusama
        1
    malusama  
       2023-03-29 11:03:31 +08:00   ❤️ 1
    python 现在就有 dask 或者 ray.
    burgleaf
        2
    burgleaf  
    OP
       2023-03-29 11:18:41 +08:00
    @malusama dask 和 ray 好像是大数据处理数据计算的,这里所指的是浏览器脚本任务,请教一下是否可以支持
    w292614191
        3
    w292614191  
       2023-03-29 11:31:33 +08:00
    xxljob 不行吗
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   4722 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 01:08 · PVG 09:08 · LAX 18:08 · JFK 21:08
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.