V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
rix
V2EX  ›  程序员

有什麼單機的、能管理資源分配的任務調度庫/框架?

  •  
  •   rix · 2020-09-05 14:19:45 +08:00 · 1175 次点击
    这是一个创建于 1542 天前的主题,其中的信息可能已经有所发展或是发生改变。

    能動態添加任務,任務之間有依賴關係,任務需要分配系統資源,如硬盤、帶寬、內存、CPU 等等。任務完成後會有臨時資源傳遞給下游任務。當所有下游任務使用完臨時資源後能自動釋放資源( reference count )。調度算法能合理分配資源,避免硬盤、帶寬、內存、CPU 超載等等。 任務僅限單機運行,不考慮分佈式場景。當然如果有分佈式的方案能適用於單機的話也可以。 語言不限,但最好有 Python / Golang 的庫。

    2 条回复    2020-09-05 14:41:17 +08:00
    xuanbg
        1
    xuanbg  
       2020-09-05 14:37:30 +08:00
    任务调度框架多得很,但能限定硬件资源的没见过。。。

    楼主可以用搞一个 Docker 容器把任务调度服务装进去,利用 k8s 来实现资源管理。
    swulling
        2
    swulling  
       2020-09-05 14:41:17 +08:00 via iPhone
    k3s 加 argo
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3184 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 13:34 · PVG 21:34 · LAX 05:34 · JFK 08:34
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.