toq: 一个分布式任务队列[Golang]

[herozem]

之前在项目刚开始的时候有发过关于这个项目的信息,见: https://www.v2ex.com/t/401345#reply8

项目地址是: https://github.com/jiajunhuang/toq

目前的进度是基本上完成了上次所定的目标:

• 并发执行任务
• 重试
• 平滑重启
• Redis 作为 broker

目前增加了新的目标:

• 重试 countdown
• 支持从 panic 恢复
• 增加 NSQ/Kafka/RabbitMQ 作为 broker 的支持
• 高可用(崩溃不丢任务)

---

简要的说一下大家可能会关心的问题:

1, 并发.

这个是受参数 concurrency 控制的, 假设这个参数设置的无限大, 那么就可以同时执行无限个任务, 此刻则只取决于内存和 CPU(因为模型是, 每次取一个并发 token,就开一个 goroutine 执行该任务).

2, 高可用.

基于 Redis 作为 broker 的任务队列都有丢任务的风险, 所以这个其实不是很好解决, 目前想到的办法是使用 lua 脚本来 弹出任务而不是简单的 LPOP. 这个功能会优先在引入 rabbitmq 的时候完成, 之后再加入对 redis 的支持吧, 计划是这样的.

[admirez]

好奇在你文中有丢任务风险的 redis 为什么还那么火

[herozem]

@admirez 第一是用 redis 的都会, 第二是并不是所有任务都需要 100%不丢, 而且丢任务是指,从 redis 拿出任务之后,如果任务队列挂了,那么 redis 是不知道的. 如果 redis 像 rabbitmq 一样提供消费确认, 就没有这种事情了