链式任务(chord)是Celery中先并发执行group内所有子任务、待全部成功后再触发callback任务的任务组合方式;其核心为chord(group, callback),依赖结果后端收集结果,callback接收按group顺序排列的结果列表。

什么是链式任务(chord)
链式任务是 Celery 中一种特殊的任务组合方式,它把一组并行执行的子任务(group)和一个在所有子任务完成后才触发的回调任务(callback)串起来。你可以把它理解成“先并发跑一批任务,等它们全干完了,再统一处理结果”。
比如:要批量下载 100 个网页,下载完后统计总字数。下载动作可以并行,但统计必须等全部下载完成才能开始——这就适合用 chord。
怎么写一个 chord 链
核心写法很简单,用 chord(group, callback):
- group 是一个任务列表,每个任务会被并发执行,返回各自的结果
- callback 是单个任务,接收一个参数:包含所有 group 任务返回值的列表
示例代码:
立即学习“Python免费学习笔记(深入)”;
from celery import Celeryapp = Celery('tasks', broker='redis://localhost:6379')
php中级教程之ajax技术下载AJAX即“Asynchronous Javascript And XML”(异步JavaScript和XML),是指一种创建交互式网页应用的网页开发技术。它不是新的编程语言,而是一种使用现有标准的新方法,最大的优点是在不重新加载整个页面的情况下,可以与服务器交换数据并更新部分网页内容,不需要任何浏览器插件,但需要用户允许JavaScript在浏览器上执行。《php中级教程之ajax技术》带你快速
@app.task def add(x, y): return x + y
@app.task def summarize(results): return sum(results)
构建 chord:并发执行三个 add,完成后调用 summarize
result = chord( [add.s(1, 2), add.s(3, 4), add.s(5, 6)], summarize.s() ).apply_async()
print(result.get()) # 输出 21(即 3+7+11)
注意:.s() 表示创建签名(signature),它是可序列化的任务“蓝图”,不立即执行。
异步执行的关键细节
Chord 的整个流程是完全异步的,但背后有隐含依赖逻辑:
- group 内部任务由 Celery worker 并发拉取执行,彼此无序、无依赖
- Celery 自动监控 group 所有任务状态,当全部成功时,才把结果打包发给 callback 任务
- callback 任务本身也进队列,由某个 worker 拉取执行,不是主线程直接调用
- 如果 group 中任一任务失败,默认整个 chord 失败(除非配置了 red">chord_unlock 或自定义错误处理)
生产中建议为 callback 加上重试机制:
@app.task(bind=True, autoretry_for=(Exception,), retry_kwargs={'max_retries': 3})
def summarize(self, results):
return sum(results)
常见问题与避坑提醒
实际用 chord 容易踩几个坑:
- 不要在 callback 里做耗时同步操作:比如发邮件、写大文件,应再转成新任务异步处理,避免阻塞 chord 调度器
- group 太大时慎用:Celery 默认用 Redis 做结果后端时,chord 会把所有结果暂存在一个 key 里。几千个任务的结果可能撑爆内存或超 Redis 单 key 限制
- 结果后端必须启用:chord 依赖结果后端(如 Redis、RabbitMQ、Database)来收集 group 结果。没配 result_backend?chord 会卡住不动
- callback 接收的是 list,不是 dict:顺序和 group 中任务顺序一致,不是按任务 ID 或返回时间排序
需要更灵活的聚合逻辑?可以改用 group + callback 手动触发,或者用 canvas 中的 chords 结合 apply_chunks 分批处理。









