Celery是Python开发的分布式任务调度模块,今天抽空看了一下,果然接口简单,开发容易,5分钟就写出了一个异步发送邮件的服务。
Celery本身不含消息服务,它使用第三方消息服务来传递任务,目前,Celery支持的消息服务有RabbitMQ、Redis甚至是数据库,当然Redis应该是最佳选择。
pip?install?Celery
目前最新版本为:4.4.5
注意:Celery 4.x不再支持windows,更多信息请参考链接:
https://www.oschina.net/news/78994/celery-4-0
使用Redis作为Broker时,再安装一个celery-with-redis
开始编写tasks.py
from?celery?import?Celery
import?time
#?创建Celery实例
celery?=?Celery('tasks',broker='redis://:qyI9YM3HcPRztc1b@10.212.82.86:6679/0',)
#?创建任务
@celery.task
def?sendmail(mail):
????print('sending?mail?to?%s...'?%?mail['to'])
????time.sleep(2.0)
????print('mail?sent.')
注意:这里指定的redis是需要密码认证的。
格式为:redis://redis密码@redis服务器ip:redis端口
然后启动Celery处理任务:
celery?-A?tasks?worker?--loglevel=info
上面的命令行实际上启动的是Worker,如果要放到后台运行,可以扔给supervisor。
如何发送任务?非常简单:
新建一个文件run.py
from?task1?import?sendmail
ret?=?sendmail.delay(dict(to='celery@python.org'))
print(ret,type(ret))
执行输出:
75283921-6db3-4420-a639-ba14e574a3bc?<class?'celery.result.AsyncResult'>
可以看到,Celery的API设计真的非常简单。
然后,在Worker里就可以看到任务处理的消息:
[2020-06-17?19:14:46,154:?WARNING/MainProcess]?sending?mail?to?celery@pytho
n.org...
[2020-06-17?19:14:48,157:?WARNING/MainProcess]?mail?sent.
[2020-06-17?19:14:48,157:?INFO/MainProcess]?Task?task1.sendmail[75283921-6d
b3-4420-a639-ba14e574a3bc]?succeeded?in?2.0s:?None
[2020-06-17?19:17:21,034:?INFO/MainProcess]?sync?with?celery@office-145
Celery默认设置就能满足基本要求。Worker以Pool模式启动,默认大小为CPU核心数量,缺省序列化机制是pickle,但可以指定为json。由于Python调用UNIX/Linux程序实在太容易,所以,用Celery作为异步任务框架非常合适。
Celery还有一些高级用法,比如把多个任务组合成一个原子任务等,还有一个完善的监控接口,以后有空再继续研究。
如果window 10运行报错
...
ValueError:?not?enough?values?to?unpack?(expected?3,?got?0)
请参考链接:
https://www.cnblogs.com/Hannibal-2018/p/11147224.html
本文参考链接: