V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
15399905591
V2EX  ›  Python

想在 flask 中加一个数据处理层, 这个层与 flask 逻辑为分开的,只是共用一套模型层代码,大佬有好的组件推荐么?

  •  
  •   15399905591 · 2019-10-15 15:33:27 +08:00 · 3053 次点击
    这是一个创建于 1873 天前的主题,其中的信息可能已经有所发展或是发生改变。
    该数据处理层是异步的,可以做定时任务,也可以做异步任务
    12 条回复    2019-10-22 10:19:59 +08:00
    Latin
        1
    Latin  
       2019-10-15 15:36:26 +08:00
    不想重复做轮子就 celery
    15399905591
        2
    15399905591  
    OP
       2019-10-15 15:40:52 +08:00
    @Latin celery 怎么做异步任务呢? 我这里的异步任务是指第三方系统推送一个消息过来,我这边接受到后读取并执行指定任务
    wangyzj
        3
    wangyzj  
       2019-10-15 15:45:14 +08:00
    @15399905591 celery 只是一个任务执行框架,你把任务推过去就行了,第三方消息接收还是需要 flask,或者你单独做一个队列 kafka 之类的处理
    15399905591
        4
    15399905591  
    OP
       2019-10-15 16:38:34 +08:00
    @wangyzj 那第三方怎么推送任务呢?我使用 celery 定义了一个任务,我现在需要一个第三方系统去触发,使用 http api 又有安全问题,这个时候我应该怎么推送任务呢?。
    Jemini
        5
    Jemini  
       2019-10-15 16:52:06 +08:00 via iPhone
    celery 有定时任务啊!可以定时触发么
    imycc
        6
    imycc  
       2019-10-15 17:03:38 +08:00   ❤️ 1
    使用 celery 的话,简单点的模型就是 API ---(celery)---> MQ ---(celery)---> Worker 这样。
    依旧是通过 API 对第三方提供服务,安全问题可以通过认证、白名单等方式来解决。
    celery 主要是起到一个任务队列的作用,将 API 这段接受到的任务推给 worker 去处理。
    wzwwzw
        7
    wzwwzw  
       2019-10-15 18:52:25 +08:00
    celery 吧,定时,异步都符合了。http api 做好认证,ip 白名单,问题不大。
    SjwNo1
        8
    SjwNo1  
       2019-10-16 09:37:51 +08:00
    cron & celery
    Latin
        9
    Latin  
       2019-10-17 11:07:53 +08:00
    @15399905591 做个 restful api 接收异步回调,然后调用 celery 任务就好了啊
    15399905591
        10
    15399905591  
    OP
       2019-10-21 16:45:13 +08:00
    @Latin 使用 http 性能是个严重的问题
    Latin
        11
    Latin  
       2019-10-22 09:02:53 +08:00 via iPhone
    @15399905591 那就长连接,用 websocket,再不济你用 rpc
    Harlaus
        12
    Harlaus  
       2019-10-22 10:19:59 +08:00
    APScheduler
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1020 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 19:49 · PVG 03:49 · LAX 11:49 · JFK 14:49
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.