”工欲善其事,必先利其器。“—孔子《论语.录灵公》
首页 > 编程 > 使用 Celery 和 Docker 在 Django 中运行 Cron 作业

使用 Celery 和 Docker 在 Django 中运行 Cron 作业

发布于2024-09-01
浏览:789

Running a Cron Job in Django Using Celery and Docker

Cron 作业简介

cron 作业是按指定时间间隔自动运行的计划任务。这些任务对于自动执行重复操作(例如发送提醒电子邮件、生成报告或清理数据库)非常有用。在 Django 项目中,可以使用 Celery 等工具设置 cron 作业,这使得调度和管理任务变得简单高效。

设置您的 Django 项目

我们首先创建一个 Django 项目,安装必要的包,然后使用 Docker 容器化该项目。

创建虚拟环境并安装Django和DRF

  • 打开终端并导航到项目目录。
  • 创建并激活虚拟环境:
python -m venv myenv
source myenv/bin/activate  # On Windows, use myenv\Scripts\activate
  • 安装 Django 和 Django REST Framework:
pip install django djangorestframework

创建 Django 项目和应用程序

  • 创建一个新的 Django 项目:
django-admin startproject myproject
cd myproject
  • 创建一个新的 Django 应用程序:
python manage.py startapp myapp
  • 将应用程序添加到您的settings.py:
# myproject/settings.py

INSTALLED_APPS = [
    ...
    'myapp',
    'rest_framework',
]

安装 Celery 和 Redis

  • 安装 Celery 和 Redis:
pip install celery redis
  • 通过创建 celery.py 文件在您的项目中设置 Celery:
# myproject/celery.py
from __future__ import absolute_import, unicode_literals
import os
from celery import Celery

os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'myproject.settings')

app = Celery('myproject')
app.config_from_object('django.conf:settings', namespace='CELERY')
app.autodiscover_tasks()

app.conf.beat_schedule = {
    'run-this-task-every-day': {
        'task': 'myapp.tasks.my_scheduled_task',
        'schedule': crontab(minute="00", hour="7"),  # Executes every day at 7 AM
    },
}

app.conf.timezone = 'UTC'
  • 修改init.py以使用Django加载Celery:
# myproject/__init__.py
from __future__ import absolute_import, unicode_literals
from .celery import app as celery_app

__all__ = ('celery_app',)
  • 在settings.py中配置Celery:
CELERY_BROKER_URL = os.environ.get('REDIS_URL')
CELERY_RESULT_BACKEND = os.environ.get('REDIS_URL')
CELERY_ACCEPT_CONTENT = ['json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
CELERY_TIMEZONE = 'UTC'
CELERY_BROKER_CONNECTION_RETRY_ON_STARTUP = True

创建芹菜任务

在您的 Django 应用程序中,在tasks.py 中定义任务:

# myapp/tasks.py
from celery import shared_task

@shared_task
def my_scheduled_task():
    print("This task runs every every day.")

创建 Docker 配置

  • 为 Django 的 api 创建一个 Dockerfile(名为:Dockerfile.myapi):
FROM python:3.8-alpine3.15

ENV PYTHONUNBUFFERED=1
ENV PYTHONDONTWRITEBYTECODE=1

WORKDIR /app

COPY requirements.txt /app

RUN pip install --no-cache-dir -r requirements.txt

COPY . .

EXPOSE 9000

CMD ["gunicorn", "-w", "4", "-b", "0.0.0.0:8000", "myproject.wsgi:application"]
  • 为 celery 创建一个 Dockerfile(名为:Dockerfile.myjob)
FROM python:3.8-alpine3.15

ENV PYTHONUNBUFFERED=1
ENV PYTHONDONTWRITEBYTECODE=1

WORKDIR /app
COPY requirements.txt /app
RUN pip install --no-cache-dir -r requirements.txt
COPY . /app

CMD ["celery", "-A", "myproject", "worker", "--loglevel=info", "--concurrency=4", "-E", "-B"]
  • 创建一个requirements.txt文件来列出您的依赖项:
Django==4.2
djangorestframework==3.14.0
celery==5.3.1
redis==5.0.0
  • 创建 docker-compose.yml 文件来管理服务:
services:
  app:
    build:
      context: .
      dockerfile: Dockerfile.myapi
    container_name: myapp_api
    ports:
      - 7000:7000
    env_file:
      - .env

  celery:
    build:
      context: .
      dockerfile: Dockerfile.myjob
    container_name: myapp_job
    depends_on:
      - app
    env_file:
      - .env
  • 创建一个 .env 文件并向其中添加 Redis URL 值:
REDIS_URL=

构建并运行 Docker 容器

  • 构建并运行 Docker 镜像:
docker-compose up --build

这将启动您的 Django 应用程序,以及 Celery 工作线程和 Celery 节拍调度程序。

验证 Cron 作业

您的 Celery 任务现在应该根据您定义的时间表运行。您可以查看指定时间的日志来确认任务正在执行。

结论

使用 Celery、Docker 和 Redis 在 Django 中运行 cron 作业为管理后台任务提供了强大且可扩展的解决方案。 Docker 可确保您的应用程序在不同环境中一致运行,从而使部署更加轻松。通过执行上述步骤,您可以高效地自动化任务并轻松管理您的 Django 项目。

版本声明 本文转载于:https://dev.to/engrmark/running-a-cron-job-in-django-using-celery-and-docker-238d?1如有侵犯,请联系[email protected]删除
最新教程 更多>
  • 如何修复 macOS 上 Django 中的“配置不正确:加载 MySQLdb 模块时出错”?
    如何修复 macOS 上 Django 中的“配置不正确:加载 MySQLdb 模块时出错”?
    MySQL配置不正确:相对路径的问题在Django中运行python manage.py runserver时,可能会遇到以下错误:ImproperlyConfigured: Error loading MySQLdb module: dlopen(/Library/Python/2.7/site-...
    编程 发布于2025-01-04
  • 除了“if”语句之外:还有什么地方可以在不进行强制转换的情况下使用具有显式“bool”转换的类型?
    除了“if”语句之外:还有什么地方可以在不进行强制转换的情况下使用具有显式“bool”转换的类型?
    无需强制转换即可上下文转换为 bool您的类定义了对 bool 的显式转换,使您能够在条件语句中直接使用其实例“t”。然而,这种显式转换提出了一个问题:“t”在哪里可以在不进行强制转换的情况下用作 bool?上下文转换场景C 标准指定了四种值可以根据上下文转换为的主要场景bool:语句:if、whi...
    编程 发布于2025-01-04
  • 在 Go 中使用 WebSocket 进行实时通信
    在 Go 中使用 WebSocket 进行实时通信
    构建需要实时更新的应用程序(例如聊天应用程序、实时通知或协作工具)需要一种比传统 HTTP 更快、更具交互性的通信方法。这就是 WebSockets 发挥作用的地方!今天,我们将探讨如何在 Go 中使用 WebSocket,以便您可以向应用程序添加实时功能。 在这篇文章中,我们将介绍: WebSoc...
    编程 发布于2025-01-04
  • HTML 格式标签
    HTML 格式标签
    HTML 格式化元素 **HTML Formatting is a process of formatting text for better look and feel. HTML provides us ability to format text without us...
    编程 发布于2025-01-04
  • 大批
    大批
    方法是可以在对象上调用的 fns 数组是对象,因此它们在 JS 中也有方法。 slice(begin):将数组的一部分提取到新数组中,而不改变原始数组。 let arr = ['a','b','c','d','e']; // Usecase: Extract till index p...
    编程 发布于2025-01-04
  • 如何在 PHP 中组合两个关联数组,同时保留唯一 ID 并处理重复名称?
    如何在 PHP 中组合两个关联数组,同时保留唯一 ID 并处理重复名称?
    在 PHP 中组合关联数组在 PHP 中,将两个关联数组组合成一个数组是一项常见任务。考虑以下请求:问题描述:提供的代码定义了两个关联数组,$array1 和 $array2。目标是创建一个新数组 $array3,它合并两个数组中的所有键值对。 此外,提供的数组具有唯一的 ID,而名称可能重合。要求...
    编程 发布于2025-01-04
  • 尽管代码有效,为什么 POST 请求无法捕获 PHP 中的输入?
    尽管代码有效,为什么 POST 请求无法捕获 PHP 中的输入?
    解决 PHP 中的 POST 请求故障在提供的代码片段中:action=''而不是:action="<?php echo $_SERVER['PHP_SELF'];?>";?>"检查 $_POST数组:表单提交后使用 var_dump 检查 $_POST 数...
    编程 发布于2025-01-04
  • 插入数据时如何修复“常规错误:2006 MySQL 服务器已消失”?
    插入数据时如何修复“常规错误:2006 MySQL 服务器已消失”?
    插入记录时如何解决“一般错误:2006 MySQL 服务器已消失”介绍:将数据插入 MySQL 数据库有时会导致错误“一般错误:2006 MySQL 服务器已消失”。当与服务器的连接丢失时会出现此错误,通常是由于 MySQL 配置中的两个变量之一所致。解决方案:解决此错误的关键是调整wait_tim...
    编程 发布于2025-01-04
  • 如何使用 MySQL 查找今天生日的用户?
    如何使用 MySQL 查找今天生日的用户?
    如何使用 MySQL 识别今天生日的用户使用 MySQL 确定今天是否是用户的生日涉及查找生日匹配的所有行今天的日期。这可以通过一个简单的 MySQL 查询来实现,该查询将存储为 UNIX 时间戳的生日与今天的日期进行比较。以下 SQL 查询将获取今天有生日的所有用户: FROM USERS ...
    编程 发布于2025-01-04
  • Bootstrap 4 Beta 中的列偏移发生了什么?
    Bootstrap 4 Beta 中的列偏移发生了什么?
    Bootstrap 4 Beta:列偏移的删除和恢复Bootstrap 4 在其 Beta 1 版本中引入了重大更改柱子偏移了。然而,随着 Beta 2 的后续发布,这些变化已经逆转。从 offset-md-* 到 ml-auto在 Bootstrap 4 Beta 1 中, offset-md-*...
    编程 发布于2025-01-04
  • 如何从 Pandas DataFrame 列中删除具有空值的行?
    如何从 Pandas DataFrame 列中删除具有空值的行?
    从 Pandas DataFrame 列中删除空值要根据特定列中的空值从 Pandas DataFrame 中删除行,请按照以下步骤操作步骤:1.识别列:确定 DataFrame 中包含要删除的空值的列。在本例中,它是“EPS”列。2。使用 dropna() 方法:dropna() 方法允许您根据特...
    编程 发布于2025-01-01
  • 如何在 Go 中正确键入断言接口值片段?
    如何在 Go 中正确键入断言接口值片段?
    类型断言接口值切片在编程中,经常会遇到需要类型断言接口值切片的情况。然而,这有时会导致错误。让我们深入研究一下为什么断言接口值切片可能并不总是可行的原因。当尝试从接口值切片中将断言键入特定类型(例如 []Symbol)时,[]Node ,如提供的示例中所示:args.([]Symbol)您可能会遇到...
    编程 发布于2025-01-01
  • 为什么 `list.sort()` 返回 `None` 以及如何获取排序列表?
    为什么 `list.sort()` 返回 `None` 以及如何获取排序列表?
    了解 Sort() 方法及其返回值尝试排序并返回唯一单词列表时,您可能会遇到常见问题:“return list.sort()”语法未按预期返回排序列表。这可能会令人困惑,因为它似乎与 sort() 方法的目的相矛盾。为了澄清这一点,让我们检查一下 list.sort() 的工作原理以及为什么它在这种...
    编程 发布于2025-01-01
  • 如何使“preg_match”正则表达式不区分大小写?
    如何使“preg_match”正则表达式不区分大小写?
    使 preg_match 不区分大小写在问题中提供的代码片段中,区分大小写导致无法实现预期结果。要纠正此问题,您可以在正则表达式中使用 i 修饰符,确保其不区分大小写。以下是修改代码的方法:preg_match("#(.{100}$keywords.{100})#i", stri...
    编程 发布于2025-01-01
  • DocumentFilter 如何有效地将 JTextField 输入限制为整数?
    DocumentFilter 如何有效地将 JTextField 输入限制为整数?
    将 JTextField 输入过滤为整数:使用 DocumentFilter 的有效方法虽然直观,但使用键侦听器来验证 JTextField 中的数字输入是不够的。相反,更全面的方法是使用 DocumentFilter。DocumentFilter:强大的解决方案DocumentFilter 监视文...
    编程 发布于2025-01-01

免责声明: 提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发到邮箱:[email protected] 我们会第一时间内为您处理。

Copyright© 2022 湘ICP备2022001581号-3