WakaQ，在 Python 中構建分布式任務隊列

原創小小亮 2022-09-06

1951

圖片.png

為什么不直接使用 Celery/RQ/Huey/TaskTiger？

不幸的是，WakaTime 使用 Celery 已經快 10 年了。在那段時間里，我經歷了許多嚴重的錯誤，其中一些在被引入多年后仍然存在。Celery 曾經相當不錯，但功能膨脹使項目難以維護。同樣在我看來，將代碼分成三個獨立的 GitHub 存儲庫會使代碼庫難以閱讀。

然而，主要原因是： Celery 延遲任務無法擴展。

如果您使用 Celery 延遲任務，隨著您的網站最終增長，您將開始看到此錯誤消息：

QoS: Disabled: prefetch_count exceeds 65535

當這種情況發生時，工作人員會停止處理所有任務，而不僅僅是延遲的任務！隨著 WakaTime 的增長，我們開始更頻繁地遇到這個錯誤。

我嘗試了RQ、Huey和TaskTiger，但它們缺少功能并且處理任務比 Celery 慢。對于像 WakaTime 這樣的網站來說，分布式任務隊列是必不可少的，我已經厭倦了遇到 bug。出于這個原因，我決定盡可能構建最簡單的分布式任務隊列，同時仍然提供 WakaTime 所需的所有功能。

WakaQ是一個新的 Python 分布式任務隊列。使用它在后臺運行代碼，使您的網站保持快速和快速，并讓您的用戶保持快樂。

它只有 1,264 行代碼！

$ find . -name '*.py' -not -path "./migrations*" -not -path "./venv*" | xargs wc -l | grep " total" | awk '{print $1}' | numfmt --grouping
1,264

從第一行代碼到在 WakaTime 完全取代 Celery只用了一周時間。這說明了它的簡單性。

每個隊列都是使用Redis 列表實現的。延遲任務使用Redis 排序集實現自己的隊列。廣播任務共享一個Redis Pub/Sub queue。

超出范圍的功能包括速率限制、排他鎖定、存儲任務結果和任務鏈接。這些很容易添加到您的應用程序的任務代碼中，并且您可能無論如何都希望根據您的應用程序的需求來實現這些。

WakaQ是穩定的，可以在生產中使用。WakaQ 目前為WakaTime網站的 prod 中的所有后臺任務提供支持，包括但不限于：

它是在BSD 許可下發布的，因此您可以在開源和閉源項目中使用它。如果您發現任何錯誤，請打開一個問題，但在請求新功能之前請三思而后行。

原文標題：Building a Distributed Task Queue in Python
原文作者： Alan Hamlett
原文鏈接：https://wakatime.com/blog/56-building-a-distributed-task-queue-in-python

最后修改時間：2022-09-06 15:23:57

「喜歡這篇文章，您的關注和贊賞是給作者最好的鼓勵」

關注作者