sách gpt4 ai đã đi

kubernetes - Kubernetes 上的批处理

In lại 作者:行者123 更新时间:2023-12-04 04:29:43 28 4
mua khóa gpt4 Nike

这里的任何人都有在 kubernetes 上进行批处理(例如 spring 批处理)的经验?这是个好主意吗?如果我们使用 kubernetes 自动缩放功能,如何防止批处理处理相同的数据?谢谢你。

1 Câu trả lời

Anyone here have experience about batch processing (e.g. spring batch) on kubernetes ? Is it good idea ?


对于 Spring Batch,我们(Spring Batch 团队)确实有一些经验,我们在以下谈话中分享:
  • Cloud Native Batch Processing on Kubernetes,迈克尔·米内拉
  • Spring Batch on Kubernetes ,由我。

  • 在 Kubernetes 上运行批处理作业可能很棘手:
  • Pod 可能在处理过程中被 k8s 重新调度到不同节点上
  • cron 作业可能会被触发 twice

  • 这需要在开发人员方面进行额外的重要工作,以确保批处理应用程序具有容错性(对节点故障、pod 重新调度等具有弹性)并且可以防止在集群环境中重复执行作业。
    Spring Batch 会为您处理这些额外的工作,出于以下几个原因,它可能是在 k8s 上运行批处理工作负载的不错选择:
  • 成本效率: Spring Batch 作业在外部数据库中维护它们的状态,这使得可以从最后一个保存点 重新启动它们 万一作业/节点失败或 pod rex1061610x765
  • 健壮性: 得益于集中式作业存储库
  • ,可防止重复作业执行
  • 容错: 重试/跳过失败的项目,以防出现瞬时错误,例如调用可能暂时关闭或在云环境中重新安排的 Web 服务

  • 我写了一篇博客文章,其中我用代码示例详细解释了所有这些方面。你可以在这里找到它: Spring Batch on Kubernetes: Efficient batch processing at scale

    How to prevent batch processing process same data if we use kubernetes auto scaling feature ?


    使每个作业处理不同的数据集是可行的方法(例如,每个文件一个作业)。但是您可能会对不同的模式感兴趣,请参阅 k8s 文档中的 Job Patterns.

    关于kubernetes - Kubernetes 上的批处理,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60924076/

    28 4 0
    行者123
    Hồ sơ cá nhân

    Tôi là một lập trình viên xuất sắc, rất giỏi!

    Nhận phiếu giảm giá Didi Taxi miễn phí
    Mã giảm giá Didi Taxi
    Giấy chứng nhận ICP Bắc Kinh số 000000
    Hợp tác quảng cáo: 1813099741@qq.com 6ren.com