在 Kubernetes 环境中部署和运行 Dapr on Dapr 文档库

Dapr 在 Kubernetes 上的概述

Mon, 01 Jan 0001 00:00:00 +0000

Dapr 可以在任何支持的 Kubernetes 版本上运行。为此，Dapr 部署了一些 Kubernetes 服务，这些服务提供了良好的集成，使得在 Kubernetes 上运行 Dapr 应用程序变得简单。

Kubernetes 服务	描述
`dapr-operator`	管理 Dapr 的组件更新和 Kubernetes 服务端点（如状态存储、发布/订阅等）
`dapr-sidecar-injector`	将 Dapr 注入到已标注的部署 pod 中，并添加环境变量 `DAPR_HTTP_PORT` 和 `DAPR_GRPC_PORT`，以便用户应用程序可以轻松与 Dapr 通信，而无需硬编码 Dapr 端口。
`dapr-placement`	专用于actor。创建映射表，将 actor 实例映射到 pod
`dapr-sentry`	管理服务之间的 mTLS 并充当证书颁发机构。更多信息请参阅安全概述

支持的版本

Dapr 对 Kubernetes 的支持遵循 Kubernetes 版本偏差政策。

将 Dapr 部署到 Kubernetes 集群

阅读在 Kubernetes 集群上部署 Dapr以了解如何将 Dapr 部署到您的 Kubernetes 集群。

将 Dapr 添加到 Kubernetes 部署

要在 Kubernetes 集群中部署和运行启用 Dapr 的应用程序，只需在 pod 中添加一些注释即可。例如，在以下示例中，您的 Kubernetes pod 被标注为：

在 Kubernetes 集群上部署 Dapr

Mon, 01 Jan 0001 00:00:00 +0000

在 Kubernetes 上设置 Dapr 时，你可以使用 Dapr CLI 或 Helm。

混合集群

Dapr CLI 和 Dapr Helm chart 默认会部署到带有标签 kubernetes.io/os=linux 的节点上。如果你的应用程序需要，你也可以将 Dapr 部署到 Windows 节点。更多信息请参见部署到混合 Linux/Windows Kubernetes 集群。

使用 Dapr CLI 安装

你可以使用 Dapr CLI 在 Kubernetes 集群中安装 Dapr。

先决条件

安装：
- Dapr CLI
- kubectl
创建一个带有 Dapr 的 Kubernetes 集群。以下是一些有用的链接：

安装选项

你可以从官方 Helm chart 或私有 chart 安装 Dapr，并使用自定义命名空间等。

在 Kubernetes 集群上升级 Dapr

Mon, 01 Jan 0001 00:00:00 +0000

您可以通过 Dapr CLI 或 Helm 来升级 Kubernetes 集群上的 Dapr 控制平面。

注意

请参阅 Dapr 版本政策以获取 Dapr 升级路径的指导。

使用 Dapr CLI 升级

您可以使用 Dapr CLI 来升级 Dapr。

前提条件

安装 Dapr CLI
一个现有的运行 Dapr 的 Kubernetes 集群

将现有集群升级到 1.16.9

dapr upgrade -k --runtime-version=1.16.9

您可以使用 Dapr CLI 提供所有可用的 Helm chart 配置。

Kubernetes 生产指南

Mon, 01 Jan 0001 00:00:00 +0000

集群和容量要求

Dapr 对 Kubernetes 的支持遵循 Kubernetes 版本偏差政策。

以下资源配置可作为起始参考。具体要求会因集群规模、pod 数量及其他因素而有所不同。请根据您的环境进行测试以确定合适的配置值。在生产环境中，建议不要为 Dapr 控制平面组件设置内存限制，以避免出现 OOMKilled pod 状态。

部署	CPU	内存
Operator	限制: 1, 请求: 100m	请求: 100Mi
Sidecar Injector	限制: 1, 请求: 100m	请求: 30Mi
Sentry	限制: 1, 请求: 100m	请求: 30Mi
Placement	限制: 1, 请求: 250m	请求: 75Mi

注意

有关更多信息，请参阅 Kubernetes 文档中的 CPU 和内存资源单位及其含义。

Helm

使用 Helm 安装 Dapr 时，默认未设置限制/请求值。每个组件都有一个 resources 选项（例如，dapr_dashboard.resources），您可以根据需要调整 Dapr 控制平面的资源配置。

Helm chart 说明提供了详细信息和示例。

对于本地/开发安装，您可以选择不配置 resources 选项。

可选组件

以下 Dapr 控制平面部署是可选的：

使用 Dapr Shared 部署 Dapr 到每个节点或每个集群

Mon, 01 Jan 0001 00:00:00 +0000

Dapr 会自动为您的应用程序注入一个 sidecar，以启用 Dapr API，从而实现最佳的可用性和可靠性。

Dapr Shared 提供了两种替代的部署策略：通过 Kubernetes 的 DaemonSet 实现每节点部署，或通过 Deployment 实现每集群部署。

DaemonSet: 当以 Kubernetes 的 DaemonSet 资源运行 Dapr Shared 时，daprd 容器会在集群中的每个 Kubernetes 节点上运行。这可以减少应用程序与 Dapr 之间的网络延迟。
Deployment: 当以 Kubernetes 的 Deployment 运行 Dapr Shared 时，Kubernetes 调度器会决定 daprd 容器实例在集群中的哪个节点上运行。

Dapr Shared 部署

对于您部署的每个 Dapr 应用程序，您需要使用不同的 shared.appId 来部署 Dapr Shared Helm chart。

为什么选择 Dapr Shared？

默认情况下，当 Dapr 安装到 Kubernetes 集群中时，Dapr 控制平面会将 Dapr 作为 sidecar 注入到带有 Dapr 注释（dapr.io/enabled: "true"）的应用程序中。sidecar 提供了许多优势，包括提高弹性，因为每个应用程序都有一个实例，并且应用程序与 sidecar 之间的所有通信都无需经过网络。

操作指南：持久化调度器任务

Mon, 01 Jan 0001 00:00:00 +0000

调度器服务负责将任务写入其嵌入的Etcd数据库并调度执行。默认情况下，调度器服务数据库会将数据写入大小为1Gb的持久卷声明（Persistent Volume Claim），使用集群的默认存储类。这意味着在大多数Kubernetes部署中运行调度器服务不需要额外参数，但如果没有默认的StorageClass或在生产环境中运行时，您将需要进行额外的配置。

警告

调度器的默认存储大小为1Gi，这对于大多数生产部署来说可能不够。请注意，当启用SchedulerReminders预览功能时，调度器会用于actor提醒、工作流以及任务API。您可能需要考虑重新安装Dapr，并将调度器存储增加到至少16Gi或更多。有关更多信息，请参见下面的ETCD存储磁盘大小部分。

生产环境设置

ETCD存储磁盘大小

调度器的默认存储大小为1Gb。这个大小对于大多数生产部署来说可能不够。当存储大小超出时，调度器将记录类似以下的错误：

error running scheduler: etcdserver: mvcc: database space exceeded

确定存储大小的安全上限并不是一门精确的科学，主要取决于应用程序任务的数量、持久性和数据负载大小。任务API和actor提醒（启用SchedulerReminders预览功能时）会根据应用程序的使用情况进行映射。工作流（启用SchedulerReminders预览功能时）会创建大量的任务作为actor提醒，但这些任务是短暂的，与每个工作流执行的生命周期相匹配。工作流创建的任务的数据负载通常为空或很小。

调度器使用Etcd作为其存储后端数据库。根据设计，Etcd以预写日志（WAL）和快照的形式持久化历史事务和数据。这意味着调度器的实际磁盘使用量将高于当前可观察的数据库状态，通常是多个倍数。

在安装时设置存储大小

如果您需要增加现有调度器的存储大小，请参见下面的增加现有调度器存储大小部分。要增加新Dapr安装的存储大小（在此示例中为16Gi），您可以使用以下命令：

dapr init -k --set dapr_scheduler.cluster.storageSize=16Gi --set dapr_scheduler.etcdSpaceQuota=16Gi

helm upgrade --install dapr dapr/dapr \
--version=1.16 \
--namespace dapr-system \
--create-namespace \
--set dapr_scheduler.cluster.storageSize=16Gi \
--set dapr_scheduler.etcdSpaceQuota=16Gi \
--wait

增加现有调度器存储大小

警告

并非所有存储提供商都支持动态卷扩展。请参阅您的存储提供商文档以确定是否支持此功能，以及如果不支持该怎么办。

默认情况下，每个调度器会为每个副本创建一个大小为1Gi的持久卷和持久卷声明，使用默认的standard存储类。这些将类似于以下内容，在此示例中我们以HA模式运行调度器。

部署到混合 Linux/Windows Kubernetes 集群

Mon, 01 Jan 0001 00:00:00 +0000

Dapr 支持在以下类型的 Kubernetes 集群上运行您的微服务：

Windows
Linux
两者的组合

这在分阶段将遗留应用程序迁移到 Dapr Kubernetes 集群时特别有用。

Kubernetes 使用 节点亲和性 的概念来指定您的应用程序应在 Linux 节点还是 Windows 节点上启动。当部署到同时具有 Windows 和 Linux 节点的集群时，您必须为应用程序设置亲和性规则，否则 Kubernetes 调度器可能会将您的应用程序启动在错误类型的节点上。

先决条件

在开始之前，设置一个具有 Windows 节点的 Kubernetes 集群。许多 Kubernetes 提供商支持自动配置启用 Windows 的 Kubernetes 集群。

按照您首选提供商的说明设置启用 Windows 的集群。

设置集群后，验证 Windows 和 Linux 节点是否可用。

kubectl get nodes -o wide

NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
aks-nodepool1-11819434-vmss000000 Ready agent 6d v1.17.9 10.240.0.4 <none> Ubuntu 16.04.6 LTS 4.15.0-1092-azure docker://3.0.10+azure
aks-nodepool1-11819434-vmss000001 Ready agent 6d v1.17.9 10.240.0.35 <none> Ubuntu 16.04.6 LTS 4.15.0-1092-azure docker://3.0.10+azure
aks-nodepool1-11819434-vmss000002 Ready agent 5d10h v1.17.9 10.240.0.129 <none> Ubuntu 16.04.6 LTS 4.15.0-1092-azure docker://3.0.10+azure
akswin000000 Ready agent 6d v1.17.9 10.240.0.66 <none> Windows Server 2019 Datacenter 10.0.17763.1339 docker://19.3.5
akswin000001 Ready agent 6d v1.17.9 10.240.0.97 <none> Windows Server 2019 Datacenter 10.0.17763.1339 docker://19.3.5

安装 Dapr 控制平面

如果您使用 Dapr CLI 或通过 Helm chart 安装，只需按照正常的部署程序进行：在 Kubernetes 集群上安装 Dapr

在 Kubernetes Job 中运行 Dapr

Mon, 01 Jan 0001 00:00:00 +0000

Dapr sidecar 被设计为一个长期运行的进程。在 Kubernetes Job 的环境中，这种行为可能会阻碍作业的完成。

为了解决这个问题，Dapr sidecar 提供了一个 Shutdown 端点，用于关闭 sidecar。

在运行一个基本的 Kubernetes Job 时，你需要调用 sidecar 的 /shutdown 端点，以便优雅地停止 sidecar，并使作业被视为 Completed。

如果作业在没有调用 Shutdown 的情况下完成，作业会处于 NotReady 状态，而 daprd 容器会一直运行下去。

停止 Dapr sidecar 会导致容器中的就绪性和存活性探测失败。

为了防止 Kubernetes 尝试重启你的作业，请将作业的 restartPolicy 设置为 Never。

在调用 shutdown HTTP API 时，请确保使用 POST HTTP 动词。例如：

apiVersion: batch/v1
kind: Job
metadata:
 name: job-with-shutdown
spec:
 template:
 metadata:
 annotations:
 dapr.io/enabled: "true"
 dapr.io/app-id: "with-shutdown"
 spec:
 containers:
 - name: job
 image: alpine
 command: ["/bin/sh", "-c", "apk --no-cache add curl && sleep 20 && curl -X POST localhost:3500/v1.0/shutdown"]
 restartPolicy: Never

你也可以从任何 Dapr SDK 调用 Shutdown。例如，对于 Go SDK：

操作指南：将 Pod 卷挂载到 Dapr sidecar

Mon, 01 Jan 0001 00:00:00 +0000

Dapr sidecar 可以配置为挂载应用程序 Pod 上的任何 Kubernetes 卷。这些卷可以通过 daprd (sidecar) 容器以只读或读写模式访问。如果配置了一个卷进行挂载但在 Pod 中不存在，Dapr 会记录一个警告并忽略该卷。

有关不同类型卷的更多信息，请查看 Kubernetes 文档。

配置

您可以在部署的 YAML 文件中设置以下注解：

注解	描述
`dapr.io/volume-mounts`	用于只读卷挂载
`dapr.io/volume-mounts-rw`	用于读写卷挂载

这些注解是以逗号分隔的 volume-name:path/in/container 对。请确保相应的卷在 Pod 规范中已定义。

在官方容器镜像中，Dapr 以用户 ID (UID) 65532 运行。请确保挂载卷内的文件夹和文件对用户 65532 可读写。

虽然您可以在 Dapr sidecar 容器内的任何文件夹中挂载卷，但为了避免冲突并确保未来的兼容性，建议将所有挂载点放置在以下位置之一或其子文件夹中：

位置	描述
`/mnt`	推荐用于存储 Dapr sidecar 进程可读写的持久数据的卷。
`/tmp`	推荐用于存储临时数据的卷，例如临时磁盘。

示例

基本部署资源示例

在下面的 Deployment 资源示例中：

my-volume1 在 sidecar 容器内以只读模式挂载到 /mnt/sample1
my-volume2 在 sidecar 容器内以只读模式挂载到 /mnt/sample2
my-volume3 在 sidecar 容器内以读写模式挂载到 /tmp/sample3

apiVersion: apps/v1
kind: Deployment
metadata:
 name: myapp
 namespace: default
 labels:
 app: myapp
spec:
 replicas: 1
 selector:
 matchLabels:
 app: myapp
 template:
 metadata:
 labels:
 app: myapp
 annotations:
 dapr.io/enabled: "true"
 dapr.io/app-id: "myapp"
 dapr.io/app-port: "8000"
 dapr.io/volume-mounts: "my-volume1:/mnt/sample1,my-volume2:/mnt/sample2"
 dapr.io/volume-mounts-rw: "my-volume3:/tmp/sample3"
 spec:
 volumes:
 - name: my-volume1
 hostPath:
 path: /sample
 - name: my-volume2
 persistentVolumeClaim:
 claimName: pv-sample
 - name: my-volume3
 emptyDir: {}
...

使用本地文件 secret 存储自定义 secret 存储

由于任何类型的 Kubernetes 卷都可以附加到 sidecar，您可以使用本地文件 secret 存储从各种地方读取 secret。例如，如果您有一个运行在 10.201.202.203 的网络文件共享 (NFS) 服务器，secret 存储在 /secrets/stage/secrets.json，您可以将其用作 secret 存储。