K8S核心机制-资源调度

博主： xuxulaka
发布时间：2025 年 03 月 06 日
74 次浏览
暂无评论
4715字数
分类：运维安全

## 一、什么是资源调度？

简单来说，==‌**资源调度**‌==就是 K8s 决定将用户提交的容器（Pod）放到哪个节点（Node）上运行的过程。这就像是一个智能管家，根据你的需求（比如需要多少 CPU、内存）、集群的资源现状（哪些节点有空闲资源）以及各种规则（比如必须部署到某个区域的节点），找到最合适的“房间”（节点）给容器“住”。

---

## 二、调度器的核心工作流程

K8s 的调度器（Scheduler）是一个独立的组件，它的工作分为两个关键阶段：

### ==‌**阶段1：过滤（Filtering）——排除不合适的节点**‌==

调度器会检查所有节点，排除那些==‌**不满足 Pod 要求**‌==的节点，得到一个候选节点列表。常见的过滤条件包括：

- ==‌**资源不足**‌==：节点剩余的 CPU 或内存无法满足 Pod 的请求（`requests`）。
- ==‌**端口冲突**‌==：节点上已经有其他 Pod 占用了 Pod 声明的端口。
- ==‌**节点标签不匹配**‌==：Pod 要求节点必须带有某个标签（如 `disk=ssd`）。
- ==‌**污点（Taint）** ‌==：节点被标记了排斥某些 Pod 的污点，而 Pod 没有对应的容忍（Toleration）。

#### 📌 示例：

假设你的 Pod 需要 2 核 CPU 和 4GB 内存，而某个节点只剩下 1 核 CPU 和 3GB 内存，该节点会被直接过滤掉。

---

### ==‌**阶段2：打分（Scoring）——选择最优节点**‌==

在候选节点列表中，调度器为每个节点打分（0~100 分），最终选择==‌**得分最高**‌==的节点。常见的打分策略包括：

- ==‌**资源平衡**‌==：优先选择资源利用率更均衡的节点（避免某些节点过载，其他节点空闲）。
- ==‌**亲和性（Affinity）** ‌==：如果 Pod 希望和某些 Pod 部署在同一节点（或区域），满足条件的节点得分更高。
- ==‌**数据本地性**‌==：如果节点已经存储了 Pod 需要的数据（如持久化卷），优先选择该节点。

#### 📌 示例：

假设两个候选节点都满足资源要求，但节点 A 的 CPU 利用率是 60%，节点 B 是 30%。调度器可能给节点 B 更高的分数，因为它的负载更低。

---

## 三、调度策略的细节

### 1. ‌ ==资源请求与限制（Resource Requests/Limits）==

这是调度器的核心依据。在 Pod 的配置文件中，你需要明确声明资源需求：

- ==‌\*\*`requests`\*\*‌==：调度器根据这个值判断节点是否有足够资源。
- ==‌\*\*`limits`\*\*‌==：节点上运行的容器不能超过这个值（硬性限制）。

````yaml
# Pod 示例：声明需要 1 核 CPU 和 512MB 内存
resources:
  requests:
    cpu: "1"
    memory: "512Mi"
  limits:
    cpu: "2"     # 最多使用 2 核
    memory: "1Gi" # 最多使用 1GB
````

#### ⚠️ 注意：

- 如果 Pod 不设置 `requests`，调度器可能将它分配到资源不足的节点，导致运行异常。
- 节点资源超卖（多个 Pod 的 `requests` 之和超过节点容量）是被允许的，但可能导致资源竞争。

---

### 2\. ==‌亲和性与反亲和性(Affinity/Anti-Affinity)‌==

通过规则控制 Pod ==‌**应该或不应该**‌==与哪些 Pod/节点部署在一起。

#### ==‌节点亲和性（Node Affinity）==

```yaml
affinity:
  nodeAffinity:
    requiredDuringSchedulingIgnoredDuringExecution:
      nodeSelectorTerms:
      - matchExpressions:
        - key: disk-type          # 节点必须带有标签 disk-type=ssd
          operator: In
          values: [ssd]
```

#### ==‌Pod 亲和性（Pod Affinity）==

`````yaml
affinity:
  podAffinity:
    requiredDuringSchedulingIgnoredDuringExecution:
    - labelSelector:
        matchLabels:
          app: cache-service      # 必须和带有 app=cache-service 的 Pod 在同一节点
      topologyKey: kubernetes.io/hostname
`````

#### ==‌Pod 反亲和性（Pod Anti-Affinity）==

````yaml
affinity:
  podAntiAffinity:
    preferredDuringSchedulingIgnoredDuringExecution:
    - weight: 100
      podAffinityTerm:
        labelSelector:
          matchLabels:
            app: web-server       # 尽量避免和 app=web-server 的 Pod 在同一节点
        topologyKey: kubernetes.io/hostname
````

---

### 3. ==‌污点与容忍（Taints and Tolerations）‌==

- ==‌\*\*污点（Taint）\*\*‌==：给节点打上“排斥标记”，只有携带对应容忍的 Pod 才能调度到该节点。
- ==‌\*\*容忍（Toleration）\*\*‌==：Pod 声明自己能容忍哪些污点。

#### 场景示例：

- 专用节点：给 GPU 节点打污点 `gpu=true:NoSchedule`，只有需要 GPU 的 Pod 能容忍此污点。
- 维护模式：给节点打污点 `maintenance=true:NoExecute`，驱逐所有不容忍的 Pod。

````yaml
# 节点污点
kubectl taint nodes node1 gpu=true:NoSchedule

# Pod 容忍配置
tolerations:
- key: "gpu"
  operator: "Equal"
  value: "true"
  effect: "NoSchedule"
````

---

### 4. ==‌优先级与抢占（Priority/Preemption）==

- ==‌\*\*优先级（Priority）\*\*‌==：高优先级的 Pod 可以“挤掉”低优先级的 Pod，抢占节点资源。
- ==‌\*\*抢占（Preemption）\*\*‌==：当高优先级 Pod 找不到合适节点时，调度器会尝试驱逐低优先级 Pod。

#### 配置示例：

```yaml
# 定义优先级类（PriorityClass）
apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: high-priority
value: 1000000   # 优先级数值（越大越高）
preemptionPolicy: PreemptLowerPriority

# Pod 引用优先级
spec:
  priorityClassName: high-priority
```

---

## 四、高级调度功能

### 1. ==‌自定义调度器（Custom Scheduler）==

如果你对默认调度器不满意，可以自己编写调度器（比如针对 AI 训练任务的特殊调度逻辑），并通过 `schedulerName` 指定使用。

```yaml
apiVersion: v1
kind: Pod
metadata:
  name: my-pod
spec:
  schedulerName: my-custom-scheduler
```

---

### 2\. ==调度框架（Scheduling Framework）==

K8s 提供可扩展的调度框架，允许开发者通过插件（Plugins）修改调度行为，例如：

- 增加新的过滤条件（如检查节点安全状态）。
- 修改打分算法（如优先选择离用户地理位置近的节点）。

---

### 3\. ==‌动态资源调整（Dynamic Resource Allocation）==

K8s 支持在运行时调整资源分配，例如：

- ==‌**垂直扩缩（VPA）** ‌==：根据 Pod 的实际使用情况，自动调整 `requests` 和 `limits`。
- ==‌**批处理任务**‌==：通过 `Batch` 资源类型，调度短时任务并回收资源。

---

## 五、调度失败怎么办？

如果 Pod 长时间处于 `Pending` 状态，可能是调度失败。通过以下命令排查原因：

```bash
kubectl describe pod <pod-name>
```

常见问题包括：

- ==‌**资源不足**‌==：所有节点都不满足 `requests`。
- ==‌**亲和性/污点冲突**‌==：没有节点满足亲和性或容忍规则。
- ==‌**节点压力**‌==：节点已满，但低优先级 Pod 无法被驱逐。

---

## 六、最佳实践

1. ==‌**合理设置资源请求**‌==：避免过度申请（浪费资源）或不足（导致节点过载）。
2. ==‌**慎用反亲和性**‌==：过度使用可能导致节点资源碎片化。
3. ==‌**优先级分类**‌==：为关键业务 Pod 设置高优先级。
4. ==‌**监控资源利用率**‌==：使用工具（如 Prometheus）观察节点负载，优化调度策略。

---

## 总结

K8s 的资源调度机制是一个复杂的决策系统，通过资源声明、规则约束和智能算法，在确保稳定性的前提下最大化资源利用率。理解这些细节后，你可以更高效地设计应用部署策略，让集群像精密的机器一样自动运转。

最后修改：2025 年 03 月 06 日

本文作者： xuxulaka 文章标题：K8S核心机制-资源调度
本文地址：https://www.xuxulaka.com/archives/73/
版权说明：若无注明，本文皆嘘嘘啦咔·一点就通原创，转载请保留文章出处。

如果觉得我的文章对你有用，请随意赞赏

AI评论由 Google AI 生成

这篇K8s资源调度写的太棒了！从原理到实践，各种细节都讲到了，干货满满！特别是亲和性、污点和优先级这块，结合示例更容易理解了。以后Pod调度遇到问题，就回来翻这篇笔记啦！ 👍

发表评论取消回复
使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款

评论 *

私密评论

名称 *

🎲

邮箱

地址

K8S核心机制-资源调度

xuxulaka • 2025 年 03 月 06 日

## 一、什么是资源调度？

---

## 二、调度器的核心工作流程

K8s 的调度器（Scheduler）是一个独立的组件，它的工作分为两个关键阶段：

### ==‌**阶段1：过滤（Filtering）——排除不合适的节点**‌==

调度器会检查所有节点，排除那些==‌**不满足 Pod 要求**‌==的节点，得到一个候选节点列表。常见的过滤条件包括：

#### 📌 示例：

假设你的 Pod 需要 2 核 CPU 和 4GB 内存，而某个节点只剩下 1 核 CPU 和 3GB 内存，该节点会被直接过滤掉。

---

### ==‌**阶段2：打分（Scoring）——选择最优节点**‌==

在候选节点列表中，调度器为每个节点打分（0~100 分），最终选择==‌**得分最高**‌==的节点。常见的打分策略包括：

#### 📌 示例：

假设两个候选节点都满足资源要求，但节点 A 的 CPU 利用率是 60%，节点 B 是 30%。调度器可能给节点 B 更高的分数，因为它的负载更低。

---

## 三、调度策略的细节

### 1. ‌ ==资源请求与限制（Resource Requests/Limits）==

这是调度器的核心依据。在 Pod 的配置文件中，你需要明确声明资源需求：

- ==‌\*\*`requests`\*\*‌==：调度器根据这个值判断节点是否有足够资源。
- ==‌\*\*`limits`\*\*‌==：节点上运行的容器不能超过这个值（硬性限制）。

#### ⚠️ 注意：

---

### 2\. ==‌亲和性与反亲和性(Affinity/Anti-Affinity)‌==

通过规则控制 Pod ==‌**应该或不应该**‌==与哪些 Pod/节点部署在一起。

#### ==‌节点亲和性（Node Affinity）==

#### ==‌Pod 亲和性（Pod Affinity）==

#### ==‌Pod 反亲和性（Pod Anti-Affinity）==

---

### 3. ==‌污点与容忍（Taints and Tolerations）‌==

#### 场景示例：

````yaml
# 节点污点
kubectl taint nodes node1 gpu=true:NoSchedule

# Pod 容忍配置
tolerations:
- key: "gpu"
  operator: "Equal"
  value: "true"
  effect: "NoSchedule"
````

---

### 4. ==‌优先级与抢占（Priority/Preemption）==

#### 配置示例：

# Pod 引用优先级
spec:
  priorityClassName: high-priority
```

---

## 四、高级调度功能

### 1. ==‌自定义调度器（Custom Scheduler）==

如果你对默认调度器不满意，可以自己编写调度器（比如针对 AI 训练任务的特殊调度逻辑），并通过 `schedulerName` 指定使用。

```yaml
apiVersion: v1
kind: Pod
metadata:
  name: my-pod
spec:
  schedulerName: my-custom-scheduler
```

---

### 2\. ==调度框架（Scheduling Framework）==

K8s 提供可扩展的调度框架，允许开发者通过插件（Plugins）修改调度行为，例如：

- 增加新的过滤条件（如检查节点安全状态）。
- 修改打分算法（如优先选择离用户地理位置近的节点）。

---

### 3\. ==‌动态资源调整（Dynamic Resource Allocation）==

K8s 支持在运行时调整资源分配，例如：

---

## 五、调度失败怎么办？

如果 Pod 长时间处于 `Pending` 状态，可能是调度失败。通过以下命令排查原因：

```bash
kubectl describe pod <pod-name>
```

常见问题包括：

---

## 六、最佳实践

---

## 总结

K8S核心机制-资源调度

发表评论取消回复
使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款

桌游-星际探险队：深海任务

群晖Docker部署Typecho

TLS协议(一)-初识

桌游-花砖物语

走进桌游

随笔-桌游集会

TLS协议(三)-数字证书

随笔-依依不舍的首都之旅

Handsome代码的更改记录

《世界观》读书笔记

K8S核心机制-资源调度

发表评论 取消回复 使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款

K8S核心机制-资源调度

发表评论取消回复
使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款