1. Kubernetes Pod调度机制概述在Kubernetes集群中Pod是最小的可部署单元。当用户创建一个Pod时系统需要决定将这个Pod分配到哪个节点上运行这个过程就是Pod调度。调度器kube-scheduler是Kubernetes的核心组件之一负责为新创建的Pod寻找最合适的节点。Pod调度不是简单的随机分配而是一个复杂的决策过程。调度器需要考虑多种因素包括但不限于节点的资源可用性CPU、内存等Pod的资源请求和限制节点选择器nodeSelector和节点亲和性nodeAffinityPod间的亲和性和反亲和性规则污点Taints和容忍度Tolerations自定义调度策略2. 调度器工作原理详解2.1 调度流程分解Kubernetes调度器的工作流程可以分为以下几个关键步骤过滤阶段Filtering也称为预选阶段。调度器会评估所有节点排除不满足Pod要求的节点。例如节点资源不足节点标签不匹配nodeSelector节点有不可容忍的污点节点不满足Pod的硬件/软件要求评分阶段Scoring也称为优选阶段。调度器对通过过滤的节点进行评分考虑因素包括资源平衡避免节点过载或闲置亲和性规则匹配程度数据本地性如使用本地SSD的Pod用户自定义的优先级绑定阶段Binding选择得分最高的节点将Pod绑定到该节点。2.2 调度器核心算法Kubernetes调度器使用以下主要算法LeastRequestedPriority优先选择资源利用率低的节点BalancedResourceAllocation考虑CPU和内存的平衡使用NodeAffinityPriority实现节点亲和性规则InterPodAffinityPriority实现Pod间亲和性/反亲和性TaintTolerationPriority处理污点和容忍度3. 高级调度策略实践3.1 节点选择与亲和性**节点选择器nodeSelector**是最简单的节点选择方式apiVersion: v1 kind: Pod metadata: name: nginx spec: containers: - name: nginx image: nginx nodeSelector: disktype: ssd**节点亲和性nodeAffinity**提供了更丰富的表达方式affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/arch operator: In values: - amd64 preferredDuringSchedulingIgnoredDuringExecution: - weight: 1 preference: matchExpressions: - key: disktype operator: In values: - ssd3.2 Pod间亲和性与反亲和性Pod亲和性规则可以确保相关Pod部署在同一节点、机架或可用区affinity: podAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchExpressions: - key: app operator: In values: - store topologyKey: kubernetes.io/hostname反亲和性则用于避免Pod共处同一拓扑域affinity: podAntiAffinity: preferredDuringSchedulingIgnoredDuringExecution: - weight: 100 podAffinityTerm: labelSelector: matchExpressions: - key: app operator: In values: - web-server topologyKey: kubernetes.io/hostname3.3 污点与容忍度污点Taint允许节点排斥某些Pod除非Pod有对应的容忍度Toleration# 给节点添加污点 kubectl taint nodes node1 keyvalue:NoSchedulePod配置容忍度tolerations: - key: key operator: Equal value: value effect: NoSchedule4. 调度性能优化实战4.1 大规模集群调度优化对于超过1000个节点的大规模集群需要考虑以下优化调度器调参增加percentageOfNodesToScore默认50%调整kube-scheduler的--parallelism参数使用多个调度器为不同类型的Pod配置专用调度器通过schedulerName字段指定调度框架扩展实现自定义的插件Plugin调整插件评分权重4.2 常见问题排查问题1Pod一直处于Pending状态检查节点资源是否充足kubectl describe node检查事件日志kubectl describe pod pod-name验证节点选择器和亲和性规则问题2调度延迟高监控调度器性能指标scheduler_scheduling_algorithm_duration_secondsscheduler_pending_pods考虑水平扩展调度器问题3调度结果不符合预期检查优先级类PriorityClass配置验证自定义调度策略检查污点和容忍度配置5. 自定义调度开发5.1 调度器扩展模式Kubernetes提供了多种扩展调度器的方式调度器扩展Extender通过webhook方式扩展调度逻辑可以添加自定义的过滤和评分逻辑调度框架Scheduling Framework更灵活的插件体系可以干预调度的各个阶段完全自定义调度器实现独立的调度程序通过schedulerName字段指定5.2 开发自定义调度插件示例插件开发步骤实现插件接口type Plugin interface { Name() string } type FilterPlugin interface { Plugin Filter(ctx context.Context, state *CycleState, pod *v1.Pod, nodeInfo *NodeInfo) *Status }注册插件func New(config *runtime.Unknown, f FrameworkHandle) (FrameworkPlugin, error) { return CustomPlugin{handle: f}, nil }配置调度器使用插件apiVersion: kubescheduler.config.k8s.io/v1beta1 kind: KubeSchedulerConfiguration profiles: - schedulerName: default-scheduler plugins: filter: enabled: - name: CustomPlugin6. 最佳实践与经验分享6.1 生产环境配置建议资源请求与限制始终设置合理的requests和limits避免资源饥饿和资源浪费亲和性规则设计不要过度使用required规则优先使用preferred规则增加灵活性多可用区部署使用Pod反亲和性确保高可用考虑topologySpreadConstraints6.2 性能调优技巧调度器性能指标监控scheduler_pending_podsscheduler_scheduling_attempts优化方向减少不必要的亲和性规则复杂度适当增加percentageOfNodesToScore考虑节点分区调度批量创建Pod优化使用Controller管理Pod创建考虑Pod拓扑分布约束6.3 常见陷阱与规避节点选择器过度匹配可能导致没有合适节点解决方案使用更灵活的亲和性规则Pod亲和性死锁相互依赖的Pod无法调度解决方案设置适当的超时和重试策略资源碎片问题小资源请求导致节点利用率低解决方案使用bin packing策略