使用 Kind 部署 Prow 手记

Prow 是 Kubernetes 使用的云原生 CI/CD 系统（https://github.com/kubernetes/test-infra/tree/master/prow），用于管理 Kubernetes 的 Issue 和 PullRequest 以支持开源协同。Prow 通过 GitHub 事件触发 job，通过处理事件状态实现自动化的 ChatOps。

实验环境：
Linux VM-16-11-debian 4.19.0-6-amd64 #1 SMP Debian 4.19.67-2+deb10u2 (2019-11-11) x86_64 GNU/Linux Docker Version 20.10.1

Install kubectl

# 下载 kubectl
curl -LO "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl"
# 下载 kubectl.sha256
curl -LO "https://dl.k8s.io/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl.sha256"
# 校验
echo "$(<kubectl.sha256) kubectl" | sha256sum --check
# sudo 安装
sudo install -o root -g root -m 0755 kubectl /usr/local/bin/kubectl

或者用户安装

mkdir -p ~/.local/bin/kubectl
mv ./kubectl ~/.local/bin/kubectl
# and then add ~/.local/bin/kubectl to $PATH

参考文档 https://kubernetes.io/docs/tasks/tools/install-kubectl/

Install Kind

curl -Lo ./kind https://kind.sigs.k8s.io/dl/v0.10.0/kind-linux-amd64
chmod +x ./kind
mv ./kind /usr/local/bin/kind

参考文档 https://kind.sigs.k8s.io/docs/user/quick-start/#advanced

创建集群

kind create cluster

这将使用一个预编译好的节点镜像快速启动一个 Kubernetes 集群，默认集群名称为 kind ，可以使用 —name 参数指定自定义名称。

参考文档 https://kind.sigs.k8s.io/docs/user/quick-start/#installation

自定义创建集群参数

创建集群时候，可通过 —config 参数指定配置文件，示例配置见 kind-example-config。

kind create cluster --config example.yaml

可通过指定节点角色的数量配比，实现不同需求。如下面示例配置则会创建一个双 master + 三worker 节点的高可用集群　

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
- role: control-plane
- role: worker
- role: worker
- role: worker

部署 Prow

创建 prow namespace

kubectl create ns prow

GitHub 创建机器人用令牌

调试的时候可以直接用自己的 GitHub 帐号创建Token 使用，在正式使用的时候，为区分操作人，建议使用单独的机器人Github 帐号。

Token 需要有 repo:status 和 public_repo 权限
项目仓库需将机器人帐号加入合作者中
私有仓库则必须要有 repo 全部权限
如果是 GitHub 组织接入，则额外需要勾选 admin:org_hook

创建 GitHub Token 对应的 secret

echo "my-github-token" > ./github-token
kubectl create secret -n prow generic github-token --from-file=./github-token

创建一个用于 Github WebHook 认证的 hmac 令牌，并创建 kubernetes secret

openssl rand -hex 20 > ./secret
kubectl create secret -n prow generic hmac-token --from-file=hmac=./secret

创建集群 Role Binding

kubectl create clusterrolebinding cluster-admin-binding-"${USER}" \
  --clusterrole=cluster-admin --user="${USER}"

应用 yaml 配置部署

下载 https://github.com/kubernetes/test-infra/blob/master/config/prow/cluster/starter-s3.yaml 配置，修改

替换 Github token：<<insert-token-here>>
替换生成的 hmac token： << insert-hmac-token-here >>
替换域名： << your-domain.com >>
如果有使用证书管理器，则需更新 cert-manager.io/cluster-issuer:
替换目标组织/项目： << your_github_org >>（如 wayjam/test-repo 或 an-org/test-repo）

tide:
      queries:
      - labels:
        - lgtm
        - approved
        missingLabels:
        - needs-rebase
        - do-not-merge/hold
        - do-not-merge/work-in-progress
        - do-not-merge/invalid-owners-file
        orgs:
        - << your_github_org >>
				repos:
				- wayjam/prow-test

应用了配置之后，发现部分 pods 启动失败（CrashLoopBackOff）

{"component":"prow-controller-manager","error":"tide query (index 0) is invalid: 'orgs' and 'repos' cannot both be empty","file":"prow/cmd/prow-controller-manager/main.go:123","func":"main.main","level":"fatal","msg":"Error starting config agent.","severity":"fatal","time":"2021-02-24T14:20:54Z"}

发现是有部份目标没有完全替换，重新修改配置，应用则全部 pods 可以正常启动。

配置外网访问

所有 pod 运行成功之后，上面的 starter.yaml 只包含了 ingress，但是没有包含 ingress controller，这里选择官方的 nginx ingress 作为流量入口，由于是测试，则不额外添加 LB。

kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/provider/kind/deploy.yaml

但是应用后发现 nginx pod 一直 pending，排查日志发现是由于我初始化的 kind 集群只有一个master 节点，不满足上面 yaml 配置的调度规则

Warning  FailedScheduling  76s (x5 over 100s)  default-scheduler  0/1 nodes are available: 1 node(s) didn't match Pod's node affinity

先把 Deployment 中的 tolerations 去掉，然后给 master 节点打上所需标签：

kubectl label node kind-control-plane ingress-ready=true

最好就是在集群初始化的时候按照 https://kind.sigs.k8s.io/docs/user/ingress/ 文档指引预先配置好集群，集群创建之后则不能再更改配置

除了节点标签之外，集群的端口还需对外暴露以提供服务，初始化集群的时候需按上面文档使用 extraPortMappings 参数指定转发的端口。

如果集群已经创建并已经部署好了服务，也像我一样不想重新创建集群，也可通过下面方法做快速端口转发。当然自行通过 Nginx 容器 link 到 kind 网络的 kind-control-plane 容器即可（ nodeport 监听所在）。

root@VM-debian:~/$ kubectl -n ingress-nginx describe service ingress-nginx-controller
Name:                     ingress-nginx-controller
Namespace:                ingress-nginx
Labels:                   app.kubernetes.io/component=controller
                          app.kubernetes.io/instance=ingress-nginx
                          app.kubernetes.io/name=ingress-nginx
Annotations:              <none>
Selector:                 app.kubernetes.io/component=controller,app.kubernetes.io/instance=ingress-nginx,app.kubernetes.io/name=ingress-nginx
Type:                     NodePort
IP Families:              <none>
IP:                       10.96.250.65
IPs:                      10.96.250.65
Port:                     http  80/TCP
TargetPort:               http/TCP
NodePort:                 http  32291/TCP
Endpoints:                10.244.0.107:80
Port:                     https  443/TCP
TargetPort:               https/TCP
NodePort:                 https  32191/TCP
Endpoints:                10.244.0.107:443
Session Affinity:         None
External Traffic Policy:  Cluster
Events:                   <none>

# 将 ingress-nginx 服务的 NodePort 32291 端口映射到本地 80 端口
$ docker run -itd --name ingress --network kind -p 80:80 --link kind-control-plane zhangsean/nginx-port-proxy kind-control-plane:32291
# 将 ingress-nginx 服务的 NodePort 32191 端口映射到本地 443 端口
$ docker run -itd --name ingress-https --network kind -p 443:80 --link kind-control-plane zhangsean/nginx-port-proxy kind-control-plane:32191

配置 WebHook

首先测试公网请求是否能通：

http POST https://prow.lockthedoor.ltd/hook --verify no

到 GitHub 项目设置添加 WebHook

Payload URL: 填入公网地址，如 https://prow.lockthedoor.ltd/hook
Content Type: application/json
Secrets: 刚才随机生成的 HMAC
Which events would you like to trigger this webhook: Send me everything
SSL verification: 如果没有使用可信证书，则选择 Disable

配置webhook

新建一个 issue（如 https://github.com/wayjam/prow-test/issues/1），在评论框输入 /meow 机器人收到时间则会发送一个猫咪评论。

WAYJAM

使用 Kind 部署 Prow 手记

Install kubectl

Install Kind

创建集群

自定义创建集群参数

部署 Prow

GitHub 创建机器人用令牌

创建集群 Role Binding

应用 yaml 配置部署

配置外网访问

配置 WebHook

Table of Contents

Install kubectl

Install Kind

创建集群

自定义创建集群参数

部署 Prow

GitHub 创建机器人用令牌

创建集群 Role Binding

应用 yaml 配置部署

配置外网访问

配置 WebHook

Table of Contents

Share With