如何正确设置-kubelet-证书颁发机构apiserver参数？

Question

我正在使用KubeSpray在AWS上提供一个两个节点集群。默认情况下，不使用--kubelet-certificate-authority参数。不过，我想提出这个问题。

我不知道--kubelet-certificate-authority的正确设置。当我将其设置为/etc/kubernetes/pki/ca.crt时，我会在日志中看到如下消息：

TLS handshake error from 10.245.207.223:59278: remote error: tls: unknown certificate authority

为了创建一个独立的测试环境，我在控制器节点上运行了这个命令，该命令在4667的非标准端口上运行apiserver。我直接从/etc/kubernetes/manifests/kube-apiserver.yaml复制了这些值。您需要调整值以匹配您自己的集群。我有意以交互模式运行容器，以便能够看到日志消息。

sudo docker run \
  --name api-server-playground \
  -it \
  --rm \
  --network host \
  --volume /etc/kubernetes:/etc/kubernetes:ro \
  --volume /etc/pki:/etc/pki:ro \
  --volume /etc/ssl:/etc/ssl/:ro \
  k8s.gcr.io/kube-apiserver:v1.18.9 \
  kube-apiserver \
    --advertise-address=10.245.207.223 \
    --allow-privileged=true \
    --anonymous-auth=True \
    --apiserver-count=1 \
    --authorization-mode=Node,RBAC \
    --bind-address=0.0.0.0 \
    --client-ca-file=/etc/kubernetes/ssl/ca.crt \
    --cloud-config=/etc/kubernetes/cloud_config \
    --cloud-provider=aws \
    --enable-admission-plugins=NodeRestriction \
    --enable-aggregator-routing=False \
    --enable-bootstrap-token-auth=true \
    --endpoint-reconciler-type=lease \
    --etcd-cafile=/etc/ssl/etcd/ssl/ca.pem \
    --etcd-certfile=/etc/ssl/etcd/ssl/node-ip-10-245-207-223.ec2.internal.pem \
    --etcd-keyfile=/etc/ssl/etcd/ssl/node-ip-10-245-207-223.ec2.internal-key.pem \
    --etcd-servers=https://10.245.207.119:2379 \
    --event-ttl=1h0m0s \
    --insecure-port=0 \
    --kubelet-client-certificate=/etc/kubernetes/ssl/apiserver-kubelet-client.crt \
    --kubelet-client-key=/etc/kubernetes/ssl/apiserver-kubelet-client.key \
    --kubelet-preferred-address-types=InternalDNS,InternalIP,Hostname,ExternalDNS,ExternalIP \
    --profiling=False \
    --proxy-client-cert-file=/etc/kubernetes/ssl/front-proxy-client.crt \
    --proxy-client-key-file=/etc/kubernetes/ssl/front-proxy-client.key \
    --request-timeout=1m0s \
    --requestheader-allowed-names=front-proxy-client \
    --requestheader-client-ca-file=/etc/kubernetes/ssl/front-proxy-ca.crt \
    --requestheader-extra-headers-prefix=X-Remote-Extra- \
    --requestheader-group-headers=X-Remote-Group \
    --requestheader-username-headers=X-Remote-User \
    --secure-port=6447 \
    --service-account-key-file=/etc/kubernetes/ssl/sa.pub \
    --service-cluster-ip-range=10.233.0.0/18 \
    --service-node-port-range=30000-32767 \
    --storage-backend=etcd3 \
    --tls-cert-file=/etc/kubernetes/ssl/apiserver.crt \
    --tls-private-key-file=/etc/kubernetes/ssl/apiserver.key

现在，可以再次将SSH放入控制器，并使用curl与自定义apiserver容器进行交互。

• 将APISERVER变量设置为指向控制器节点。我正在使用上面的advertise-address参数的值。

APISERVER=https://10.245.207.223:6447

• 拿个记号来。

TOKEN=$(kubectl get secrets -o jsonpath="{.items[?(@.metadata.annotations['kubernetes\.io/service-account\.name']=='default')].data.token}"|base64 --decode); echo "TOKEN=$TOKEN"

• 发出api请求。此请求将失败，因为“对等证书颁发机构未被识别”。

curl --header "Authorization: Bearer $TOKEN" -X GET $APISERVER/api

一条错误消息将出现在码头日志中。它看起来是这样的：

I0921 14:39:07.662368       1 log.go:172] http: TLS handshake error 
from 10.245.207.223:59278: remote error: tls: unknown certificate authority

• 现在使用-k curl参数绕过识别问题。

curl -k --header "Authorization: Bearer $TOKEN" -X GET $APISERVER/api
{
  "kind": "APIVersions",
  "versions": [
    "v1"
  ],
  "serverAddressByClientCIDRs": [
    {
      "clientCIDR": "0.0.0.0/0",
      "serverAddress": "10.245.207.223:6447"
    }
  ]
}

您将看到请求正常工作。但是，我不想使用-k参数。所以我试着使用apiserver的证书授权。

• 从apiserver获得证书颁发机构。

echo | \
    openssl s_client -connect $APISERVER 2>/dev/null | \
    openssl x509 -text | \
    sed -n "/BEGIN CERTIFICATE/,/END CERTIFICATE/p" \
    > apiserver.ca.crt

• 使用api请求的证书颁发机构文件。

curl --cacert apiserver.ca.crt --header "Authorization: Bearer $TOKEN" -X GET $APISERVER/api

更新

根据Wiktor的响应提示的想法，我添加了/etc/kubernetes/ssl/ca.crt作为证书颁发机构。并在我的curl命令中使用了该文件。

curl --cacert /etc/kubernetes/ssl/ca.crt --header "Authorization: Bearer $TOKEN" -X GET $APISERVER/api

这个成功了。

Answer 1

为了使--kubelet-certificate-authority标志正常工作，首先需要确保启用了Kubelet认证和Kubelet授权。在此之后，您可以跟踪Kubernetes文档并设置apiserver与kubelet之间的TLS连接。最后，您可以在主节点上编辑API服务器pod规范文件/etc/kubernetes/manifests/kube-apiserver.yaml，并将--kubelet-certificate-authority参数设置为证书颁发机构的cert文件路径。

因此，总结一下要做的步骤是：

1. Kubelet认证

• 使用--anonymous-auth=false标志启动kubelet
• 使用--client-ca-file标志启动kubelet，提供一个CA包来使用
• 使用--kubelet-client-certificate和--kubelet-client-key标志启动apiserver
• 确保API服务器中启用了authentication.k8s.io/v1beta1 API组。
• 使用--authentication-token-webhook和--kubeconfig flags启动kubelet
• kubelet在配置的API服务器上调用TokenReview API以确定来自承载令牌的用户信息。

1. Kubelet授权

• 确保API服务器中启用了authorization.k8s.io/v1beta1 API组。
• 使用--authorization-mode=Webhook和--kubeconfig标志启动kubelet
• kubelet在配置的API服务器上调用SubjectAccessReview API以确定每个请求是否被授权。

1. 使用--kubelet-certificate-authority标志为apiserver提供一个根证书包，用于验证kubelet的服务证书。

更多细节可以在链接文档中找到。