NetScaler Ingress Controllerとcert-managerを使用して、Kubernetes上にHTTPSウェブアプリケーションをLet`s Encryptでデプロイする

• HTTP-01チャレンジ：HTTP-01チャレンジは、ウェブサイト上の指定された場所に指定されたファイルを投稿することで完了します。Let's Encrypt CAは、HTTP URIに対してHTTPリクエストを行うことでファイルを検証し、チャレンジを達成します。
• DNS-01チャレンジ：DNS-01チャレンジは、DNS TXTレコードに存在する計算されたキーを提供することで完了します。このTXTレコードがインターネット全体に伝播されると、ACMEサーバーはDNSルックアップを介してこのキーを正常に取得できます。ACMEサーバーは、クライアントが要求された証明書のドメインを所有していることを検証できます。適切な権限があれば、cert-managerは指定されたDNSプロバイダーに対してこのTXTレコードを自動的に提示します。

• ネットスケーラー イングレス コントローラー
• JetStackのcert-managerを使用して、Let's Encrypt projectからTLS証明書をプロビジョニングします。

前提条件

• 証明書が要求されるドメインが公開アクセス可能であること。
• KubernetesクラスターでRBACが有効になっていること。
• Tier 1またはTier 2デプロイメントモデルでNetScaler MPX、VPX、またはCPXがデプロイされていること。
  Tier 1デプロイメントモデルでは、NetScaler MPXまたはVPXがアプリケーションデリバリーコントローラー (ADC) として使用されます。Kubernetesクラスターで実行されているNetScaler Ingress Controllerは、Kubernetesクラスターで実行されているサービス用の仮想サービスを構成します。NetScalerは、公開ルーティング可能なIPアドレスで仮想サービスを実行し、Let's Encryptによって生成された証明書を使用してクライアントトラフィックのSSLをオフロードします。
  Tier 2デプロイモデルでは、Kubernetesクラスターの外部で実行されているNetScaler（VPX/MPX）上にTCPサービスが構成されます。このサービスは、Kubernetesクラスター内で実行されているNetScaler CPXインスタンスにトラフィックを転送するために作成されます。NetScaler CPXはSSLセッションを終了し、実際のサービスポッドにトラフィックをロードバランスします。
• NetScaler Ingress Controllerをデプロイしました。さまざまなデプロイシナリオについては、こちらをクリックしてください。
• Let's Encrypt CAがHTTP01チャレンジのドメインを検証するために、ファイアウォールで仮想IPアドレスのポート80を開放しました。
• ACME DNS01チャレンジのためにWebアプリケーションをホストする、お客様が管理するDNSドメイン。
• すべてのデプロイ手順に対する管理者権限。権限が原因で障害が発生した場合は、管理者権限があることを確認してください。

cert-managerをインストールする

サンプルWebアプリケーションをデプロイする

1. 次の構成でKuardのデプロイYAMLファイル（kuard-deployment.yaml）を作成します。
   
        apiVersion: apps/v1
        kind: Deployment
        metadata:
          labels:
            app: kuard
          name: kuard
        spec:
          replicas: 1
          selector:
            matchLabels:
              app: kuard
          template:
            metadata:
              labels:
                app: kuard
            spec:
              containers:
              - image: gcr.io/kuar-demo/kuard-amd64:1
                imagePullPolicy: Always
                name: kuard
                ports:
                - containerPort: 8080
                  protocol: TCP
2. 次のコマンドを使用して、Kuardデプロイファイル（kuard-deployment.yaml）をクラスターにデプロイします。
   % kubectl create -f kuard-deployment.yaml
   deployment.extensions/kuard created
   % kubectl get pod -l app=kuard
   NAME                     READY   STATUS    RESTARTS   AGE

kuard-6fc4d89bfb-djljt   1/1     Running   0          24s
3. デプロイメントのサービスを作成します。次の構成でservice.yamlというファイルを作成します。
   apiVersion: v1
kind: Service
metadata:
  name: kuard
spec:
  ports:
  - port: 80
    targetPort: 8080
    protocol: TCP
  selector:
    app: kuard
4. 次のコマンドを使用してサービスをデプロイし、検証します。
   % kubectl create -f service.yaml

service/kuard created
% kubectl get svc kuard
NAME    TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE
kuard   ClusterIP   10.103.49.171   <none>        80/TCP    13s
5. NetScaler CPXまたはVPXにコンテンツスイッチング仮想サーバーとしてデプロイされるIngressを作成して、このサービスを外部に公開します。
   注記：
   NetScaler Ingress Controllerが起動しているIngressクラスに、ingressClassName: citrixの値を変更してください。
   apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
  name: kuard
spec:
  ingressClassName: citrix®
  rules:
  - host: kuard.example.com
    http:
      paths:
      - backend:
          service:
            name: kuard
            port:
              number: 80
        path: /
        pathType: Prefix

1. 次のコマンドを使用してIngressをデプロイします。
   % kubectl apply -f ingress.yml
ingress.extensions/kuard created

root@ubuntu-:~/cert-manager# kubectl get ingress
NAME    HOSTS               ADDRESS   PORTS   AGE
kuard   kuard.example.com             80      7s
2. 次のコマンドを使用して、IngressがNetScaler CPXまたはVPXで構成されていることを確認します。
   $ kubectl exec -it cpx-ingress-5b85d7c69d-ngd72 /bin/bash

root@cpx-ingress-55c88788fd-qd4rg:/# cli_script.sh 'show cs vserver'
exec: show cs vserver
1)  k8s-192.168.8.178_80_http (192.168.8.178:80) - HTTP Type: CONTENT
  State: UP
  Last state change was at Sat Jan  4 13:36:14 2020
  Time since last state change: 0 days, 00:18:01.950
  Client Idle Timeout: 180 sec
  Down state flush: ENABLED
  Disable Primary Vserver On Down : DISABLED
  Comment: uid=MPPL57E3AFY6NMNDGDKN2VT57HEZVOV53Z7DWKH44X2SGLIH4ZWQ====
  Appflow® logging: ENABLED
  Port Rewrite : DISABLED
  State Update: DISABLED
  Default:  Content Precedence: RULE
  Vserver IP and Port insertion: OFF
  L2Conn: OFF Case Sensitivity: ON
  Authentication: OFF
  401 Based Authentication: OFF
  Push: DISABLED  Push VServer:
  Push Label Rule: none
  Persistence: NONE
  Listen Policy: NONE
  IcmpResponse: PASSIVE
  RHIstate:  PASSIVE
  Traffic Domain: 0
Done

root@cpx-ingress-55c88788fd-qd4rg/# exit
exit
3. curlコマンドを使用して要求されたときに、ウェブページが正しく提供されていることを確認します。
   % curl -sS -D - kuard.example.com -o /dev/null
HTTP/1.1 200 OK
Content-Length: 1458
Content-Type: text/html
Date: Thu, 21 Feb 2019 09:09:05 GMT

HTTPチャレンジを使用したACME証明書の発行を構成する

DNSチャレンジを使用してACME証明書を発行する

NetScaler で証明書を検証する

1. 次のコマンドを使用してシークレットが作成されたことを確認します。
   % kubectl get secret kuard-example-tls

NAME                TYPE                DATA   AGE
kuard-example-tls   kubernetes.io/tls   3      30m
   NetScaler Ingress Controller はシークレットを取得し、証明書を NetScaler CPX のコンテンツスイッチング仮想サーバーにバインドします。中間 CA 証明書がある場合、それは自動的にサーバー証明書にリンクされ、SSL ネゴシエーション中にクライアントに提示されます。
2. NetScaler CPX にログオンし、証明書が SSL 仮想サーバーにバインドされていることを確認します。
   % kubectl exec -it cpx-ingress-55c88788fd-n2x9r bash -c cpx-ingress
Defaulting container name to cpx-ingress.
Use 'kubectl describe pod/cpx-ingress-55c88788fd-n2x9r -n default' to see all of the containers in this pod.

% cli_script.sh 'sh ssl vs k8s-192.168.8.178_443_ssl'
exec: sh ssl vs k8s-192.168.8.178_443_ssl

  Advanced SSL configuration for VServer k8s-192.168.8.178_443_ssl:
  DH: DISABLED
  DH Private-Key Exponent Size Limit: DISABLED Ephemeral RSA: ENABLED  Refresh Count: 0
  Session Reuse: ENABLED  Timeout: 120 seconds
  Cipher Redirect: DISABLED
  ClearText Port: 0
  Client Auth: DISABLED
  SSL Redirect: DISABLED
  Non FIPS Ciphers: DISABLED
  SNI: ENABLED
  OCSP Stapling: DISABLED
  HSTS: DISABLED
  HSTS IncludeSubDomains: NO
  HSTS Max-Age: 0
  HSTS Preload: NO
  SSLv3: ENABLED  TLSv1.0: ENABLED  TLSv1.1: ENABLED  TLSv1.2: ENABLED  TLSv1.3: DISABLED
  Push Encryption Trigger: Always
  Send Close-Notify: YES
  Strict Sig-Digest Check: DISABLED
  Zero RTT Early Data: DISABLED
  DHE Key Exchange With PSK: NO
  Tickets Per Authentication Context: 1
, P_256, P_384, P_224, P_5216) CertKey Name: k8s-GVWNYGVZKKRHKF7MZVTLOAEZYBS Server Certificate for SNI

7) Cipher Name: DEFAULT
  Description: Default cipher list with encryption strength >= 128bit
Done

% cli_script.sh 'sh certkey'
1) Name: k8s-GVWNYGVZKKRHKF7MZVTLOAEZYBS
  Cert Path: k8s-GVWNYGVZKKRHKF7MZVTLOAEZYBS.crt
  Key Path: k8s-GVWNYGVZKKRHKF7MZVTLOAEZYBS.key
  Format: PEM
  Status: Valid,   Days to expiration:89
  Certificate Expiry Monitor: ENABLED
  Expiry Notification period: 30 days
  Certificate Type: "Client Certificate" "Server Certificate"
  Version: 3
  Serial Number: 03B2B57EA9E61A93F1D05EA3272FA95203C2
  Signature Algorithm: sha256WithRSAEncryption
  Issuer:  C=US,O=Let's Encrypt,CN=Let's Encrypt Authority X3
  Validity
    Not Before: Jan  5 13:34:23 2020 GMT
    Not After : Apr  4 13:34:23 2020 GMT
  Subject:  CN=acme.cloudpst.net
  Public Key Algorithm: rsaEncryption
  Public Key size: 2048
  Ocsp Response Status: NONE
2) Name: k8s-GVWNYGVZKKRHKF7MZVTLOAEZYBS_ic1
  Cert Path: k8s-GVWNYGVZKKRHKF7MZVTLOAEZYBS.crt_ic1
  Format: PEM
  Status: Valid,   Days to expiration:437
  Certificate Expiry Monitor: ENABLED
  Expiry Notification period: 30 days
  Certificate Type: "Intermediate CA"
  Version: 3
  Serial Number: 0A0141420000015385736A0B85ECA708
  Signature Algorithm: sha256WithRSAEncryption
  Issuer:  O=Digital Signature Trust Co.,CN=DST Root CA X3
  Validity
    Not Before: Mar 17 16:40:46 2016 GMT
    Not After : Mar 17 16:40:46 2021 GMT
  Subject:  C=US,O=Let's Encrypt,CN=Let's Encrypt Authority X3
  Public Key Algorithm: rsaEncryption
  Public Key size: 2048
  Ocsp Response Status: NONE
Done

本番環境に移行する

トラブルシューティング