kubernetes部署ingress

https://www.cnblogs.com/dingbin/p/9754993.html

https://www.jianshu.com/p/feeea0bbd73e

https://www.jianshu.com/p/189fab1845c5

暴露一个http服务的方式

service 是 k8s 暴露http服务的默认方式&＃xff0c; 其中 NodePort 类型可以将http 服务暴露在宿主机的端口上&＃xff0c;以便外部可以访问。 service模式的结构如下.

service -> label selector -> pods
31217 -> app1 selector -> app1 1234
31218 -> app2 selector -> app2 3456
31218 -> app2 selector -> app2 4567


模式的优点

结构简单&＃xff0c; 容易理解。

模式缺点

1. 一个app 需要占用一个主机端口
2. 端口缺乏管理
3. L4转发&＃xff0c; 无法根据http header 和 path 进行路由转发

Ingress 模式

在service 之前加了一层ingress&＃xff0c;结构如下

ingress -> service -> label selector -> podswww.app1.com -> app1-service -> app1 selector -> app1 1234
80 -> www.app2.com -> app2-service -> app2 selector -> app2 3456www.app3.com -> app3-service -> app3 selector ->app3 4567


模式的优点

1. 增加了7层的识别能力&＃xff0c;可以根据 http header, path 进行路由转发

模式缺点

1. 复杂度提升

Ingress Controller 注意事项

1. 一个集群中可以有多个 Ingress Controller&＃xff0c; 在Ingress 中可以指定使用哪一个Ingress Controller
2. 多个Ingress 规则可能出现竞争
3. Ingress Controller 本身需要以hostport 或者 service形式暴露出来。 云端可以使用云供应商lb 服务。
4. Ingress 可以为多个命名空间服务

Ingress Controller 做哪些设置

我们以nginx-ingress 为例. 我们可以设置如下几个全局参数

1. 全局timeout时间
2. 全局gzip 压缩
3. https 和 http2
4. 全局 请求数量的 limit
5. vts 实时nginx 状态&＃xff0c;可以监控流量

这里只列出了部分&＃xff0c; 更多请参考文档 https://github.com/kubernetes/ingress-nginx/blob/master/docs/user-guide/configmap.md

如何设置 Ingress Controller

两种方式 configmap 和 custom template。 custom template 用来设置configmap不能设置的一些高级选项&＃xff0c; 通常情况下&＃xff0c;使用configmap 已经够用。

使用configmap 需要确保Ingress Controller时&＃xff0c;启用了 configmap参数

Ingress 可以做哪些设置

我们以nginx-ingress 为例. 我们可以设置如下几参数

1. 基于http-header 的路由
2. 基于 path 的路由
3. 单个ingress 的 timeout (不影响其他ingress 的 timeout 时间设置)
4. 登录验证
5. cros
6. 请求速率limit
7. rewrite 规则
8. ssl
   这里只列出了部分&＃xff0c; 更多请参考文档 https://github.com/kubernetes/ingress-nginx/blob/master/docs/user-guide/annotations.md

如何设置 Ingress

Ingress只能通过Annotations 进行设置。并且需要确保　Ingress Controller 启动时&＃xff0c; 启用了 Annotations 选项

需求和供给分离的优点

1. Ingress Controller 放在独立命名空间中&＃xff0c; 由管理员来管理。
2. Ingress 放在各应用的命名空间中&＃xff0c; 由应用运维来设置。

如此可以实现权限的隔离&＃xff0c; 又可以提供配置能力 。

总结

1. Ingress Controller 负责实现路由需求&＃xff0c; Ingress负责描述路由需求
2. Ingress Controller 一个集群可以有多个
3. Ingress Controller 通过Configmap设置&＃xff0c; Ingress 通过Annotations设置
4. Ingress Controller 设置全局规则&＃xff0c; Ingress 设置局部规则
5. Ingress Controller 可为多个命名空间服务。
6. 需求供给分离可以做到权限隔离&＃xff0c;又能提供配置能力。

文档

nginx-ingress 文档 https://github.com/kubernetes/ingress-nginx

kubernetes Ingess 是有2部分组成&＃xff0c;Ingress Controller 和Ingress服务组成&＃xff0c;常用的Ingress Controller 是ingress-nginx&＃xff0c;工作的原理是&＃xff1a;

Ingress Controller 会动态感知集群中的Ingress的规则变化&＃xff0c;然后读取&＃xff0c;动态生成Nginx的配置文件&＃xff0c;最后注入到运行nginx的pod的中&＃xff0c;然后会自动reload&＃xff0c;配置生效。

用kubernetes Ingress  是由于它是7层调度&＃xff0c;可以直接卸载https会话&＃xff0c;代理的后端的pod可以直接使用明文的http协议。

而Service NodePort得类型&＃xff0c;是4层得调度&＃xff0c;做不到这点&＃xff0c;然而现在https是一种趋势&＃xff0c;所以在kubernetes 对外暴露服务得时候我们还是要选择Ingress。

vim default-backend.yaml

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: default-http-backend
  labels:
    k8s-app: default-http-backend
  namespace: kube-system
spec:
  replicas: 1
  template:
    metadata:
      labels:
        k8s-app: default-http-backend
    spec:
      terminationGracePeriodSeconds: 60
      containers:
      - name: default-http-backend
        # Any image is permissable as long as:
        # 1. It serves a 404 page at /
        # 2. It serves 200 on a /healthz endpoint
        #image: gcr.io/google_containers/defaultbackend:1.0
        image: docker.io/cdchen/defaultbackend:1.0
        livenessProbe:
          httpGet:
            path: /healthz
            port: 8080
            scheme: HTTP
          initialDelaySeconds: 30
          timeoutSeconds: 5
        ports:
        - containerPort: 8080
        resources:
          limits:
            cpu: 10m
            memory: 20Mi
          requests:
            cpu: 10m
            memory: 20Mi
      nodeSelector:
        kubernetes.io/hostname: k8s-produce-136
---
apiVersion: v1
kind: Service
metadata:
  name: default-http-backend
  namespace: kube-system
  labels:
    k8s-app: default-http-backend
spec:
  #type: NodePort
  ports:
  - port: 80
    #nodePort: 8080
    targetPort: 8080
  selector:
    k8s-app: default-http-backend

-------------------

cat nginx-ingress-controller.yaml

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: nginx-ingress-controller
  labels:
    k8s-app: nginx-ingress-controller
  namespace: kube-system
spec:
  replicas: 1
  template:
    metadata:
      labels:
        k8s-app: nginx-ingress-controller
      annotations:
        prometheus.io/port: &＃39;10254&＃39;
        prometheus.io/scrape: &＃39;true&＃39;
    spec:
      # hostNetwork makes it possible to use ipv6 and to preserve the source IP correctly regardless of docker configuration
      # however, it is not a hard dependency of the nginx-ingress-controller itself and it may cause issues if port 10254 already is taken on the host
      # that said, since hostPort is broken on CNI (https://github.com/kubernetes/kubernetes/issues/31307) we have to use hostNetwork where CNI is used
      # like with kubeadm
      # hostNetwork: true
      hostNetwork: true
      terminationGracePeriodSeconds: 60
      containers:
      #- image: gcr.io/google_containers/nginx-ingress-controller:0.9.0-beta.10
      - image: registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller:0.9.0-beta.10
        name: nginx-ingress-controller
        readinessProbe:
          httpGet:
            path: /healthz
            port: 10254
            scheme: HTTP
        livenessProbe:
          httpGet:
            path: /healthz
            port: 10254
            scheme: HTTP
          initialDelaySeconds: 10
          timeoutSeconds: 1
        ports:
        - containerPort: 80
          hostPort: 80
        - containerPort: 443
          hostPort: 443
        env:
          - name: POD_NAME
            valueFrom:
              fieldRef:
                fieldPath: metadata.name
          - name: POD_NAMESPACE
            valueFrom:
              fieldRef:
                fieldPath: metadata.namespace
          #- name: KUBERNETES_MASTER
          #  value: http://10.30.30.135:8080
        args:
        - /nginx-ingress-controller
        - --default-backend-service&＃61;$(POD_NAMESPACE)/default-http-backend
        - --apiserver-host&＃61;http://10.30.30.135:8080
      nodeSelector:
        kubernetes.io/hostname: k8s-produce-136

-----------------------

cat jenkins-app.yaml

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: jenkins
  namespace: default
  labels:
    k8s-app: jenkins
spec:
  replicas: 1
  selector:
    matchLabels:
      k8s-app: jenkins
  template:
    metadata:
      labels:
        k8s-app: jenkins
    spec:
      containers:
      - name: jenkins
        image: hub.c.163.com/library/jenkins:latest
        securityContext:
          privileged: true
        imagePullPolicy: IfNotPresent
        volumeMounts:
        - name: jenkins-home
          mountPath: /var/jenkins_home
        - name: maven-repository
          mountPath: /opt/maven/repository
        - name: docker
          mountPath: /usr/bin/docker
        - name: docker-sock
          mountPath: /var/run/docker.sock
        ports:
        - containerPort: 8080
        - containerPort: 50000
      volumes:
        - name: jenkins-home
          hostPath:
            path: /ceph/jenkins_home
        - name: maven-repository
          hostPath:
            path: /ceph/maven/repository
        - name: docker
          hostPath:
            path: /usr/bin/docker
        - name: docker-sock
          hostPath:
            path: /var/run/docker.sock
      nodeSelector:
        kubernetes.io/hostname: k8s-produce-136
---
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: jenkins
  name: jenkins
  namespace: default
  annotations:
    prometheus.io/scrape: &＃39;true&＃39;
spec:
  ports:
    - name: jenkins
      port: 8081
      #nodePort: 31888
      targetPort: 8080
    #- name: jenkins-agent
    #  port: 50000
    #  nodePort: 50000
    #  targetPort: 50000
  #type: NodePort
  selector:
    k8s-app: jenkins

----------------

cat jenkins-ingress.yml

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: jenkins-ingress
  namespace: default #代理的服务是什么这个就是什么
  annotations:
    kubernetes.io/ingress.class: "nginx"  #这里是说明ingress的类型使用的nginx&＃xff0c;一定要说明这点&＃xff0c;否则ingress Controller 不知道是配置成那种类型的配置文件

spec:
  rules:
  - host: ingress.jenkins.com
    http:
      paths:
      - backend:
          serviceName: jenkins #代理的后端的pod的service&＃xff0c;通过这个service来生成nginx的upstrem

          servicePort: 8081 #代理的后端的pod的service的port

• rules中的host必须为域名&＃xff0c;不能为IP&＃xff0c;表示Ingress-controller的Pod所在主机域名&＃xff0c;也就是Ingress-controller的IP对应的域名。
• paths中的path则表示映射的路径。如映射/表示若访问ingress.jenkins.com&＃xff0c;则会将请求转发至jenkins 的service&＃xff0c;端口为8081 。

-----------------

这里是使用http访问的&＃xff0c;如果要用https&＃xff0c;首先我们要创建一个证书&＃xff0c;步骤如下

1、openssl genrsa -out tls.key 2048

2、openssl req -new -x509 -key tls.key -out tls.crt    

You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter &＃39;.&＃39;, the field will be left blank.
-----
Country Name (2 letter code) [XX]:CN
State or Province Name (full name) []:Hefei
Locality Name (eg, city) [Default City]:Hefei
Organization Name (eg, company) [Default Company Ltd]:test
Organizational Unit Name (eg, section) []:test
Common Name (eg, your name or your server&＃39;s hostname) []:test.ding.com
Email Address []:

证书生成好了&＃xff0c;然后把证书转成secret&＃xff0c;

kubectl create secret tls ding-ingress-secret --cert&＃61;tls.crt --key&＃61;tls.key

修改下  jenkins-ingress.yml 加入刚刚添加的secret&＃xff0c;修改后的文件如下&＃xff1a;

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: jenkins-ingress
  namespace: default #代理的服务是什么这个就是什么
  annotations:
    kubernetes.io/ingress.class: "nginx"  #这里是说明ingress的类型使用的nginx&＃xff0c;一定要说明这点&＃xff0c;否则ingress Controller 不知道是配置成那种类型的配置文件

spec:
  tls:
  - hosts:

     - test.ding.com 

     secretName: ding-ingress-secret
  rules:
  - host: ingress.jenkins.com
    http:
      paths:
      - backend:
          serviceName: jenkins #代理的后端的pod的service&＃xff0c;通过这个service来生成nginx的upstrem

          servicePort: 8081 #代理的后端的pod的service的port

总结下&＃xff0c;部署ingress&＃xff0c;首先要部署下后端代理的pod&＃xff0c;这组pod必须要有service&＃xff0c;service的作用是用于ingress规则代理到后端pod的&＃xff0c;通俗点就是这个service仅仅是给这组pod分组的&＃xff0c;没有其他的左右。接着部署Ingress Controller&＃xff0c;最后是写ingress的规则&＃xff0c;让Ingress Controller 发现注入到ingress-nginx的pod中生成配置文件