k8s生产实践之获取客户端真实IP

1、概述

通常web应用获取用户客户端的真实ip一个很常见的需求，例如将用户真实ip取到之后对用户做白名单访问限制、将用户ip记录到数据库日志中对用户的操作做审计等等

在vm时代是一个比较容易解决的问题，但当一切云原生化（容器化）之后变得稍微复杂了些

k8s中运行的应用通过Service抽象来互相查找、通信和与外部世界沟通，在k8s中是kube-proxy组件实现了Service的通信与负载均衡，流量在传递的过程中经过了源地址转换SNAT，因此在默认的情况下，常常是拿不到用户真实的ip的

这个问题在k8s官方文档(https://kubernetes.io/zh/docs/tutorials/services/source-ip/)中基于Cluster IP、NodePort、LoadBalancer三种不同的Service类型进行了一定的说明，这里不再剖析

2、环境介绍

本篇仅介绍私有云+外部硬件负载+k8s集群的真实场景下如何进行配置

组件名	型号或版本
硬件负载设备	SANGFOR(深信服) AD 6.5R1
k8s Ingress 控制器	NGINX Ingress Controller 0.25.0
k8s 集群	Kubernetes 1.17.0

3、相关说明

真实生产场景下，一般提供给用户的都是七层https服务

首先域名解析在外部负载设备绑定的公网ip上，负载周边可能还会有一些安全设备例如WAF等，这里不多介绍

流量经过负载后进入到k8s集群中，其中Ingress Controller以DaemonSet方式部署并使用hostNetwork模式接收并处理到达宿主机的80、443端口流量

关于https证书的配置，一般有以下两种可选方式：

配置在负载设备（负载类型如果只考虑七层负载），由负载负责将数据包封包解包，并转发到后端，如果用户通过https形式访问，流量经过的流程是：用户端——>负载80端口——>负载443端口——>服务端(k8s node)的80端口
配置在后端，例如Ingress资源上，如果用户通过https形式访问，流量经过的流程是：用户端——>负载80端口——>服务端(k8s node)的80端口——>服务端(k8s node)的443端口

但是为了获取用户的真实ip，只能选择方式一，因为如果证书配置在后端服务，流量经过负载时是加密的，负载一般在没有证书的情况下，是无法对数据包进行解包操作透传用户ip的

以上在公有云环境下，例如腾讯云CLB、阿里云新的应用型负载ALB或传统型负载CLB均有涉及，可能不尽详细

4、环境准备

首先需要准备一个后端获取用户请求，显示打印或输出的应用，可以自己手撸一个简单应用，当然为了操作简单也可以选择nginx容器在应用日志中查看，更好的方式是选择whoami、echoserver这类镜像

其中whoami可以在控制台访问服务时打印用户请求等相关信息，echoserver可以在浏览器呈现用户请求等相关信息

这里为了模拟和真实应用一样的场景，选择更为直观的echoserver，其源镜像地址为gcr.io/google-containers/echoserver

如果网络不佳，可以从我的地址获取ssgeek/echoserver

首先基于k8s部署该应用，创建deploy、svc、ing，定义如下

apiVersion: apps/v1
kind: Deployment
metadata:
  name: echoserver
  labels:
    app: echoserver
spec:
  selector:
    matchLabels:
      app: echoserver
  template:
    metadata:
      labels:
        app: echoserver
    spec:
      containers:
      - name: echoserver
        image: ssgeek/echoserver:latest
        ports:
        - containerPort: 8080
        env:
          - name: NODE_NAME
            valueFrom:
              fieldRef:
                fieldPath: spec.nodeName
          - name: POD_NAME
            valueFrom:
              fieldRef:
                fieldPath: metadata.name
          - name: POD_NAMESPACE
            valueFrom:
              fieldRef:
                fieldPath: metadata.namespace
          - name: POD_IP
            valueFrom:
              fieldRef:
                fieldPath: status.podIP

---
apiVersion: v1
kind: Service
metadata:
  name: echoserver
  labels:
    app: echoserver
spec:
  ports:
  - port: 80
    targetPort: 8080
    name: http
  selector:
    app: echoserver

---
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: echoserver
  annotations:
    kubernetes.io/ingress.class: nginx
spec:
  rules:
  - host: echo.ssgeek.com
    http:
      paths:
      - backend:
          serviceName: echoserver
          servicePort: 80
        path: /

5、负载配置

这里简单分析及列出关键配置

插入请求头以透传ip

部署好后端服务后，开始配置外部（深信服）负载，除了导入https证书外，还需要在转发的请求头中插入X-Forwarded-For头部，确保用户ip在经过负载时作为请求头的一部分传递到后端服务器

负载设备到后端请求头部改写

由于负载设备到后端的80端口，因此后端只接收http请求，也就是请求经过负载处理https及证书相关动作

未添加请求头部改写时，对请求抓包的现象对比如下（分别为无https配置时和有https配置但未改写请求头部时）

6、Ingress Controller 配置

修改Nginx Ingress Controller配置，添加如下内容

参考：https://kubernetes.github.io/ingress-nginx/user-guide/

data:
  use-forwarded-headers: "true"
  compute-full-forwarded-for: "true"
  forwarded-for-header: "X-Forwarded-For"

use-forwarded-headers

如果为true，会将传入的X-Forwarded-*头传递给upstreams

如果为false，会忽略传入的X-Forwarded-*头，用看到的请求信息填充它们。如果直接暴露在互联网上，或者它在基于L3/packet-based load balancer后面，并且不改变数据包中的源IP时使用此选项
forwarded-for-header

设置标头字段以标识客户端的原始IP地址。默认: X-Forwarded-For
compute-full-forwarded-for

将远程地址附加到 X-Forwarded-For标头，而不是替换它。启用此选项后，upstreams应用程序将根据其自己的受信任代理列表提取客户端IP

7、服务端验证

服务端请求暴露及应用获取ip效果如下

正常情况可拿到以下几类ip

pod ip

k8s pod自身的ip

node ip

k8s pod所在node的ip

负载 ip

位于请求头X-Forwarded-For字段中

用户真实 ip

位于请求头X-Forwarded-For字段、x-original-forwarded-for字段、x-real-ip字段中

关于x-forwarded-for、x-original-forwarded-for、x-real-ip的说明：

X-Forwarded-For用于记录从客户端地址到最后一个代理服务器的所有地址

X-Real-IP用于记录请求的客户端地址

X-Original-Forwarded-For字面意思是原始转发 IP，这是Ingress的功能，Ingress将用户的真实IP记录到了这个字段

对应用来说，以java应用为例，获取用户ip的代码如下

/**
 * 获取操作用户ip
 * @return
 */
private String getIp() {

    HttpServletRequest request;
    try {
        request = ((ServletRequestAttributes) RequestContextHolder.getRequestAttributes()).getRequest();
    } catch (NullPointerException e) {
        return "127.0.0.1";
    }

    //取客户端ip
    String ipAddress = request.getHeader("x-forwarded-for");
    if (ipAddress == null || ipAddress.length() == 0
            || "unknown".equalsIgnoreCase(ipAddress)) {
        ipAddress = request.getHeader("Proxy-Client-IP");
    }
    if (ipAddress == null || ipAddress.length() == 0
            || "unknown".equalsIgnoreCase(ipAddress)) {
        ipAddress = request.getHeader("WL-Proxy-Client-IP");
    }
    if (ipAddress == null || ipAddress.length() == 0
            || "unknown".equalsIgnoreCase(ipAddress)) {
        ipAddress = request.getRemoteAddr();
        if (ipAddress.equals("127.0.0.1")) {
            // 根据网卡取本机配置的IP
            InetAddress inet = null;
            try {
                inet = InetAddress.getLocalHost();
            } catch (UnknownHostException e) {
                e.printStackTrace();
            }
            ipAddress = inet.getHostAddress();
        }
    }
    // 对于通过多个代理的情况，第一个IP为客户端真实IP,多个IP按照','分割
    if (ipAddress != null && ipAddress.length() > 15) { // "***.***.***.***".length()
        // = 15
        if (ipAddress.indexOf(",") > 0) {
            ipAddress = ipAddress.substring(0, ipAddress.indexOf(","));
        }
    }
    return ipAddress;
}

8、小结

本文记录了私有云和有外部负载的真实场景下，k8s集群中的应用获取用户ip的相关实现逻辑及关键处理，希望能帮助到大家

See you ~

山山仙人博客