首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >典型微服务 + K8S案例 - 智慧运维平台

典型微服务 + K8S案例 - 智慧运维平台

作者头像
东风微鸣
发布于 2022-04-21 14:05:20
发布于 2022-04-21 14:05:20
1.6K0
举报

前言

历时2天, 今天终于成功将"智慧运维平台"上容器! 🎉🎉🎉

本文对微服务容器化过程做一简要总结.

智慧运维平台简介

随着公司业务的不断壮大,业务的上升必然带来了新的IT环境快速的变化。IT架构以开源和云化架构为主,IT运维部面临 “传统环境”+“新核心”双重运维压力. 在此背景下建设了智慧运维平台.

智慧运维平台功能可以浓缩为2个:

  • 以zabbix为核心的基础资源监控;
  • 以自动化为核心的自动化运维管理.

功能架构

大致包括以下功能模块:

  • 首页展示
  • 监控告警
  • 运维操作
  • 发布管理
  • 报表管理
  • 接入管理
  • CMDB
  • 系统管理

技术架构

技术架构基于Spring Boot 微服务体系. 包含以下技术堆栈:

  • NGINX
  • 14个Spring Boot 微服务
  • Eureka 注册中心
  • Redis
  • MySQL
  • Kafka
    • zookeeper
  • Zabbix
    • mysql
    • zabbix proxy
    • agent
  • 自动化Agent

容器化

概述

有些组件是不太适合容器化的, 所以这些组件就不考虑容器化:

  1. Zabbix 全套
  2. 自动化Agent(需要装在每台被管主机上)
  3. MySQL(数据量过大, 存储目前尚不满足需求)
  4. ES(CPU, 内存, 存储都消耗巨大, 不考虑容器化)

容器化分为2个阶段:

  1. NGINX和Spring Boot微服务容器化, 在此阶段. 其他技术栈仍然采用虚拟机或物理机部署;
  2. Redis和KAFKA容器化.

截止2020/1/2 已完成第一阶段.

前置条件

  1. ❗️ 必须: 应用包和配置分离 只有配置分离, 才能满足容器镜像 - "一次构建, 开发测试生产通用"的原则. 至于配置, 该系统没有配置中心, 所以通过K8S的ConfigMap实现对配置的管理.
  2. ❗️必须: 将原本配置中, 通过IP进行调用的方式, 修改为通过SVC进行调用.
  3. 👍 推荐: 日志, 有状态数据, 配置信息 位置等信息需要按需进行调整. 最好修改为: ENV或相对路径.
  4. 🤔可选: 日志改造:
    1. 不通过文件方式存储, 改为直接发送到: 标准输出和标准错误输出; (容器平台已包含EFK日志监控, 会自动抓取标准输出和标准错误输出)
    2. 不输出为日志格式, 改为直接输出为 json 格式. (输出为json格式, 更方便EFK抓取和分析)

步骤

📓 备注 以eureka-server为例.

创建Project
代码语言:javascript
复制
oc new-project amp-test --display-name="智慧运维平台" --description="智慧运维平台容器化测试环境"
NGINX

直接通过 nginx的template来配置, 配置如下:

Eureka-Server
创建Dockerfile
代码语言:javascript
复制
FROM image-registry.openshift-image-registry.svc:5000/openshift/redhat-openjdk18-openshift:1.5

ENV JAVA_OPTS="-Djava.security.egd=file:///dev/./urandom"
ENV JAVA_APP_JAR eureka-server.jar

VOLUME [ "/deployments/config" ]

EXPOSE 8761

ADD eureka-server.jar /deployments/
# ENTRYPOINT exec java $JAVA_OPTS -Djava.security.egd=file:///dev/./urandom -jar eureka-server.jar
# For Spring-Boot project, use the entrypoint below to reduce Tomcat startup time.
#ENTRYPOINT exec java $JAVA_OPTS -Djava.security.egd=file:/dev/./urandom -jar eureka-server.jar
本地ENV
代码语言:javascript
复制
APP_NAME=eureka-server
echo ${APP_NAME}
创建 app
代码语言:javascript
复制
oc new-app  --binary --name ${APP_NAME} --strategy=docker
oc start-build ${APP_NAME} --from-dir=./${APP_NAME} -w -F

-w -F 分别为: 等待构建完成, follow build日志.

创建configmap并挂载

📓 备注: 创建configmap可以--from-file后边跟文件夹, 会把文件夹内所有的同级文件逐一创建, key为文件名, value为文件内容. ❗️ 注意: 必须是同级文件, 如果里边还有子目录, 对于子目录下的文件是不生效的.

代码语言:javascript
复制
oc create configmap ${APP_NAME}-config --from-file ./${APP_NAME}/
oc set volume dc/${APP_NAME} --add --mount-path=/deployments/config --configmap-name=${APP_NAME}-config
创建 SVC
代码语言:javascript
复制
oc apply -f ./${APP_NAME}/svc.yaml

📓 备注: 由于创建了SVC, 所以就相当于每个微服务容器之前都有一个负载均衡器. 我们微服务之间以及nginx和微服务间的相互调用, 都通过SVC进行调用. 调用方式举例如下: 传统的调用方式可能是:192.168.1.1:10011; 容器化后, 通过SVC的调用方式: base-user-center:10011; 其中, base-user-center就是该微服务的名称, 同时也是该微服务的SVC的名称. 通过SVC的名称+端口号即可调用.

创建 Route

即 创建供最终用户访问的域名. 只有2个需要创建:

  1. NGINX, 创建域名, 供最终用户访问; 其他微服务都是通过NGINX进行调用, 或服务间直接通过接口调用.
  2. Eureka, 创建域名, 供管理员查看.
代码语言:javascript
复制
oc apply -f ./${APP_NAME}/route.yaml
其他微服务

📓 备注: 以下微服务的实施步骤, 和Eureka-Server的步骤完全一致. 也是包括如下步骤: (不包括: 创建 Route, 因为这些都是内部调用, 外部请求都是通过nginx进来):

  1. 创建 Dockerfile(❗️ 注意: EXPOSE的端口号根据实际情况修改. )
  2. 本地ENV配置(方便命令和脚本统一)
  3. 创建 app
  4. 创建 configmap 并挂载
  5. 创建 SVC

当然, 有部分特殊情况, 在下一节做说明.

  • amp-dynamic-baseline
  • atm
  • atm-app
  • atmp
  • base-resource-center
  • base-service
  • base-user-center
  • ccic-cas
  • cmdb-discovery
  • cmdb-server
  • snc-alarm-center
  • snc-amp
  • snc-data-dispose-center
  • snc-server
  • south-base-es-api
特殊情况 - base-resource-center

该微服务的config 文件夹包含子文件夹config/script. 所以configmap的命令略有不同, 新增如下2条命令:

代码语言:javascript
复制
oc create configmap ${APP_NAME}-config-script --from-file ./${APP_NAME}/config/script/
oc set volume dc/${APP_NAME} --add --mount-path=/deployments/config/script --configmap-name="${APP_NAME}-config-script"
特殊情况 - snc-amp

该微服务包含文件夹template, 需要打进镜像里, 所以 Dockerfile略有不同, 如下: COPY ./template ${JAVA_APP_DIR}/template

代码语言:javascript
复制
FROM image-registry.openshift-image-registry.svc:5000/openshift/redhat-openjdk18-openshift:1.5

ENV JAVA_OPTIONS="-Djava.security.egd=file:///dev/./urandom"
ENV JAVA_APP_DIR=/deployments
ENV JAVA_LIB_DIR="${JAVA_APP_DIR}/lib"
ENV JAVA_APP_JAR snc-amp.jar

VOLUME [ "${JAVA_APP_DIR}/config" ]

EXPOSE 10016

COPY ./template ${JAVA_APP_DIR}/template
COPY ./lib ${JAVA_APP_DIR}/lib
ADD snc-amp.jar ${JAVA_APP_DIR}
# ENTRYPOINT exec java $JAVA_OPTIONS -Djava.security.egd=file:///dev/./urandom -jar snc-amp.jar
# For Spring-Boot project, use the entrypoint below to reduce Tomcat startup time.
#ENTRYPOINT exec java $JAVA_OPTIONS -Djava.security.egd=file:/dev/./urandom -jar snc-amp.jar

优化

NGINX

📓 备注: NGINX也使用的是OpenShift自带的image, 所以有些配置也需要根据需求调整. 目录结构参考: github: sclorg/nginx-container/tree/master/examples/1.12/test-app

  • nginx.conf 放在顶级
  • 静态文件也放在顶级, root目录默认为: /opt/app-root/src. 该镜像会自动将静态文件移动至/opt/app-root/src
  • nginx-cfg nginx-default-cfg包含子目录的nginx配置文件, 分别对应: /opt/app-root/etc/nginx.d和/opt/app-root/etc/nginx.default.d
  • nginx-cfg里的配置文件在nginx主配置文件中位于http块之下. 所以引入的首级应该是server{}块
  • nginx-default-cfg 里的配置文件在nginx主配置文件中位于server { listen 8080;...}之下, 所以引入的首级应该是location {}块.

调整内容:

  1. 修改nginx.conf配置, 注释掉原8080的default配置, 否则所有的8080请求会优先转到该default配置;
  2. 调整我们需要的nginx-cfg下的配置, 该配置是完整的server块. 在nginx.conf中通过如下做include: include /opt/app-root/etc/nginx.d/*.conf;
SNC-AMP

该节点频繁内存溢出, 报错如下: Terminating due to java.lang.OutOfMemoryError: Metaspace. 原因是镜像默认配置为100m. DeploymentConfig 中的container 的env和resources 需要调整为如下:

代码语言:javascript
复制
          env:
            - name: GC_MAX_METASPACE_SIZE
              value: "256"
          resources:
            limits:
              memory: 2G
            requests:
              memory: 1G

📓 备注:

使用的是红帽的OpenJDK镜像, 红帽在该镜像中添加了很多启动前的判断脚本, 所以直接通过JAVA_OPTIONS配置内存参数是配置不进去的. 有一个/opt/run-java/java-default-options脚本有如下内容:

代码语言:javascript
复制
gc_config() {
  local minHeapFreeRatio=${GC_MIN_HEAP_FREE_RATIO:-10}
  local maxHeapFreeRatio=${GC_MAX_HEAP_FREE_RATIO:-20}
  local timeRatio=${GC_TIME_RATIO:-4}
  local adaptiveSizePolicyWeight=${GC_ADAPTIVE_SIZE_POLICY_WEIGHT:-90}
  local maxMetaspaceSize=${GC_MAX_METASPACE_SIZE:-100}
  local gcOptions="${GC_CONTAINER_OPTIONS:--XX:+UseParallelOldGC}"

  echo "${gcOptions}" \
       "-XX:+UnlockExperimentalVMOptions "\
       "-XX:+UseCGroupMemoryLimitForHeap "\
       "-XX:MinHeapFreeRatio=${minHeapFreeRatio} "\
       "-XX:MaxHeapFreeRatio=${maxHeapFreeRatio} "\
       "-XX:GCTimeRatio=${timeRatio} "\
       "-XX:AdaptiveSizePolicyWeight=${adaptiveSizePolicyWeight} "\
       "-XX:MaxMetaspaceSize=${maxMetaspaceSize}m"
}

所以根据脚本内容判断, 需要添加GC_MAX_METASPACE_SIZE的ENV才能生效, 且该ENV只包含数字, 单位为m

总结 & 成果展示

通过以上内容, 我们可以看到, 微服务 + 容器是天然的一对. 微服务可以在容器上更快地创建, 部署, 迭代.

  1. 微服务上容器, 比较方便;
  2. 上了容器后, 优势多多.

DevOps 能力

拓扑展现

Metrics 监控

节省资源

可以看到, 14个微服务+1个nginx. 总共使用了:

  1. CPU: 不到0.3%!
  2. 内存: 不到10G

📓 备注: 测试环境, 没人用. 但也是很低了.

日志监控

Auto Scale

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-01-02,如有侵权请联系 cloudcommunity@tencent.com 删除
目录
  • 前言
  • 智慧运维平台简介
    • 功能架构
    • 技术架构
  • 容器化
    • 概述
    • 前置条件
    • 步骤
      • 创建Project
      • NGINX
      • Eureka-Server
      • 其他微服务
    • 优化
      • NGINX
      • SNC-AMP
  • 总结 & 成果展示
    • DevOps 能力
    • 拓扑展现
    • Metrics 监控
    • 节省资源
    • 日志监控
    • Auto Scale
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档