历时2天, 今天终于成功将"智慧运维平台"上容器! 🎉🎉🎉
本文对微服务容器化过程做一简要总结.
随着公司业务的不断壮大,业务的上升必然带来了新的IT环境快速的变化。IT架构以开源和云化架构为主,IT运维部面临 “传统环境”+“新核心”双重运维压力. 在此背景下建设了智慧运维平台.
智慧运维平台功能可以浓缩为2个:

大致包括以下功能模块:


技术架构基于Spring Boot 微服务体系. 包含以下技术堆栈:
有些组件是不太适合容器化的, 所以这些组件就不考虑容器化:
容器化分为2个阶段:
截止2020/1/2 已完成第一阶段.
SVC进行调用.📓 备注 以
eureka-server为例.
oc new-project amp-test --display-name="智慧运维平台" --description="智慧运维平台容器化测试环境"直接通过 nginx的template来配置, 配置如下:

DockerfileFROM image-registry.openshift-image-registry.svc:5000/openshift/redhat-openjdk18-openshift:1.5
ENV JAVA_OPTS="-Djava.security.egd=file:///dev/./urandom"
ENV JAVA_APP_JAR eureka-server.jar
VOLUME [ "/deployments/config" ]
EXPOSE 8761
ADD eureka-server.jar /deployments/
# ENTRYPOINT exec java $JAVA_OPTS -Djava.security.egd=file:///dev/./urandom -jar eureka-server.jar
# For Spring-Boot project, use the entrypoint below to reduce Tomcat startup time.
#ENTRYPOINT exec java $JAVA_OPTS -Djava.security.egd=file:/dev/./urandom -jar eureka-server.jarAPP_NAME=eureka-server
echo ${APP_NAME}oc new-app --binary --name ${APP_NAME} --strategy=docker
oc start-build ${APP_NAME} --from-dir=./${APP_NAME} -w -F-w -F 分别为: 等待构建完成, follow build日志.
configmap并挂载📓 备注: 创建configmap可以
--from-file后边跟文件夹, 会把文件夹内所有的同级文件逐一创建, key为文件名, value为文件内容. ❗️ 注意: 必须是同级文件, 如果里边还有子目录, 对于子目录下的文件是不生效的.
oc create configmap ${APP_NAME}-config --from-file ./${APP_NAME}/
oc set volume dc/${APP_NAME} --add --mount-path=/deployments/config --configmap-name=${APP_NAME}-configoc apply -f ./${APP_NAME}/svc.yaml📓 备注: 由于创建了SVC, 所以就相当于每个微服务容器之前都有一个负载均衡器. 我们微服务之间以及nginx和微服务间的相互调用, 都通过SVC进行调用. 调用方式举例如下: 传统的调用方式可能是:
192.168.1.1:10011;容器化后, 通过SVC的调用方式:base-user-center:10011;其中,base-user-center就是该微服务的名称, 同时也是该微服务的SVC的名称. 通过SVC的名称+端口号即可调用.
即 创建供最终用户访问的域名. 只有2个需要创建:
oc apply -f ./${APP_NAME}/route.yaml📓 备注: 以下微服务的实施步骤, 和Eureka-Server的步骤完全一致. 也是包括如下步骤: (不包括: 创建 Route, 因为这些都是内部调用, 外部请求都是通过nginx进来):
EXPOSE的端口号根据实际情况修改. )当然, 有部分特殊情况, 在下一节做说明.
该微服务的config 文件夹包含子文件夹config/script. 所以configmap的命令略有不同, 新增如下2条命令:
oc create configmap ${APP_NAME}-config-script --from-file ./${APP_NAME}/config/script/
oc set volume dc/${APP_NAME} --add --mount-path=/deployments/config/script --configmap-name="${APP_NAME}-config-script"该微服务包含文件夹template, 需要打进镜像里, 所以 Dockerfile略有不同, 如下: COPY ./template ${JAVA_APP_DIR}/template
FROM image-registry.openshift-image-registry.svc:5000/openshift/redhat-openjdk18-openshift:1.5
ENV JAVA_OPTIONS="-Djava.security.egd=file:///dev/./urandom"
ENV JAVA_APP_DIR=/deployments
ENV JAVA_LIB_DIR="${JAVA_APP_DIR}/lib"
ENV JAVA_APP_JAR snc-amp.jar
VOLUME [ "${JAVA_APP_DIR}/config" ]
EXPOSE 10016
COPY ./template ${JAVA_APP_DIR}/template
COPY ./lib ${JAVA_APP_DIR}/lib
ADD snc-amp.jar ${JAVA_APP_DIR}
# ENTRYPOINT exec java $JAVA_OPTIONS -Djava.security.egd=file:///dev/./urandom -jar snc-amp.jar
# For Spring-Boot project, use the entrypoint below to reduce Tomcat startup time.
#ENTRYPOINT exec java $JAVA_OPTIONS -Djava.security.egd=file:/dev/./urandom -jar snc-amp.jar📓 备注: NGINX也使用的是OpenShift自带的image, 所以有些配置也需要根据需求调整. 目录结构参考: github: sclorg/nginx-container/tree/master/examples/1.12/test-app
nginx.conf 放在顶级/opt/app-root/src. 该镜像会自动将静态文件移动至/opt/app-root/srcnginx-cfg nginx-default-cfg包含子目录的nginx配置文件, 分别对应: /opt/app-root/etc/nginx.d和/opt/app-root/etc/nginx.default.dnginx-cfg里的配置文件在nginx主配置文件中位于http块之下. 所以引入的首级应该是server{}块nginx-default-cfg 里的配置文件在nginx主配置文件中位于server { listen 8080;...}之下, 所以引入的首级应该是location {}块.调整内容:
nginx.conf配置, 注释掉原8080的default配置, 否则所有的8080请求会优先转到该default配置;nginx-cfg下的配置, 该配置是完整的server块. 在nginx.conf中通过如下做include: include /opt/app-root/etc/nginx.d/*.conf;该节点频繁内存溢出, 报错如下: Terminating due to java.lang.OutOfMemoryError: Metaspace. 原因是镜像默认配置为100m. DeploymentConfig 中的container 的env和resources 需要调整为如下:
env:
- name: GC_MAX_METASPACE_SIZE
value: "256"
resources:
limits:
memory: 2G
requests:
memory: 1G📓 备注:
使用的是红帽的OpenJDK镜像, 红帽在该镜像中添加了很多启动前的判断脚本, 所以直接通过JAVA_OPTIONS配置内存参数是配置不进去的. 有一个/opt/run-java/java-default-options脚本有如下内容:
gc_config() {
local minHeapFreeRatio=${GC_MIN_HEAP_FREE_RATIO:-10}
local maxHeapFreeRatio=${GC_MAX_HEAP_FREE_RATIO:-20}
local timeRatio=${GC_TIME_RATIO:-4}
local adaptiveSizePolicyWeight=${GC_ADAPTIVE_SIZE_POLICY_WEIGHT:-90}
local maxMetaspaceSize=${GC_MAX_METASPACE_SIZE:-100}
local gcOptions="${GC_CONTAINER_OPTIONS:--XX:+UseParallelOldGC}"
echo "${gcOptions}" \
"-XX:+UnlockExperimentalVMOptions "\
"-XX:+UseCGroupMemoryLimitForHeap "\
"-XX:MinHeapFreeRatio=${minHeapFreeRatio} "\
"-XX:MaxHeapFreeRatio=${maxHeapFreeRatio} "\
"-XX:GCTimeRatio=${timeRatio} "\
"-XX:AdaptiveSizePolicyWeight=${adaptiveSizePolicyWeight} "\
"-XX:MaxMetaspaceSize=${maxMetaspaceSize}m"
}所以根据脚本内容判断, 需要添加GC_MAX_METASPACE_SIZE的ENV才能生效, 且该ENV只包含数字, 单位为m
通过以上内容, 我们可以看到, 微服务 + 容器是天然的一对. 微服务可以在容器上更快地创建, 部署, 迭代.

可以看到, 14个微服务+1个nginx. 总共使用了:
📓 备注: 测试环境, 没人用. 但也是很低了.