新手必看！qData 数据中台部署避坑指南，90%的人都踩过这些雷

java -version
docker -v
docker-compose -v
node -v
npm -v
mvn -v

# 进入 Docker 安装包目录（路径肯需要调整，根据解压后的路径来）
cd ~/20.04离线安装docker-24.0.7

# 安装 Docker 组件
sudo dpkg -i containerd.io_1.6.9-1_amd64.deb \
docker-ce_24.0.7-1~ubuntu.20.04~focal_amd64.deb \
docker-ce-cli_24.0.7-1~ubuntu.20.04~focal_amd64.deb \
docker-compose-plugin_2.6.0~ubuntu-focal_amd64.deb

# 将当前用户加入 docker 用户组
sudo usermod -aG docker $USER
newgrp docker

# 验证安装
sudo docker -v
sudo docker-compose -v

docker info
docker ps

cd ~/qData/docker
sudo vi .env

# 数据库类型，可选值：dm8 或 mysql
DB_TYPE=mysql

sudo docker-compose --profile schema up -d

sudo docker-compose -f docker-compose-mysql.yml --profile schema up -d

cd ~/qData
sudo chmod -R 755 docker
sudo chown -R $USER:$USER ./docker

sed -i 's/\r$//' ./database/dm8/entrypoint.sh
sed -i 's/\r$//' ./database/dm8/entrypoint-arm64.sh

ls -l ./database/dm8/entrypoint.sh

sudo docker-compose --profile schema up -d

sudo docker-compose --profile all up -d

sudo docker-compose -f docker-compose-mysql.yml --profile all up -d

sudo docker-compose --profile all ps

docker ps --format "table {{.Names}}\t{{.Status}}"
ss -lntp | grep -E '80|12345|8080'
curl -I http://127.0.0.1:80

# 查看所有服务运行状态
sudo docker-compose --profile all ps

# 暂停 qData 所有服务（数据不丢）
sudo docker-compose --profile all stop

# 重启所有服务
sudo docker-compose --profile all restart

# 完全关闭并删除数据（恢复默认环境）
sudo docker-compose --profile all down
sudo docker-compose --profile schema down

sudo mkdir -p /opt/java
sudo tar zxvf jdk-8u201-linux-x64.tar.gz -C /opt/java/
sudo mv /opt/java/jdk1.8.0_201 /opt/java/openjdk

# /etc/profile 末尾追加
export JAVA_HOME=/opt/java/openjdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=.:${JAVA_HOME}/bin:$PATH

source /etc/profile
java -version

# 查看容器
docker ps -a

# 进入容器
docker exec -it <container_id> bash

# 连接数据库
/home/dmdba/dmdb/bin/disql SYSDBA/InC3tmU4bijT4vkl

# 创建用户、模式及授权
create user "QDATA" identified by "2LKqLVMQ!xVDT$Qx" hash with SHA512 salt;
grant "PUBLIC","SOI","DBA" to "QDATA";

# 初始化数据库
set define off
set CHAR_CODE UTF8
/home/dmdba/data/init-qdata.sql
set define on

# 项目根目录下
mvn clean package -Dmaven.test.skip

cd qData/qdata-ui
yarn install
npm run build:prod

sudo mkdir -p ./www/qdata
sudo cp -r dist/* ./www/qdata

ls -lh qdata-server/target/
ls -lh qdata-quality/target/
ls -lh qData/qdata-ui/dist/

sudo mkdir -p /opt/soft
sudo chmod -R 777 /opt/soft

cd /opt/soft
sudo tar -zxvf spark-3.5.6-bin-hadoop3.tgz
sudo mv spark-3.5.6-bin-hadoop3 spark

cd /opt/soft
sudo unzip flink-1.17.2.zip
sudo mv flink-1.17.2 flink

nano ~/.bashrc
# 末尾追加（设置成你自己的服务器ip地址）
export SPARK_MASTER_HOST=192.168.3.38

source ~/.bashrc

sudo mkdir -p /dolphinscheduler

tar -xzvf apache-dolphinscheduler-3.2.2-bin.tar.gz

sudo useradd dolphinscheduler
echo 'dolphinscheduler:Str0ng@Pass!' | sudo chpasswd
sudo sed -i '$adolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sudo sed -i 's/Defaults    requiretty/#Defaults    requiretty/g' /etc/sudoers
sudo chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin
sudo chmod -R 755 apache-dolphinscheduler-*-bin
sudo chown -R dolphinscheduler:dolphinscheduler /dolphinscheduler
sudo chown -R dolphinscheduler:dolphinscheduler /tmp/dolphinscheduler

# 启动 qdata-server
nohup java -server -jar \
-Djava.security.egd=file:/dev/./urandom \
-Dspring.profiles.active=prod \
-Dserver.port=8083 \
qdata-server.jar >>/dev/null &

# 启动 qdata-quality
nohup java -server -jar \
-Djava.security.egd=file:/dev/./urandom \
-Dspring.profiles.active=prod \
-Dserver.port=8088 \
qdata-quality.jar >>/dev/null &

ps -ef | grep qdata
ss -lntp | grep -E '8082|8083|8088'
curl -I http://127.0.0.1:8082

# 首次初始化
sudo docker-compose --profile schema up -d

# 启动全部服务
sudo docker-compose --profile all up -d

# 查看状态
sudo docker-compose --profile all ps

docker ps
ps -ef | grep java

ss -lntp | grep -E '80|8082|8083|8088|12345'
curl -I http://127.0.0.1:80