3.3.1-3.4.1兼容性分析

<property>
  <name>fs.azure.networking.library</name>
  <value>JDK_HTTP_URL_CONNECTION</value>
  <!-- 或 APACHE_HTTP_CLIENT -->
</property>

// 旧代码（3.3.1）- 会编译失败
public class MyFileSystem extends FileSystem {
    // 继承了 protected CommonsLogging LOG
}

// 新代码（3.4.1）- 必须修改
public class MyFileSystem extends FileSystem {
    private static final Logger LOG = LoggerFactory.getLogger(MyFileSystem.class);
}

// 如果有序列化类使用了旧类名，需添加别名
WritableName.addName("com.example.OldClass", NewClass.class);

<!-- 排除旧的 log4j 1.x -->
<exclusion>
    <groupId>log4j</groupId>
    <artifactId>log4j</artifactId>
</exclusion>

<!-- 排除 reload4j（如果不需要）-->
<exclusion>
    <groupId>ch.qos.reload4j</groupId>
    <artifactId>reload4j</artifactId>
</exclusion>
<exclusion>
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-reload4j</artifactId>
</exclusion>

<!-- 如果使用 LZ4 压缩 -->
<dependency>
    <groupId>org.lz4</groupId>
    <artifactId>lz4-java</artifactId>
    <version>1.8.0</version>
</dependency>

<!-- 如果使用 Snappy 压缩 -->
<dependency>
    <groupId>org.xerial.snappy</groupId>
    <artifactId>snappy-java</artifactId>
    <version>1.1.8.2</version>
</dependency>

□ 1. 扫描代码中对以下包的引用：
   - org.apache.hadoop.fs.s3a.S3A* (AWS SDK V2 变化)
   - org.apache.hadoop.fs.FileSystem.LOG (已移除)
   - org.apache.hadoop.yarn.webapp.hamlet.* (已移除)

□ 2. 检查 Maven/Gradle 依赖：
   - Jackson 版本冲突（确保仅使用 2.12.7+）
   - 排除 log4j 1.x 相关依赖

□ 3. 测试关键路径：
   - HDFS 读写操作
   - YARN 任务提交
   - 自定义 Committer/FileSystem

□ 4. 验证配置：
   - rpc-timeout 相关配置
   - 编码相关（UTF-8）

// 生成的 Message 类
public class MyMessage extends GeneratedMessage {
    // 使用 Builder 模式
    public static MyMessage parseFrom(byte[] data);
    // 字段访问
    public String getName();
    public boolean hasName();
}

// 生成的 Message 类（API 变化）
public class MyMessage extends GeneratedMessageV3 {
    // 解析方法类似但实现不同
    public static MyMessage parseFrom(byte[] data);
    // 字段访问 - 空字段处理不同
    public String getName(); // 空字段返回空字符串而非 null
    // 新增方法
    public Builder toBuilder();
}

┌─────────────────┐         ┌─────────────────┐
│ Hadoop 3.3.1    │  ─RPC─▶ │ Hadoop 3.4.1    │
│ (Proto 2.5)     │   ✗     │ (Proto 3.23)    │
└─────────────────┘         └─────────────────┘

错误：Protobuf 版本不匹配，无法反序列化消息

// 旧代码（使用 Proto 2.5 生成的类）
public class MyCustomProtocol implements ProtocolProxy {
    MyMessage parseRequest(byte[] data) {
        return MyMessage.parseFrom(data); // Proto 2.5 API
    }
}

// 升级后需要重新生成类并修改代码
public class MyCustomProtocol implements ProtocolProxy {
    MyMessage parseRequest(byte[] data) {
        return MyMessage.parseFrom(data); // Proto 3.x API，但类已重新生成
    }
}

<dependency>
    <groupId>org.apache.hadoop.thirdparty</groupId>
    <artifactId>hadoop-shaded-protobuf_3_25</artifactId>
    <version>1.3.0</version>
</dependency>

□ 1. 检查项目依赖
   ├─ 搜索所有 protobuf-java 依赖
   ├─ 确认版本统一为 3.23.x+
   └─ 排除冲突的 protobuf 2.x

□ 2. 重新生成 Protocol 类
   ├─ 使用新版 protoc (23.x) 重新编译 .proto 文件
   └─ 更新所有生成的 Java 类

□ 3. 检查代码兼容性
   ├─ 检查 hasXxx() 方法调用（proto3 中空值处理不同）
   ├─ 检查字段默认值逻辑
   └─ 检查 Builder 模式使用

□ 4. 验证第三方组件
   ├─ Spark/Flink 等的 protobuf 版本
   └─ 必要时使用 shade 插件重定位

□ 5. 集群升级策略
   ├─ 全量升级，不支持滚动升级
   └─ 升级期间服务不可用

# log4j.properties - 完全兼容
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n

□ 1. 更新 Maven 依赖
   <dependency>
     <groupId>ch.qos.reload4j</groupId>
     <artifactId>reload4j</artifactId>
     <version>1.2.25</version>
   </dependency>

□ 2. 排除旧的 log4j 依赖
   <exclusion>
     <groupId>log4j</groupId>
     <artifactId>log4j</artifactId>
   </exclusion>

□ 3. 验证日志配置文件

□ 4. 测试关键日志输出

<!-- 统一版本 -->
<dependency>
    <groupId>com.fasterxml.jackson.core</groupId>
    <artifactId>jackson-core</artifactId>
    <version>2.12.7</version>
</dependency>
<dependency>
    <groupId>com.fasterxml.jackson.core</groupId>
    <artifactId>jackson-databind</artifactId>
    <version>2.12.7</version>
</dependency>
<dependency>
    <groupId>com.fasterxml.jackson.core</groupId>
    <artifactId>jackson-annotations</artifactId>
    <version>2.12.7</version>
</dependency>

// 旧代码（Jackson 1.x）- 不再支持
import org.codehaus.jackson.map.ObjectMapper;
import org.codehaus.jackson.JsonNode;

// 新代码（Jackson 2.x）
import com.fasterxml.jackson.databind.ObjectMapper;
import com.fasterxml.jackson.databind.JsonNode;

□ 1. 扫描代码中 Jackson 1.x 引用
   grep -r "org.codehaus.jackson" .

□ 2. 更新 Maven 依赖
   - 确保只使用 Jackson 2.x
   - 排除 Jackson 1.x 传递依赖

□ 3. 修改代码中的包名导入

□ 4. 验证 JSON 序列化/反序列化

□ 5. 检查第三方组件兼容性

// 旧代码（Netty 3.x）
import org.jboss.netty.channel.Channel;
import org.jboss.netty.buffer.ChannelBuffer;

// 新代码（Netty 4.x）
import io.netty.channel.Channel;
import io.netty.buffer.ByteBuf;

// Netty 3.x
ChannelBuffer buffer = ChannelBuffers.buffer(1024);
buffer.writeBytes(data);

// Netty 4.x
ByteBuf buffer = Unpooled.buffer(1024);
buffer.writeBytes(data);

// Netty 3.x
Channel channel = ...;
channel.write(message);  // 直接写入

// Netty 4.x
Channel channel = ...;
channel.writeAndFlush(message);  // 需要显式 flush

□ 1. 检查代码中 Netty 包引用
   grep -r "org.jboss.netty" .

□ 2. 更新 Maven 依赖到 4.1.77.Final

□ 3. 修改导入语句
   org.jboss.netty.* → io.netty.*

□ 4. 更新 Buffer 相关代码
   ChannelBuffer → ByteBuf

□ 5. 更新 Channel 操作
   write() → writeAndFlush()

□ 6. 验证网络通信功能

META-INF/versions/
├── 9/     # JDK 9+
├── 11/    # JDK 11+
└── 17/    # JDK 17+

□ 1. 更新 Maven 依赖
   <dependency>
     <groupId>org.bouncycastle</groupId>
     <artifactId>bcprov-jdk18on</artifactId>
     <version>1.77</version>
   </dependency>

□ 2. 检查 Security Provider 配置
   Security.addProvider(new BouncyCastleProvider());

□ 3. 验证加密功能
   - HDFS 加密区域
   - KMS 密钥操作
   - HTTPS 通信

□ 4. 检查 ASM 版本兼容性
   - Bouncy Castle 1.68+ 可能与旧版 ASM 冲突

// Hadoop 3.3.1 - 需要系统安装 snappy
// 配置: 需要安装 libsnappy-dev

// Hadoop 3.4.1 - 使用 snappy-java
// 无需额外安装，开箱即用

<!-- Hadoop 3.4.1 压缩配置 -->
<property>
  <name>io.compression.codec.snappy.java.class</name>
  <value>org.apache.hadoop.io.compress.snappy.SnappyCodec</value>
</property>

<!-- 添加 snappy-java 依赖 -->
<dependency>
    <groupId>org.xerial.snappy</groupId>
    <artifactId>snappy-java</artifactId>
    <version>1.1.8.2</version>
</dependency>

□ 1. 更新 Maven 依赖到 1.1.8.2

□ 2. 移除系统 Snappy 安装要求
   - 不再需要 libsnappy-dev
   - 不再需要配置原生库路径

□ 3. 验证压缩功能
   - MapReduce 输出压缩
   - HDFS 文件压缩
   - 中间数据压缩

□ 4. 测试跨平台兼容性
   - Linux x86_64
   - Linux aarch64
   - macOS M1

□ Protocol Buffers
  ├─ 全集群统一升级
  ├─ 重新生成 proto 类
  └─ 处理依赖冲突

□ Jackson
  ├─ 移除 Jackson 1.x 依赖
  ├─ 更新包名导入
  └─ 验证 JSON 处理

□ Netty
  ├─ 更新包名导入
  ├─ 修改 Buffer/Channel API
  └─ 验证网络通信

□ Log4j
  ├─ 更新依赖到 reload4j
  ├─ 排除旧 log4j
  └─ 验证日志配置

□ Bouncy Castle
  ├─ 更新依赖版本
  ├─ 检查 Provider 配置
  └─ 验证加密功能

□ snappy-java
  ├─ 更新依赖版本
  ├─ 移除原生库配置
  └─ 验证压缩功能