Apache Doris 数据导入方案终极指南：原理、优化与问题排查

Client(提交任务) → [FE (协调任务)] → BE (数据写入/均衡)

LOAD LABEL db.transform_demo (
  DATA INFILE("hdfs://path/data.csv")
  INTO TABLE target_table
  COLUMNS TERMINATED BY ","
  (raw_ts, uid, temp_value, dyn_col)
  PRECEDING FILTER uid = 666
  SET (
      event_time = from_unixtime(raw_ts),
      value = if(temp_value = 'null', null, cast(temp_value as DECIMAL(10,2))),
      category = case
          when dyn_col in ('A','B') then'Group1'
          else'Group2'
      end
  )
  WHERE raw_ts > 666
)

FE 配置：enable_single_replica_load = true
BE 配置：enable_single_replica_load = true
环境变量（insert into）: set experimental_enable_single_replica_insert = true;

设置sync_tablet_meta=false（无高可用需求时），减少元数据同步。
控制并发数不超过 BE 的 HTTP Server 线程数（默认 48）（be 参数webserver_num_workers）。

任务配置：
增大批次参数：max_batch_interval=60s 
max_batch_size=1G。（注意数据可见性的时间要求）
调整并发数：desired_concurrent_number需小于 BE 的routine_load_consumer_pool_size（默认 10）。
Fe：max_routine_load_task_num_per_be=1024，max_routine_load_task_concurrent_num=256
Be：routine_load_consumer_pool_size=10

并行度调优：
设置任务参数：load_parallelism=8、send_batch_parallelism=1。（后者仅在关闭 memtable 前移时生效）
调整 FE 全局参数：max_broker_concurrency=10。

max_base_compaction_task_num_per_disk：默认值 2，每个磁盘最大compaction任务数 （视情况增大）
vertical_compaction_num_columns_per_group：默认值 5，在列式 compaction 中，组成一个合并组的列个数 （视情况增大）
max_base_compaction_threads ：默认值 2， Base Compaction 线程池中线程数量的最大值，-1 表示每个磁盘一个线程。（视情况增大）

async_loading_load_task_pool_size：默认值10， loading_load任务执行程序池大小。该池大小限制了正在运行的最大 loading_load任务数。当前，它仅限制 broker load的 loading_load任务的数量。