首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • AutoMQ 对象存储数据高效组织的秘密: Compaction

    依然以上图为例,假设 Compaction 可用内存限制为 150,则本次 Compaction 将分为两个迭代完成: 在第一轮迭代中,S0 的两个数据段将作为 SSO-3 的第一个 Part 被上传 在第二轮迭代中,此前被截断的 S2 剩余数据段(435-500)会被单独上传为一个 SO,S2 的剩余数据段会作为 SSO-3 的第二个 Part 被上传。 S0 (20-25) 以及 S1 (60-120) 两个数据段SSO-2 一次 Batch Read 读取 S2 (400-435) 数据段S0 (0-20) 和 S0 (20-25) 读取完成后作为 SSO S3 (210-230) 和 S3 (230-270) 读取完成后作为 SSO-3 的最后一个 Part 上传 3.4 Commit 元数据 当所有的迭代都执行完成后,对象存储中已经生成了本次 Compaction

    31800编辑于 2024-05-27
领券