实现HashMap插入的高吞吐量

Question

我正在处理大量的数据，这些数据正在从硬盘中读取并放入HashMap中。使用Externalized代替Serializable对读取过程进行了优化，因此实际数据量不成问题。

这个过程中的瓶颈是在这个过程中被填充的HashMap<Long, Entity>。我的代码如下：

public void readExternal(ObjectInput in) throws IOException, ClassNotFoundException {
    int nbEntries = in.readInt();
    entities = new HashMap<>(nbEntries);
    for(int i = 0; i < nbEntries; i++) {
        Entity entity = new Entity(0);
        relation.readExternal(in);
        //entities.put(entity.getId(), entity); //<-- Bottleneck!
    }
}

作为比较:读取4Gb的数据需要93秒，包括插入HashMap和14秒而不插入。

是否有一种将大量数据插入到HashMap中的快速方法？数据不必保持为HashMap。Map可能是不可变的，但是访问性能至关重要。

Answer 1

读取和存储数据与读取和丢弃数据之间的比较是不公平的，因为它对内存分配程序没有负载。通过运行以下实验，您可以很快看出这一点：

public void readExternal(ObjectInput in) throws IOException, ClassNotFoundException {
    int nbEntries = in.readInt();
    Entity[] entities = new Entity[nbEntries];
    for(int i = 0; i < nbEntries; i++) {
        Entity entity = new Entity(0);
        relation.readExternal(in);
        entities[i] = entity;
    }
}

现在保留实体而不是丢弃它们，时间就更接近在散列图中存储实体的时间了。由于将实体存储在数组中几乎是一种瞬时操作，因此在上述运行的时间安排之上，没有多少改进可以实现。

Answer 2

如果@dasblinkenlight是正确的(我认为他是！)关于内存分配和垃圾收集是真正的瓶颈，那么您可以通过使用更大的初始和最大堆大小来改进加载时间，例如使用-Xms和-Xmx选项。然而，也有可能这不会有多大帮助。

但是，没有更快的方法来执行HashMap插入。您已经在做一件事情(在您的代码中)，这将产生不同的效果。