cubin是最有效的部署格式吗？

Question

假设我事先知道我的部署服务器的操作系统版本和设备的功能。cubin是要部署的最有效的文件吗？

Answer 1

从设备选项的角度来看，唯一会显著影响执行时间的是JIT compiling。

假设JIT缓存足够大，足以容纳特定于设备的编译版本，则只有在应用程序第一次运行时才会感受到这一影响。此后，JIT缓存将包含正确的代码。

如果你想避免这种第一次运行的惩罚，唯一需要做的就是在编译应用的过程中传递nvcc appropriate switches到你的设备上。

多维数据集文件only contains device binary code。fatbin可以包含用于多个设备的设备二进制码。通过提供正确的设备二进制代码，您可以使用avoid JIT start-up delay。最终，这些格式(cubin或fatbin)将被收集到包含主机和设备代码的可执行文件中。您不需要显式地以cubin或fatbin为目标，这将生成仅包含设备代码的文件。