TensorFlow XLA会处理稀疏张量吗？

Question

我已经在这里阅读了XLA预发行版文档。

https://www.tensorflow.org/versions/master/resources/xla_prerelease#xla_accelerated_linear_algebra

它讨论了元素的数据类型，但没有深入讨论张量本身的数据组织。一旦XLA可用，SparseTensor对象上的操作将如何处理？

Answer 1

布局限制了输入和输出张量的数据组织，并且不包括稀疏布局，尽管正如晶悦所建议的那样，它们可以在未来进行扩展。原则上，AST中张量的内部表示可以是后端想要的任何东西，并且预计编译器可以将数据重新组织为不同的布局，以方便不同后端实现的不同运算符。

我不知道有谁花了太多的心思在如何有效地为稀疏张量做这件事上。原则上，也许它可以作为一个编译器路径来推断稀疏性并传播它，并对所有相关操作符进行稀疏实现。现在还不存在这样的情况。

Answer 2

不，XLA专注于密集张量，并且没有以一种有效的方式处理稀疏张量，目前。

它可以很容易地扩展，允许用户使用layouts来表达一些稀疏性(例如，内部填充)。

Answer 3

稀疏数据是我们希望工作的东西，尽管它有一些挑战。例如，目前XLA依赖于静态地知道每个缓冲区的确切大小。我们当然可以找到一种方法来解决这个问题，但到目前为止，我们一直专注于密集数据。