用dl4j RecordReader解析JSON

Question

我计划在数据集上使用dl4j，该数据集的格式如下：

{“文章”：[{“abstractText”：“文本.”、“日记”：“日记.”、"meshMajor":"mesh1“、.、"meshN”、“PMID”：“mesh1”、“标题”：“标题.”、“年份”：“YYYY}、.}]}}

字段meshMajor包含类标签，其余的是模型的输入。输入特性是文本数据。

我想知道是否有像CSV这样的JSON数据集迭代器。我查阅了github上的例子，但是找不到一个。如果没有可用的，可以有人提供一些关于实现它的提示吗？

谢谢!

Answer 1

在DL4J的gitter中询问了这个Q，解决方案是使用Jackson记录读取器。其他详细信息可用https://github.com/deeplearning4j/DataVec/tree/master/datavec-api/src/main/java/org/datavec/api/records/reader/impl/jackson，读取JSON的示例可在

1. https://github.com/deeplearning4j/DataVec/blob/master/datavec-api/src/test/java/org/datavec/api/records/reader/impl/JacksonLineRecordReaderTest.java和，
2. https://github.com/deeplearning4j/DataVec/blob/master/datavec-api/src/test/java/org/datavec/api/records/reader/impl/JacksonRecordReaderTest.java

注意，JacksonLineRecordReader和JacksonRecordReaderTest.java之间有一个区别，前者要求每个JSON记录正好跨越一行，后者要求每个JSON记录都有一个文件。

Answer 2

这似乎是一个很有希望的开端：

https://deeplearning4j.org/docs/latest/datavec-serialization

然后，您应该能够在这里使用以下示例：

https://github.com/deeplearning4j/dl4j-examples/tree/master/datavec-examples/src/main/java/org/datavec/transform/basic