Spark2 mongodb连接器多态模式

Question

我有一个集合col，包含

{
   '_id': ObjectId(...)
   'type': "a"
   'f1': data1
}

和我收藏的一样

{
   '_id': ObjectId(...)
   'f2': 222.234
   'type': "b"
}   

火花MongoDB连接器工作不太好。它在错误的字段中重新排序数据

例如：

{
   '_id': ObjectId(...)
   'type': "a"
   'f1': data1
}


{
   '_id': ObjectId(...)
   'f1': data2
   'type': "a"
}

Rdd将是：

------------------------
|  id  |  f1   | type  |
------------------------
| .... |  a    | data1 |
| .... | data2 | a     |
------------------------

是否有使用多态模式的建议？

Answer 1

是否有使用多态模式的建议？

(意见提醒)最好的建议是从一开始就不要有。从长期来看，这是不可能的，非常容易出错，并且需要在客户端进行复杂的补偿。

如果你有一个，怎么办？

• 您可以尝试使用聚合框架和$project对数据进行消毒，然后再将数据取到Spark。例如，请参见文档的聚集段。
• 不要试图将其与结构化格式相结合。使用RDDs，以普通Python dict的形式获取数据，并手动处理问题。