我有一个input.txt文件,如下所示:
"John"
"Sena"
"01/01/1976"
"Surrey"我希望有一个端点,它将返回以下格式的数据:
{
"firstName": "John",
"lastName": "Sena",
"dateOfBirth": "01/01/1976",
"placeOfBirth": "Surrey"
}我希望使用GCP Dataflow来处理文本文件,并使用Spring Boot框架来获得最终的端点。
现在,我可以通过数据流作业读取input.txt文件。接下来,我想通过一个端点返回数据。
我应该如何继续?请谁来帮帮我。
发布于 2021-02-11 04:41:56
如果输入文件是逗号分隔的文件,则示例代码可能如下所示:
class Transaction(beam.DoFn):
def process(self, element):
-->>***Conversion of data to JSON based on element-number*** <<---
return [{JSON-Data}]
data_loading = (
p1
|'Read from File' >> beam.io.ReadFromText(known_args.input,skip_header_lines=0)
|'Splitting of Fields' >> beam.Map(lambda record: record.split(','))
|'Concerting to JSON' >> beam.ParDo(Transaction())
|'Pushing on endpoint' >> ...... end point ...
)https://stackoverflow.com/questions/66127316
复制相似问题