批预测Vertext AI

Question

如何创建包含GoogleCloud桶中文件列表的JSONL文件，以便在顶点AI中进行批预测？到目前为止我尝试过的。

1. 从桶中获取文件列表并将其写入txt文件gsutil ls gs://bucket/dir > list.txt
2. 按照list.txt将list.jsonl转换为Vertext AI文档

{"content": "gs://sourcebucket/datasets/images/source_image1.jpg", "mimeType": "image/jpeg"}
{"content": "gs://sourcebucket/datasets/images/source_image2.jpg", "mimeType": "image/jpeg"}

在创建批处理预测之后，我得到了以下错误：cannot be parsed as JSONL.，如何更正这个JSONL文件的格式？另外，是否可以直接将存储桶中的列表文件导出为JSONL文件格式？

Answer 1

下面是您可以运行的一些python代码，以便从列表中创建一个可以工作的JSON行文件。(由于在Google文档中并不完全清楚，对于这个过程中的新手来说，在Google命令shell中，首先可以使用Unix命令从文件夹的内容创建列表。如果"ls“和"cat”对你来说是新的，那就给自己找一个Unix吧。)如果您是在Windows/MacOS/Linux/YourFlavorOfWeirdness中运行python脚本的新手，那么就有各种各样的网络教程要做什么。首先，将此代码段保存为"googleparse.py“

假设输入文件为"googlelist.txt"，指定googleparse.jsonl的输出，在命令提示符中输入以下内容。

% python3 googleparse1.py -o googleparse.jsonl googlelist.txt

#
# googleparse.py by Cyberchuck2000:
#
# Parse a list of images from the Google Cloud and format
# into the Google parse format
#
import argparse

parser = argparse.ArgumentParser(description='Produce JSONL files for Google Parse')
parser.add_argument('inputfilename')
parser.add_argument('-o',dest='outputfilename', default='googleparse.jsonl')

prefix = '{"content": \''
suffix = '\', "mimeType": "image/jpeg"}'

args = parser.parse_args()
if args.inputfilename is not None:
    print('The file name is {}, output is {}'.format(args.inputfilename,args.outputfilename))
else:
    print('Oh well ; No args, no problems')

with open(args.inputfilename) as inputf:
    lines = inputf.readlines()

with open(args.outputfilename, 'w') as writef:
    for line in lines:
        line = line.strip()
        outline = prefix + line + suffix + "\n"
        writef.write(outline)

print("**DONE**")