我有多个包含数十万条记录的文件,格式如下:
2010/08/10 10:07:52|TrainZoom|1393|38797|MyCustomerAPI->,mask = ZPTA,TransId = 1281460071578,testing :-> , capture -> : , IMDB = 9113290830, equipmentName = GMT, technologyName = RMS,,,)|
字段之间用竖线隔开,在一个字段内(最后)还有许多其他字段用逗号隔开。我想要做的是将所有这些值存储在数据库中。对于上面的示例,我的DB字段将是date-time、process-name、thread-id、sequence-num、API、transId、imdb、equipmentName、technologyName。
API名称没有固定的格式,但我可以假设它的长度是固定的。
如果我可以在Unix中使用awk或sed来做这件事,请让我知道。
谢谢,
发布于 2010-09-03 14:40:14
只是为了好玩:
cat file.txt | sed -e 's/\([^|]*\)|\([^|]*\)|\([^|]*\)|\([^|]*\)|/insert into table set date-time=\1, process-name=\2, thread-id=\3, sequence-num=\4, /' -e 's/,[^=]*,/,/g' -e 's/ \([,=]\)/\1/g' -e 's/\([,=]\) /\1/g' -e 's/\([^,]*\)=\([^,]*\),/\1="\2",/g' -e 's/"[^"]*$/";/' | mysql dbname发布于 2010-09-03 13:58:52
是的,你至少可以在awk中进行解析,
awk -F"|" 'BEGIN{q="\047"}
{
printf "insert into table values("
printf q $1 q","q $2,","
# fill up the rest yourself
}
' file 上面生成了一组insert语句。您可以将它们通过管道传送到数据库客户端,或者将它们保存到.sql文件中,然后使用数据库客户端来执行它。
发布于 2010-09-03 13:11:08
我会使用perl或python来完成这项工作,因为它们为不同风格的DB提供了DB连接器。我不明白你想让awk或sed做什么,因为它们是“文本到文本的转换器”。
您应该完成您的问题以阐明您的目标(text => sql script?例如)和目标DB,如果您想要一些示例代码。
https://stackoverflow.com/questions/3633155
复制相似问题