首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >使用xmlstarlet将包含重复字段和缺少字段的XML转换为制表符分隔

问使用xmlstarlet将包含重复字段和缺少字段的XML转换为制表符分隔
EN

Stack Overflow用户
提问于 2020-05-09 01:52:21
回答 2查看 135关注 0票数 0

我有一个很大的复杂XML文件,其中包含如下所示的模式

代码语言:javascript
复制
<?xml version="1.0" encoding="UTF-8"?>
<records>
  <record>
    <field1>field1</field1>
    <field2>field2</field2>
    <field2>field2</field2>
    <field3>field3</field3>
    <field4>field4</field4>
    <field4>field4</field4>
  </record>
  <record>
    <field1>field1</field1>
    <field1>field1</field1>
    <field3>field3</field3>
    <field4>field4</field4>
    <field4>field4</field4>
  </record>
</records>

我想使用xmlstarlet将其转换为制表符分隔,并使用分号分隔重复的字段,例如

代码语言:javascript
复制
field1\tfield2;field2\tfield3\tfield4;field4
field1;field1\t\tfield3\t\field4;field4

在将文件提供给xmlstarlet之前,我可以通过字符串处理例程折叠重复的字段来完成所需的操作,但这感觉很麻烦。在xmlstarlet中有没有一种优雅的方式来完成这一切?

EN

回答 2

Stack Overflow用户

发布于 2021-08-12 21:05:19

从你问起已经有一段时间了。然而..。

使用xmlstarlet 1.6.1版提取字段名称并对其进行排序,以确定字段顺序,然后生成制表符分隔值:

代码语言:javascript
复制
xmlstarlet sel \
-N set="http://exslt.org/sets" -N str="http://exslt.org/strings" \
-T -t \
--var fldsep="'$(printf "\t")'" \
--var subsep="';'" \
--var allfld \
  -m '*/record/*' \
    -v 'name()' --nl \
  -b \
-b \
--var uniqfld='set:distinct(str:split(normalize-space($allfld)))' \
-m '*/record' \
  --var rec='.' \
  -m '$uniqfld' \
    --sort 'A:T:-' '.' \
    -v 'substring($fldsep,1,position()!=1)' \
    -m '$rec/*[local-name() = current()]' \
      -v 'substring($subsep,1,position()!=1)' \
      -v '.' \
    -b \
  -b \
--nl < file.xml

编辑:--sort从$allfld移动到-m $uniqfld。

其中:

  • 输入中的所有字段名称都收集在$allfld变量中
  • 使用exslt函数set:distinct和str:split从
  • 创建唯一字段名称的节点集$uniqfld节点集确定字段输出在此处按文档顺序输出字段,但接受D22子句
  • 在以下情况下,D25表达式将发出分隔符

给定以下输入,该输入与OP的输入不同,

代码语言:javascript
复制
<?xml version="1.0" encoding="UTF-8"?>
<records>
  <record>
    <field2>r1-f2A</field2>
    <field2>r1-f2B</field2>
    <field3>r1-f3</field3>
    <field4>r1-f4A</field4>
    <field4>r1-f4B</field4>
    <field6>r1-f6</field6>
  </record>
  <record>
    <field1>r2-f1A</field1>
    <field1>r2-f1B</field1>
    <field3/>
    <field4>r2-f4A</field4>
    <field4>r2-f4B</field4>
    <field5>r2-f5</field5>
    <field5>r2-f5</field5>
  </record>
  <record>
    <field6>r3-f6</field6>
    <field4>r3-f4</field4>
    <field2>r3-f2B</field2>
    <field2>r3-f2A</field2>
  </record>
</records>

输出变为:

代码语言:javascript
复制
    r1-f2A;r1-f2B   r1-f3   r1-f4A;r1-f4B       r1-f6
r2-f1A;r2-f1B           r2-f4A;r2-f4B   r2-f5;r2-f5 
    r3-f2B;r3-f2A       r3-f4       r3-f6

或者,通过sed -n l管道显示不可打印的文件,

代码语言:javascript
复制
\tr1-f2A;r1-f2B\tr1-f3\tr1-f4A;r1-f4B\t\tr1-f6$
r2-f1A;r2-f1B\t\t\tr2-f4A;r2-f4B\tr2-f5;r2-f5\t$
\tr3-f2B;r3-f2A\t\tr3-f4\t\tr3-f6$

使用自定义字段输出顺序可以简化为:

代码语言:javascript
复制
xmlstarlet sel -T -t \
--var fldsep="'$(printf "\t")'" \
--var subsep="';'" \
-m '*/record' \
  --var rec='.' \
  -m 'str:split("field6 field4 field2 field1 field3 field5")' \
    -v 'substring($fldsep,1,position()!=1)' \
    -m '$rec/*[local-name() = current()]' \
      -v 'substring($subsep,1,position()!=1)' \
      -v '.' \
    -b \
  -b \
--nl < file.xml

在没有--sort的情况下,再次发出文档顺序中的重复字段。

请注意,在--var子句中使用EXSLT函数要求使用-N显式声明相应的名称空间,以避免运行时错误(为什么?)

要列出生成的XSLT1.0/ EXSLT代码,请在-t选项之前添加-C。

要创建上述格式化xmlstarlet命令的一行代码-去掉行续行符和前导空格-通过以下sed命令对它们进行管道化:

代码语言:javascript
复制
sed -e ':1' -e 's/^[[:blank:]]*//;/\\$/!b;$b;N;s/\\\n[[:blank:]]*//;b1'

要列出输入文件中的元素,xmlstarlet的el命令可能很有用,-u表示唯一:

代码语言:javascript
复制
xmlstarlet el -u file.xml

输出:

代码语言:javascript
复制
records
records/record
records/record/field1
records/record/field2
records/record/field3
records/record/field4
records/record/field5
records/record/field6
票数 1
EN

Stack Overflow用户

发布于 2020-05-09 02:28:28

您可以使用以下xmlstarlet命令:

代码语言:javascript
复制
xmlstarlet sel -t -m "/records/record" -m "*[starts-with(local-name(),field)]" -i "position()=1" -v "." --else -i "local-name() = local-name(preceding-sibling::*[1])" -v "concat(';',.)" --else -v "concat('\t',.)" -b -b -b -n input.xml

在伪代码中,它表示如下所示

用于-每个/records/record

  • For-each元素的名称以field

  • If开头它是第一个元素,输出项目

  • 否则

  • 如果检查当前元素名称是否等于前面的一个代码,则输出代码<

>H217><代码>H118;Item >否则输出\tItem

  • b确实意味着“中断”循环,或者如果clause

  • n输出换行符<;Item>H226<代码>F227

它的输出是

代码语言:javascript
复制
field1\tfield2;field2\tfield3\tfield4;field4
field1;field1\tfield3\tfield4;field4

上面的代码以元素名称为基础进行区分。如果要根据元素值进行区分,请使用以下命令:

代码语言:javascript
复制
xmlstarlet sel -t -m "/records/record" -m "*[starts-with(local-name(),field)]" -i "position()=1" -v "." --else -i ". = preceding-sibling::*[1]" -v "concat(';',.)" --else -v "concat('\t',.)" -b -b -b -n a.xml

对于示例XML,输出是相同的(因为字段名称和字段值是相同的)。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/61685065

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档