首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >用于PostgreSQL的Logstash多行滤波器

问用于PostgreSQL的Logstash多行滤波器
EN

Stack Overflow用户
提问于 2015-02-04 16:57:18
回答 1查看 1.8K关注 0票数 0

我正在尝试为postgresql日志创建过滤器。日志记录可以是单行的,例如

代码语言:javascript
复制
2014-01-14 17:23:08 EST DETAIL:  Remote detail: Key (id)=(913072088342860500) already exists.

或多行:

代码语言:javascript
复制
2014-02-04 19:26:08 EST CONTEXT:  Remote context: SQL statement "INSERT INTO     images.images_contents_part_2014_01_05 SELECT $1.*"
        PL/pgSQL function insert_find_part() line 25 at EXECUTE statement
        SQL statement "INSERT INTO images.images_contents_master SELECT NEW.*"
        PL/pgSQL function images_contents_insert_trigger() line 6 at SQL statement
        SQL statement "INSERT INTO images.images_contents (id,content_id, image, created)
              VALUES (images.images_make_id_from_created(created_at),content_id, image_path, created_at)
            RETURNING id"
        PL/pgSQL function insert_news_image(character varying,bigint,timestamp without time zone) line 11 at     SQL statement
        SQL statement "SELECT
                media_id AS id
              FROM contents.insert_news_image(i, id) AS media_id"
        PL/pgSQL function insert_news_media(bigint,character varying[],character varying[]) line 21 at SQL     statement

我需要提取信息的时间,类型的消息(上下文,细节,调试等)和文本的消息。我认为它需要使用多行编解码器,但我不知道如何实现它。

谢谢!

EN

回答 1

Stack Overflow用户

发布于 2015-02-05 06:44:28

有(可能)两种可行的办法:

  • 将一行与上一行合并,如果行以空格开头,或
  • 如果行不以时间戳开头,则将该行与前一行合并。

我不知道PostgreSQL的日志格式是否保证所有的连续行都以空格开头,但很有可能。如果不是的话,第一个选择显然是不行的。下面是一个如何完成前者的示例:

代码语言:javascript
复制
filter {
  multiline {
    pattern => "^\s+"
    what => "previous"
  }
}

如果你喜欢的话,我相信你可以用多行编解码器代替。

注意,Logstash <1.5有一个bug (LOGSTASH-2067),它阻止它从多行输入中拾取最后一行。另见logstash多行过滤器:消息刷新的最后一部分。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/28327054

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档