我正在尝试为postgresql日志创建过滤器。日志记录可以是单行的,例如
2014-01-14 17:23:08 EST DETAIL: Remote detail: Key (id)=(913072088342860500) already exists.或多行:
2014-02-04 19:26:08 EST CONTEXT: Remote context: SQL statement "INSERT INTO images.images_contents_part_2014_01_05 SELECT $1.*"
PL/pgSQL function insert_find_part() line 25 at EXECUTE statement
SQL statement "INSERT INTO images.images_contents_master SELECT NEW.*"
PL/pgSQL function images_contents_insert_trigger() line 6 at SQL statement
SQL statement "INSERT INTO images.images_contents (id,content_id, image, created)
VALUES (images.images_make_id_from_created(created_at),content_id, image_path, created_at)
RETURNING id"
PL/pgSQL function insert_news_image(character varying,bigint,timestamp without time zone) line 11 at SQL statement
SQL statement "SELECT
media_id AS id
FROM contents.insert_news_image(i, id) AS media_id"
PL/pgSQL function insert_news_media(bigint,character varying[],character varying[]) line 21 at SQL statement我需要提取信息的时间,类型的消息(上下文,细节,调试等)和文本的消息。我认为它需要使用多行编解码器,但我不知道如何实现它。
谢谢!
发布于 2015-02-05 06:44:28
有(可能)两种可行的办法:
我不知道PostgreSQL的日志格式是否保证所有的连续行都以空格开头,但很有可能。如果不是的话,第一个选择显然是不行的。下面是一个如何完成前者的示例:
filter {
multiline {
pattern => "^\s+"
what => "previous"
}
}如果你喜欢的话,我相信你可以用多行编解码器代替。
注意,Logstash <1.5有一个bug (LOGSTASH-2067),它阻止它从多行输入中拾取最后一行。另见logstash多行过滤器:消息刷新的最后一部分。
https://stackoverflow.com/questions/28327054
复制相似问题