elasticsearch backfill, forward-fill with previous log's value

data engineering할 때, 로그를 시간 순서대로 읽어들일 때, 하나의 로그에 여러 필요한 필드들이 모여있지 않은 경우가 많다.

따라서 앞에서 찍힌 값을 뒤에서 사용하는 부분, 그리고 엑셀에서 +로 하단 필드를 이전 값을 앞,뒤 값으로 동일하게 채우는 그런 기능을 Backfill 또는 forwardFill 이라고 한다.

Elasticsearch에서는 앞에 값을 사용하여 뒤에 값을 계산해서 넣는 duration시간 계산을 하는 경우도, 이와 같이  backfill 기능으로 비슷하기에 aggregate plugin을 제공하고 있다.

https://www.elastic.co/guide/en/logstash/current/plugins-filters-aggregate.html

Aggregate filter plugin | Logstash Reference [8.7] | Elastic

 

하지만, 내 경우는 duration도 아니고, 값이 AAAAOOOOAOOAOAOAO이런식으로 unique하게 반복되는 task_id가 존재하지도 않았다. 따라서 %{host}%{file} 와 같이 변수가 바뀌지 않는 static 값 같은 것을 찾아서, 고정으로 사용해버리고, timeout을 제일 짧게 1로 설정하였다.

#이전 값을 변수로 불러와서 사용하는 부분
#값이 2개면 그냥 두줄 써야함 code 블럭에 동시에 넣으면 안됨

aggregate {
	task_id => "%{host}%{file}"
	code => "event.set('navLatitude', map['navLatitude'])"
}
aggregate {
	task_id => "%{host}%{file}"
	code => "event.set('navLongitude', map['navLongitude'])"
}

#현재 값을 내장변수로 저장하는 부분
aggregate {
	task_id => "%{host}%{file}"
	code => "map['navLatitude'] = event.get('navLatitude')"
}
aggregate {
	task_id => "%{host}%{file}"
	code => "map['navLongitude'] = event.get('navLongitude');"
	push_previous_map_as_event => true
	timeout => 1
}