Environment To understand the Elastic Stack platform, let’s assume that Elasticsearch is a document database that stores the structured document. The Log file format is unstructured data. Every single line of a log cannot be a single document. So, we need to parse the message and extract the key and values of the field. The program, Logstash read the files and made a structured document from an ..
data engineering할 때, 로그를 시간 순서대로 읽어들일 때, 하나의 로그에 여러 필요한 필드들이 모여있지 않은 경우가 많다. 따라서 앞에서 찍힌 값을 뒤에서 사용하는 부분, 그리고 엑셀에서 +로 하단 필드를 이전 값을 앞,뒤 값으로 동일하게 채우는 그런 기능을 Backfill 또는 forwardFill 이라고 한다. Elasticsearch에서는 앞에 값을 사용하여 뒤에 값을 계산해서 넣는 duration시간 계산을 하는 경우도, 이와 같이 backfill 기능으로 비슷하기에 aggregate plugin을 제공하고 있다. https://www.elastic.co/guide/en/logstash/current/plugins-filters-aggregate.html Aggregate filte..
curl -XPUT -u elastic:패스워드 http://192.168.16.148:9200/my-index-000001 -H 'Content-Type: application/json' -d ' { "mappings": { "properties": { "location": { "type": "geo_point" } } } }' index에 미리 만들어놓고 덮어쓰기 결과 {"acknowledged":true,"shards_acknowledged":true,"index":"my-index-000001"}1001460000@logstash-node-0:/usr/share/logstash/bin$
인데스 잘 생성되나 싶었는데 "caused_by"=>{"type"=>"illegal_argument_exception", "reason"=>"Limit of total fields [1000] has been exceeded while adding new fields [1]"}}}} 이런 에러가 뜨면서 진행되지 않았다. 의미는...인덱스 개수 제한이 기본이 1000에 걸린 것 같다. 그래서 찾아보니 세팅값 수정하면 될듯하다. You can fix the issue by increasing the value of index.mapping.total_fields.limit (default 1000) index.mapping.total_fields.limit The maximum number of fields..
official doc: https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.html Grok filter plugin | Logstash Reference [8.6] | Elastic Variable substitution in the id field only supports environment variables and does not support the use of values from the secret store. www.elastic.co filter doc : https://www.elastic.co/guide/en/logstash/current/plugins-filters-json.html JSON filter pl..
선택의미 -Xms 힙 메모리의 초기 크기 지정 -Xmx 힙 메모리의 최대 크기 지정 -XX:새로운 비율 이전 영역과 젊은 영역의 크기 비율 지정 -XX:새로운 크기 젊은 영역의 초기 크기 지정 -XX:맥스뉴사이즈 젊은 영역의 최대 크기 지정 -Xmn -XX: 뉴사이즈와 유사함 -XX : 파마 크기 영구 영역의 초기 크기 지정(Java 7 이하에서 유효) -XX : 최대 타마 크기 영역의 최대 크기 지정(Java 7 이하에 유효) -XX:메타스페이스 크기 메타스페이스 GC를 수행하기 위한 대략적인 크기 지정(java8 이상에서 유효) -XX:최대 메타스페이스 크기 메타스페이스의 최대 크기 지정(Java 8 이상에서 유효) -XX:평행GC읽기 가비지 수집기가 실행될 스레드 수 지정 -자세한 정보: GC 로그..
> oc get pods NAME READY STATUS RESTARTS AGE elasticsearch-node-0 0/1 Terminating 0 10m oc delete pod elasticsearch-node-0 --grace-period=0 --force --namespace elk oc or kubectl pod가 UI 상으로 종료가 안되고 stuck인 경우, storage 기존에 있는 것을 삭제 않고 pods 만 지웠을 때 나는 에러이며, 강제 종료를 하려면 저 cmd를 사용하면 된다. oc delete pod [pods명] --grace-period=0 --force --namespace [namespace명] #kubenetes #kube #oc #openshift #pod
sdfsdfsdfsdfsdfsdf sdf sdf sdf sd fsd f
- Total
- Today
- Yesterday
- 기본
- mongodb
- quiz
- LeetCode
- MachineLearning
- ML
- amazon
- Neo4j
- pytorch
- geometry
- 통계
- 알고리즘
- Paper
- nvidia #gan
- tag hello
- 자바
- 파이썬
- LECTURE
- Shell
- extract archive multiple files
- linkedin-skill-assessments-quizzes
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 | 31 |