즐거운 개발 세상

1. Elasticsearch와 Kibana 연동 확인. kibana.yml 설정 파일에 elasticsearch.hosts 항목 확인.elasticsearch.hosts: ["[]()"] 2. Logstash 설정 파일(logstash.conf 또는 logstash.yml 등)에서 output 부분의 Elasticsearch 설정 확인output { elasticsearch { hosts => ["localhost:9200"] index => "your_index_name-%{+YYYY.MM.dd}" } } 3. Logstash에서 Elasticsearch로 데이터 전송 확인curl -X GET "localhost:9200/_cat/indices?v" 4. Kibana에서 Index Patt..

접속 주소: http://설치서버ip:5601/1. Elastic 공식 저장소 추가sudo rpm --import sudo tee /etc/yum.repos.d/elastic.repo 아래 내용 전체를 그대로 복사해서 붙여 넣기. [elastic-7.x] 이 부분도 수정하지 말고 그대로 붙여 넣어야 함.[elastic-7.x]name=Elastic repository for 7.x packagesbaseurl=https://artifacts.elastic.co/packages/7.x/yumgpgcheck=1gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearchenabled=1autorefresh=1type=rpm-mdEOF 2. Kibana 7.0.1 ..

[Logstash 의 필요성]syslog-ng 를 설치해서 다른 서버의 로그를 중앙집중식 로그 관리를 한다.Elasticsearch 를 설치해서 중앙집중된 대량의 로그를 빠르고 효율적으로 조회한다.문제는 수집되는 로그가 터무니없이 길고, 가독성이 너무 떨어진다는 것. 로그 = 단순 문자열 Elasticsearch로 수 십만 건의 긴 문자열을 조회하고 색인을 생성 작업은 굉장한 성능저하가 발생한다.따라서 적절하게 parsing 해줘야한다. 내 경우에는 보통 json 으로 필드화해서 사용한다. [ Logstash 의 장점]ES의 조회 성능과 효율성 모두 "크게" 개선Kibana에서도 필터, 집계, 대시보드 구성이 수월 [설치 방법]1. Elastic 저장소 추가 (이미 있다면 스킵)sudo rpm --imp..

syslog-ng 를 이용하여 대량의 로그를 관리하게 되었다.많은 양의 로그내용을 가지고 효율적이고 빠른 조회를 위해 Elasticsearch 를 설치했다.수 많은 버전 중 무료버전의 가장 마지막 배포버전을 채택했다. 1. Java 11 설치sudo dnf install -y java-11-openjdk-devel2. Elasticsearch 7.10 RPM 다운로드wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.2-x86_64.rpm3. RPM 설치sudo rpm -ivh elasticsearch-7.10.2-x86_64.rpm4. 설정 파일 수정cluster.name: my-applicationnode.name..

해당작업은 CentOS 9버전. 7이하는 2024년부로 지원이 종료되어서 레포지토리를 변경하는 작업이 필요함. 1. epel 설치sudo dnf install epel-release2. syslog-ng 설치# dnf copr 플러그인 설치sudo dnf install dnf-plugins-core# copr 저장소 활성화sudo dnf copr enable czanik/syslog-ng336# syslog-ng 설치sudo dnf install syslog-ng3. rsyslog 중지 및 비활성화sudo systemctl stop rsyslogsudo systemctl disable rsyslog# rsyslog 상태 확인 (inactive 상태여야 함)systemctl status rsyslog4. ..

얼마전 회사에서 리눅스와 우분투를 만질 기회가 있었어. 지금은 그냥 일처리에 필요한 기능만 알고 있을 뿐이지만 앞으로 조금씩 더 공부해서 익혀나가는 걸로! 1. grep 1) 역할: 파일 내용, 콘솔 출력 내용에서 문자열 검색해서 보여줌. 2) 예시: grep -v (문자열) : 해당 문자열을 제외한 결과를 출력해준다. 2. awk 1) 역할: 패턴 탐색 및 처리.파일에서 결과 추출 및 가공. 2) 예시: awk '{print $2}' 3. find 1) 역할: 파일 및 디렉토리 등 검색 2) 예시 find /linu 4. exec 1) 역할: 앞 명령어 실행 결과를 입력받아 “\;” 라는 표기자를 만날때까지 읽고 실행 5. xargs 1) 역할: 앞 명령어 실행 결과를 입력받아 인자 연속 나열하여 명령..