Стек технологий Elasticsearch

Отключение и удаление старых индексов

  • 29 November 2019
  • taku

1) скопируем и  установим куратор на какую нибудь мастерноду cd /distro/ yum install elasticsearch-curator-5.6.0-1.x86_64.rpm

2) создадим каталог mkdir /etc/curator
3) создадим config.yml для подключения к elastic

OpenDistro Настраиваем авторизацию через LDAP

  • 29 November 2019
  • taku

Настраиваем авторизацию через LDAP
 
1) Конфигурируем securityconfig/config.yml для авторизации через LDAP
1.1) Правим конфигу на всех серверах OD(OpenDistro)
mcedit /usr/share/elasticsearch/plugins/opendistro_security/securityconfig/config.yml

Создание кластера OpenDistro

  • 29 November 2019
  • taku

1) определяемся с ролью сервера для нас это ALLinOne без warm, с двумя репликами, важно определиться до того как пойдет поток потому, что прийдется сперва сделать шаблон с названиями и настройкой сколько будет реплик и шард. 
Кучу шард под один небольшой сервис делать нет смысла, но и один большой тоже, важно придерживаться правила один шард около 30Гб.

Полезные команды ELK

  • 29 November 2019
  • taku

Через утилиту разработчика
---проверяем что память зарезервирована---
GET _nodes?filter_path=**.mlockall

---просмотр состояния кластера * отмечен ведущий мастер
GET _cat/nodes
GET _cluster/health

---просмотр по загруженности нод---
GET _cat/allocation
GET _cluster/stats?filter_path=**.nodes

---ClusterState просмотр статуса кластера---
GET _cluster/state?pretty
GET _cluster/stats?human&pretty

---ClusterHealth просмотр состояния кластера---
GET _cluster/health?pretty

Установка Logstash

  • 29 November 2019
  • taku

Установка Логстеша на отдельную машину

1) mkdir /distro

2) yum install java-1.8.0-openjdk-devel

3) копируем logstash на сервер в /distro

4) yum install logstash-oss-6.7.1.rpm

5) systemctl enable logstash.service

6) logstash.yml node.name: ls-tkli-middle0009 pipeline.workers: 4 #по кол. cpu (cat /proc/cpuinfo path.data: /var/lib/logstash path.logs: /var/log/logstash

7) создаем и конфигурируем например nginx.conf под требования в /etc/logstash/conf.d

8) service logstash start && systemctl enable logstash

Установка OpenDistro (OD)

  • 29 November 2019
  • taku

vxx.vm. [10.xx.x.xx] - CPUv4/32Gb/118Gb
Подготовительный этап
1) проверяем включен ли firewall (iptables -nL) не должно быть правил и цепочки(INPUT,OUTPUT) в ACCEPT
3) собираем данные по машине cat /proc/cpuinfo , free -m , df -h
4) если раздела нет то разбиваем раздел где будет находится хранилище cfdisk /dev/vdx (создаем на пример /dev/vdxy)
6) создаем каталог в который будем монтировать диск для даты mkdir /elstore
9) отключаем свап! удаляем строку в /etc/fstab /dev/mapper/rootvg-lvswap none swap sw 0 0
swapoff -a

Архитектура ELK(OpenDistro)-роли серверов

  • 22 July 2019
  • taku

Так как уже ELK(OpenDistro) развернул и товарищи просят выложить доки решил создать раздел под ELK начинаю серию статей по разворачиванию стека ELK от амазона OpenDistro

Цели ЕЛК (Централизованный сбор логов для быстрого поиска по тысячам серверов( в разрезе АС-стенд и тип JVM) и графическое отображение ошибок, типов ошибок с WebSphere, FileNet, MQ, Kafka, WildFly, Weblojic

У всех свой лог и свой таймштамп :( 

Ознакомительный этап