1) скопируем и установим куратор на какую нибудь мастерноду cd /distro/ yum install elasticsearch-curator-5.6.0-1.x86_64.rpm
2) создадим каталог mkdir /etc/curator
3) создадим config.yml для подключения к elastic
Настраиваем авторизацию через LDAP
1) Конфигурируем securityconfig/config.yml для авторизации через LDAP
1.1) Правим конфигу на всех серверах OD(OpenDistro)
mcedit /usr/share/elasticsearch/plugins/opendistro_security/securityconfig/config.yml
1) определяемся с ролью сервера для нас это ALLinOne без warm, с двумя репликами, важно определиться до того как пойдет поток потому, что прийдется сперва сделать шаблон с названиями и настройкой сколько будет реплик и шард.
Кучу шард под один небольшой сервис делать нет смысла, но и один большой тоже, важно придерживаться правила один шард около 30Гб.
Через утилиту разработчика
---проверяем что память зарезервирована---
GET _nodes?filter_path=**.mlockall
---просмотр состояния кластера * отмечен ведущий мастер
GET _cat/nodes
GET _cluster/health
---просмотр по загруженности нод---
GET _cat/allocation
GET _cluster/stats?filter_path=**.nodes
---ClusterState просмотр статуса кластера---
GET _cluster/state?pretty
GET _cluster/stats?human&pretty
---ClusterHealth просмотр состояния кластера---
GET _cluster/health?pretty
Установка Логстеша на отдельную машину
1) mkdir /distro
2) yum install java-1.8.0-openjdk-devel
3) копируем logstash на сервер в /distro
4) yum install logstash-oss-6.7.1.rpm
5) systemctl enable logstash.service
6) logstash.yml node.name: ls-tkli-middle0009 pipeline.workers: 4 #по кол. cpu (cat /proc/cpuinfo path.data: /var/lib/logstash path.logs: /var/log/logstash
7) создаем и конфигурируем например nginx.conf под требования в /etc/logstash/conf.d
8) service logstash start && systemctl enable logstash
vxx.vm. [10.xx.x.xx] - CPUv4/32Gb/118Gb
Подготовительный этап
1) проверяем включен ли firewall (iptables -nL) не должно быть правил и цепочки(INPUT,OUTPUT) в ACCEPT
3) собираем данные по машине cat /proc/cpuinfo , free -m , df -h
4) если раздела нет то разбиваем раздел где будет находится хранилище cfdisk /dev/vdx (создаем на пример /dev/vdxy)
6) создаем каталог в который будем монтировать диск для даты mkdir /elstore
9) отключаем свап! удаляем строку в /etc/fstab /dev/mapper/rootvg-lvswap none swap sw 0 0
swapoff -a
Для установки OpenDistro(в дальнейшем OD) требуются следующие пакеты.
1) java-1.8.0-openjdk-devel x86_64 1:1.8.0.201.b09-2.el7_6 updates 9.8 M
зависимости:
Так как уже ELK(OpenDistro) развернул и товарищи просят выложить доки решил создать раздел под ELK начинаю серию статей по разворачиванию стека ELK от амазона OpenDistro
Цели ЕЛК (Централизованный сбор логов для быстрого поиска по тысячам серверов( в разрезе АС-стенд и тип JVM) и графическое отображение ошибок, типов ошибок с WebSphere, FileNet, MQ, Kafka, WildFly, Weblojic
У всех свой лог и свой таймштамп :(
Ознакомительный этап