Отключение и удаление старых индексов

1) скопируем и  установим куратор на какую нибудь мастерноду cd /distro/ yum install elasticsearch-curator-5.6.0-1.x86_64.rpm

2) создадим каталог mkdir /etc/curator
3) создадим config.yml для подключения к elastic

client:
hosts:
  - 127.0.0.1
port: 9200
url_prefix:
use_ssl: True
certificate:
client_cert:
client_key:
ssl_no_validate: True
http_auth: curator:curator
timeout: 30
master_only: False
logging:
loglevel: INFO
logfile: /var/log/curator.log
logformat: default
blacklist: ['elasticsearch', 'urllib3']

4) создадим action-close.yml для подключения к elastic который индексы с корнем beat и старше 10 дней будет отключать что бы удалять см. профиль action-delete.yml

actions:
1:
  action: close
  description: >-
    Close indices older than 10 days (based on index name).
  options:
    ignore_empty_list: True
    delete_aliases: False
    disable_action: False
  filters:
  - filtertype: pattern
    kind: regex
    value: '^.*beat'
  - filtertype: age
    source: name
    direction: older
    timestring: '%Y.%m.%d'
    unit: days
    unit_count: 10

5) action-delete.yml

actions:
1:
  action: delete_indices
  description: >-
    Delete indices older than 10 days (based on index name).
  options:
    ignore_empty_list: True
    disable_action: False
  filters:
  - filtertype: pattern
    kind: prefix
    value: '^.*beat'
  - filtertype: age
    source: name
    direction: older
    timestring: '%Y.%m.%d'
    unit: days
    unit_count: 10

6) создадим еще два файла для логов безопасности с большим хранением по времени лог закрываем через 10 дней и через 30 дней удаляем. см 4-5 пункты только исправим с value: '^.*beat' на value: '^.*security'
7) создаем пользователя с полными правами для куратора 8) далее вносим в крон команду и аналогичные, что бы срабатывали когда наименьшая нагрузка на сервис например ночью, но индексы создаются после 0 часов, значит отключать и удалять индексы нужно после создания новых.

crontab -e

0 1 * * * /usr/bin/curator --config /etc/curator/config.yml /etc/curator/action-close.yml 
0 2 * * * /usr/bin/curator --config /etc/curator/config.yml /etc/curator/action-delete.yml 
0 1 * * * /usr/bin/curator --config /etc/curator/config.yml /etc/curator/action-close-security.yml 
0 2 * * * /usr/bin/curator --config /etc/curator/config.yml /etc/curator/action-delete-security.yml