Отключение и удаление старых индексов
1) скопируем и установим куратор на какую нибудь мастерноду cd /distro/ yum install elasticsearch-curator-5.6.0-1.x86_64.rpm
2) создадим каталог mkdir /etc/curator
3) создадим config.yml для подключения к elastic
client:
hosts:
- 127.0.0.1
port: 9200
url_prefix:
use_ssl: True
certificate:
client_cert:
client_key:
ssl_no_validate: True
http_auth: curator:curator
timeout: 30
master_only: False
logging:
loglevel: INFO
logfile: /var/log/curator.log
logformat: default
blacklist: ['elasticsearch', 'urllib3']
4) создадим action-close.yml для подключения к elastic который индексы с корнем beat и старше 10 дней будет отключать что бы удалять см. профиль action-delete.yml
actions:
1:
action: close
description: >-
Close indices older than 10 days (based on index name).
options:
ignore_empty_list: True
delete_aliases: False
disable_action: False
filters:
- filtertype: pattern
kind: regex
value: '^.*beat'
- filtertype: age
source: name
direction: older
timestring: '%Y.%m.%d'
unit: days
unit_count: 10
5) action-delete.yml
actions:
1:
action: delete_indices
description: >-
Delete indices older than 10 days (based on index name).
options:
ignore_empty_list: True
disable_action: False
filters:
- filtertype: pattern
kind: prefix
value: '^.*beat'
- filtertype: age
source: name
direction: older
timestring: '%Y.%m.%d'
unit: days
unit_count: 10
6) создадим еще два файла для логов безопасности с большим хранением по времени лог закрываем через 10 дней и через 30 дней удаляем. см 4-5 пункты только исправим с value: '^.*beat' на value: '^.*security'
7) создаем пользователя с полными правами для куратора 8) далее вносим в крон команду и аналогичные, что бы срабатывали когда наименьшая нагрузка на сервис например ночью, но индексы создаются после 0 часов, значит отключать и удалять индексы нужно после создания новых.
crontab -e
0 1 * * * /usr/bin/curator --config /etc/curator/config.yml /etc/curator/action-close.yml
0 2 * * * /usr/bin/curator --config /etc/curator/config.yml /etc/curator/action-delete.yml
0 1 * * * /usr/bin/curator --config /etc/curator/config.yml /etc/curator/action-close-security.yml
0 2 * * * /usr/bin/curator --config /etc/curator/config.yml /etc/curator/action-delete-security.yml
Комментарии
Добавить комментарий