Nagios Support Forum • NLS not collecting data and Cluster stat red after disk full

Page 1 of 2

NLS not collecting data and Cluster stat red after disk full

Posted: Tue Aug 24, 2021 2:14 am

by mafamgm

Hi,

Unfortunately, my hard disk has filled up. The cause was the snapshots. I transferred them to another system and deleted them on the NLS. Currently 800GB are free again.

Unfortunately the cluster status is still red and the following error appears in the elasticsearch log

Code: Select all

[2021-08-24 09:03:05,576][DEBUG][action.bulk              ] [db753346-20b2-4d8f-93f9-7b434bd7d481] observer: timeout notification from cluster service. timeout setting [1m], time since start [1m]
[2021-08-24 09:03:05,576][DEBUG][action.bulk              ] [db753346-20b2-4d8f-93f9-7b434bd7d481] observer: timeout notification from cluster service. timeout setting [1m], time since start [1m]
[2021-08-24 09:03:05,576][DEBUG][action.bulk              ] [db753346-20b2-4d8f-93f9-7b434bd7d481] observer: timeout notification from cluster service. timeout setting [1m], time since start [1m]
[2021-08-24 09:03:05,681][DEBUG][action.bulk              ] [db753346-20b2-4d8f-93f9-7b434bd7d481] observer: timeout notification from cluster service. timeout setting [1m], time since start [1m]
[2021-08-24 09:03:05,681][DEBUG][action.bulk              ] [db753346-20b2-4d8f-93f9-7b434bd7d481] observer: timeout notification from cluster service. timeout setting [1m], time since start [1m]

I have also read this thread here, but I have no entries with INITIALIZING ALLOCATION_FAILED.

Code: Select all

curl -XGET localhost:9200/_cat/shards?h=index,shard,prirep,state,unassigned.reason| grep UNASSIGNED
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0logstash-2021.05.24     2 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.24     0 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.24     3 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.24     1 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.24     4 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.25     2 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.25     0 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.25     3 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.25     1 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.25     4 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.22     4 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.22     0 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.22     3 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.22     1 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.22     2 r UNASSIGNED CLUSTER_RECOVERED
[...]
logstash-2021.04.26     3 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.04.26     1 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.04.26     4 r UNASSIGNED CLUSTER_RECOVERED


See command01.txt

Code: Select all

curl -XGET localhost:9200/_cat/shards?h=index,shard,prirep,state,unassigned.reason
logstash-2021.05.24     2 p STARTED
logstash-2021.05.24     2 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.24     0 p STARTED
logstash-2021.05.24     0 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.24     3 p STARTED
[...]
logstash-2021.04.26     3 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.04.26     1 p STARTED
logstash-2021.04.26     1 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.04.26     4 p STARTED
logstash-2021.04.26     4 r UNASSIGNED CLUSTER_RECOVERED

See command02.txt

Any Ideas?

Thanks

Re: NLS not collecting data and Cluster stat red after disk

Posted: Tue Aug 24, 2021 11:29 am

by pbroste

Hello @mafamgm

Thanks for reaching out and posting the details.

Want to have you check out this support article on how to go about changing data paths on the Nagios Log server.

https://assets.nagios.com/downloads/nagios-log-server/docs/Changing-Data-Path-In-Nagios-Log-Server.pdf

Please let us know if you have further questions.

Thanks,
Perry

Re: NLS not collecting data and Cluster stat red after disk

Posted: Wed Aug 25, 2021 2:39 am

by mafamgm

Hello @pbroste

i didn't changed any data path.
I moved the data of the snapshot-folder to another system and then deleted the data on the NLS.

Cheers,
Marcel

Re: NLS not collecting data and Cluster stat red after disk

Posted: Wed Aug 25, 2021 12:46 pm

by pbroste

Hello @mafamgm

Thanks for following up, sounds like you were able to create a new repository in the web console > Admin > Snapshots & Maintenance > Maintenance and Repository Settings [Create Repository]. Verify that the Repository mount point is read/write nagios user, nagios group. ( my test env is root:root )

Let's verify that the snapshot (see article):

Code: Select all

curl -XGET "localhost:9200/_snapshot?pretty"

Let's run this command to execute snapshot backup to verify that new snapshots are working for the time being:

Code: Select all

curator snapshot --repository "Common_Backups" indices --all-indices

[/list]

May want to run this command to watch the jobs:

Code: Select all

tail -f /usr/local/nagioslogserver/var/jobs.log

Let us know the results,
Perry

Re: NLS not collecting data and Cluster stat red after disk

Posted: Wed Aug 25, 2021 2:09 pm

by mafamgm

Hello @pbroste,

see the Output:

Code: Select all

[root@xxxxxxxxxxxxxxxx~]# curl -XGET "localhost:9200/_snapshot?pretty"
{
  "SnapRepo1" : {
    "type" : "fs",
    "settings" : {
      "compress" : "true",
      "location" : "/usr/local/nagioslogserver/snapshots"
    }
  }
}

Code: Select all

[root@xxxxxxxx~]# ls -al /usr/local/nagioslogserver/
total 16
drwxrwxr-x. 10 nagios nagios   138 Jun  7 18:36 .
drwxr-xr-x. 13 root   root     154 Sep 10  2019 ..
drwxr-xr-x.  7 nagios nagios   128 Sep 10  2019 elasticsearch
drwxrwxr-x.  2 nagios nagios     6 Sep 10  2019 etc
-rw-r--r--.  1 root   root       0 Sep 10  2019 .installed
drwxr-xr-x.  6 nagios nagios   171 Sep 10  2019 logstash
drwxrwxr-x.  2 nagios nagios    62 Sep 10  2019 mibs
drwxrwxr-x.  2 nagios nagios   263 Sep 10  2019 scripts
drwxrwxr-x.  3 nagios nagios 12288 Aug 15 19:05 snapshots
drwxrwxr-x.  3 nagios nagios    27 Jun  7 18:36 tmp
drwxrwxr-x.  3 nagios nagios   128 Oct 21  2019 var

Code: Select all

[root@xxxxxxxxxx~]# curator snapshot --repository "Common_Backups" indices --all-indices
2021-08-25 21:05:30,152 INFO      Job starting: snapshot indices
2021-08-25 21:05:30,152 WARNING   Overriding default connection timeout.  New timeout: 21600
2021-08-25 21:05:30,184 INFO      Matching all indices. Ignoring flags other than --exclude.
2021-08-25 21:05:30,185 INFO      Action snapshot will be performed on the following indices: [u'kibana-int', u'logstash-2019.02.17', u'logstash-2019.02.19', u'logstash-2019.02.20', u'logstash-2019.02.21', u'logstash-2019.02.22', u'logstash-2019.02.23', u'logstash-2019.02.24', u'logstash-2019.02.25', u'logstash-2019.02.26', u'logstash-2019.02.27', u'logstash-2019.02.28', u'logstash-2019.03.01', u'logstash-2019.03.02', u'logstash-2019.03.03', u'logstash-2019.03.04', u'logstash-2019.03.06', u'logstash-2019.03.07', u'logstash-2019.03.08', u'logstash-2019.03.09', u'logstash-2019.03.10', u'logstash-2019.03.11', u'logstash-2019.03.12', u'logstash-2019.03.13', u'logstash-2019.03.14', u'logstash-2019.03.15', u'logstash-2019.03.16', u'logstash-2019.03.17', u'logstash-2019.03.18', u'logstash-2019.05.26', u'logstash-2019.05.28', u'logstash-2019.05.30', u'logstash-2019.05.31', u'logstash-2019.06.02', u'logstash-2019.06.03', u'logstash-2019.06.04', u'logstash-2019.06.05', u'logstash-2019.06.06', u'logstash-2019.06.07', u'logstash-2019.06.14', u'logstash-2019.06.21', u'logstash-2019.06.25', u'logstash-2019.06.28', u'logstash-2019.07.01', u'logstash-2019.07.03', u'logstash-2019.07.05', u'logstash-2019.07.07', u'logstash-2019.07.08', u'logstash-2019.07.09', u'logstash-2019.07.10', u'logstash-2019.07.12', u'logstash-2019.07.19', u'logstash-2019.07.29', u'logstash-2019.08.25', u'logstash-2019.09.10', u'logstash-2019.09.11', u'logstash-2019.09.12', u'logstash-2019.09.13', u'logstash-2019.09.14', u'logstash-2019.09.15', u'logstash-2019.09.16', u'logstash-2019.09.17', u'logstash-2019.09.18', u'logstash-2019.09.19', u'logstash-2019.09.20', u'logstash-2019.09.21', u'logstash-2019.09.22', u'logstash-2019.09.23', u'logstash-2019.09.24', u'logstash-2019.09.25', u'logstash-2019.09.26', u'logstash-2019.09.27', u'logstash-2019.09.28', u'logstash-2019.09.29', u'logstash-2019.09.30', u'logstash-2019.10.01', u'logstash-2019.10.02', u'logstash-2019.10.03', u'logstash-2019.10.04', u'logstash-2019.10.05', u'logstash-2019.10.06', u'logstash-2019.10.07', u'logstash-2019.10.08', u'logstash-2019.10.09', u'logstash-2019.10.10', u'logstash-2019.10.11', u'logstash-2019.10.12', u'logstash-2019.10.13', u'logstash-2019.10.14', u'logstash-2019.10.15', u'logstash-2019.10.16', u'logstash-2019.10.17', u'logstash-2019.10.18', u'logstash-2019.10.19', u'logstash-2019.10.20', u'logstash-2019.10.21', u'logstash-2019.10.22', u'logstash-2019.10.23', u'logstash-2019.10.24', u'logstash-2019.10.25', u'logstash-2019.10.26', u'logstash-2019.10.27', u'logstash-2019.10.28', u'logstash-2019.10.29', u'logstash-2019.10.30', u'logstash-2019.10.31', u'logstash-2019.11.01', u'logstash-2019.11.02', u'logstash-2019.11.03', u'logstash-2019.11.04', u'logstash-2019.11.05', u'logstash-2019.11.06', u'logstash-2019.11.07', u'logstash-2019.11.08', u'logstash-2019.11.09', u'logstash-2019.11.10', u'logstash-2019.11.11', u'logstash-2019.11.12', u'logstash-2019.11.13', u'logstash-2019.11.14', u'logstash-2019.11.15', u'logstash-2019.11.16', u'logstash-2019.11.17', u'logstash-2019.11.18', u'logstash-2019.11.19', u'logstash-2019.11.20', u'logstash-2019.11.21', u'logstash-2019.11.22', u'logstash-2019.11.23', u'logstash-2019.11.24', u'logstash-2019.11.25', u'logstash-2019.11.26', u'logstash-2019.11.27', u'logstash-2019.11.28', u'logstash-2019.11.29', u'logstash-2019.11.30', u'logstash-2019.12.01', u'logstash-2019.12.02', u'logstash-2019.12.03', u'logstash-2019.12.04', u'logstash-2019.12.05', u'logstash-2019.12.06', u'logstash-2019.12.07', u'logstash-2019.12.08', u'logstash-2019.12.09', u'logstash-2019.12.10', u'logstash-2019.12.11', u'logstash-2019.12.12', u'logstash-2019.12.13', u'logstash-2019.12.14', u'logstash-2019.12.15', u'logstash-2019.12.16', u'logstash-2019.12.17', u'logstash-2019.12.18', u'logstash-2019.12.19', u'logstash-2019.12.20', u'logstash-2019.12.21', u'logstash-2019.12.22', u'logstash-2019.12.23', u'logstash-2019.12.24', u'logstash-2019.12.25', u'logstash-2019.12.26', u'logstash-2019.12.27', u'logstash-2019.12.28', u'logstash-2019.12.29', u'logstash-2019.12.30', u'logstash-2019.12.31', u'logstash-2020.01.01', u'logstash-2020.01.02', u'logstash-2020.01.03', u'logstash-2020.01.04', u'logstash-2020.01.05', u'logstash-2020.01.06', u'logstash-2020.01.07', u'logstash-2020.01.08', u'logstash-2020.01.09', u'logstash-2020.01.10', u'logstash-2020.01.11', u'logstash-2020.01.12', u'logstash-2020.01.13', u'logstash-2020.01.14', u'logstash-2020.01.15', u'logstash-2020.01.16', u'logstash-2020.01.17', u'logstash-2020.01.18', u'logstash-2020.01.19', u'logstash-2020.01.20', u'logstash-2020.01.21', u'logstash-2020.01.22', u'logstash-2020.01.23', u'logstash-2020.01.24', u'logstash-2020.01.25', u'logstash-2020.01.26', u'logstash-2020.01.27', u'logstash-2020.01.28', u'logstash-2020.01.29', u'logstash-2020.01.30', u'logstash-2020.01.31', u'logstash-2020.02.01', u'logstash-2020.02.02', u'logstash-2020.02.03', u'logstash-2020.02.04', u'logstash-2020.02.05', u'logstash-2020.02.06', u'logstash-2020.02.07', u'logstash-2020.02.08', u'logstash-2020.02.09', u'logstash-2020.02.10', u'logstash-2020.02.11', u'logstash-2020.02.12', u'logstash-2020.02.13', u'logstash-2020.02.14', u'logstash-2020.02.15', u'logstash-2020.02.16', u'logstash-2020.02.17', u'logstash-2020.02.18', u'logstash-2020.02.19', u'logstash-2020.02.20', u'logstash-2020.02.21', u'logstash-2020.02.22', u'logstash-2020.02.23', u'logstash-2020.02.24', u'logstash-2020.02.25', u'logstash-2020.02.26', u'logstash-2020.02.27', u'logstash-2020.02.28', u'logstash-2020.02.29', u'logstash-2020.03.01', u'logstash-2020.03.02', u'logstash-2020.03.03', u'logstash-2020.03.04', u'logstash-2020.03.05', u'logstash-2020.03.06', u'logstash-2020.03.07', u'logstash-2020.03.08', u'logstash-2020.03.09', u'logstash-2020.03.10', u'logstash-2020.03.11', u'logstash-2020.03.12', u'logstash-2020.03.13', u'logstash-2020.03.14', u'logstash-2020.03.15', u'logstash-2020.03.16', u'logstash-2020.03.17', u'logstash-2020.03.18', u'logstash-2020.03.19', u'logstash-2020.03.20', u'logstash-2020.03.21', u'logstash-2020.03.22', u'logstash-2020.03.23', u'logstash-2020.03.24', u'logstash-2020.03.25', u'logstash-2020.03.26', u'logstash-2020.03.27', u'logstash-2020.03.28', u'logstash-2020.03.29', u'logstash-2020.03.30', u'logstash-2020.03.31', u'logstash-2020.04.01', u'logstash-2020.04.02', u'logstash-2020.04.03', u'logstash-2020.04.04', u'logstash-2020.04.05', u'logstash-2020.04.06', u'logstash-2020.04.07', u'logstash-2020.04.08', u'logstash-2020.04.09', u'logstash-2020.04.10', u'logstash-2020.04.11', u'logstash-2020.04.12', u'logstash-2020.04.13', u'logstash-2020.04.14', u'logstash-2020.04.15', u'logstash-2020.04.16', u'logstash-2020.04.17', u'logstash-2020.04.18', u'logstash-2020.04.19', u'logstash-2020.04.20', u'logstash-2020.04.21', u'logstash-2020.04.22', u'logstash-2020.04.23', u'logstash-2020.04.24', u'logstash-2020.04.25', u'logstash-2020.04.26', u'logstash-2020.04.27', u'logstash-2020.04.28', u'logstash-2020.04.29', u'logstash-2020.04.30', u'logstash-2020.05.01', u'logstash-2020.05.02', u'logstash-2020.05.03', u'logstash-2020.05.04', u'logstash-2020.05.05', u'logstash-2020.05.06', u'logstash-2020.05.07', u'logstash-2020.05.08', u'logstash-2020.05.09', u'logstash-2020.05.10', u'logstash-2020.05.11', u'logstash-2020.05.12', u'logstash-2020.05.13', u'logstash-2020.05.14', u'logstash-2020.05.15', u'logstash-2020.05.16', u'logstash-2020.05.17', u'logstash-2020.05.18', u'logstash-2020.05.19', u'logstash-2020.05.20', u'logstash-2020.05.21', u'logstash-2020.05.22', u'logstash-2020.05.23', u'logstash-2020.05.24', u'logstash-2020.05.25', u'logstash-2020.05.26', u'logstash-2020.05.27', u'logstash-2020.05.28', u'logstash-2020.05.29', u'logstash-2020.05.30', u'logstash-2020.05.31', u'logstash-2020.06.01', u'logstash-2020.06.02', u'logstash-2020.06.03', u'logstash-2020.06.04', u'logstash-2020.06.05', u'logstash-2020.06.06', u'logstash-2020.06.07', u'logstash-2020.06.08', u'logstash-2020.06.09', u'logstash-2020.06.10', u'logstash-2020.06.11', u'logstash-2020.06.12', u'logstash-2020.06.13', u'logstash-2020.06.14', u'logstash-2020.06.15', u'logstash-2020.06.16', u'logstash-2020.06.17', u'logstash-2020.06.18', u'logstash-2020.06.19', u'logstash-2020.06.20', u'logstash-2020.06.21', u'logstash-2020.06.22', u'logstash-2020.06.23', u'logstash-2020.06.24', u'logstash-2020.06.25', u'logstash-2020.06.26', u'logstash-2020.06.27', u'logstash-2020.06.28', u'logstash-2020.06.29', u'logstash-2020.06.30', u'logstash-2020.07.01', u'logstash-2020.07.02', u'logstash-2020.07.03', u'logstash-2020.07.04', u'logstash-2020.07.05', u'logstash-2020.07.06', u'logstash-2020.07.07', u'logstash-2020.07.08', u'logstash-2020.07.09', u'logstash-2020.07.10', u'logstash-2020.07.11', u'logstash-2020.07.12', u'logstash-2020.07.13', u'logstash-2020.07.14', u'logstash-2020.07.15', u'logstash-2020.07.16', u'logstash-2020.07.17', u'logstash-2020.07.18', u'logstash-2020.07.19', u'logstash-2020.07.20', u'logstash-2020.07.21', u'logstash-2020.07.22', u'logstash-2020.07.23', u'logstash-2020.07.24', u'logstash-2020.07.25', u'logstash-2020.07.26', u'logstash-2020.07.27', u'logstash-2020.07.28', u'logstash-2020.07.29', u'logstash-2020.07.30', u'logstash-2020.07.31', u'logstash-2020.08.01', u'logstash-2020.08.02', u'logstash-2020.08.03', u'logstash-2020.08.04', u'logstash-2020.08.05', u'logstash-2020.08.06', u'logstash-2020.08.07', u'logstash-2020.08.08', u'logstash-2020.08.09', u'logstash-2020.08.10', u'logstash-2020.08.11', u'logstash-2020.08.12', u'logstash-2020.08.13', u'logstash-2020.08.14', u'logstash-2020.08.15', u'logstash-2020.08.16', u'logstash-2020.08.17', u'logstash-2020.08.18', u'logstash-2020.08.19', u'logstash-2020.08.20', u'logstash-2020.08.21', u'logstash-2020.08.22', u'logstash-2020.08.23', u'logstash-2020.08.24', u'logstash-2020.08.25', u'logstash-2020.08.26', u'logstash-2020.08.27', u'logstash-2020.08.28', u'logstash-2020.08.29', u'logstash-2020.08.30', u'logstash-2020.08.31', u'logstash-2020.09.01', u'logstash-2020.09.02', u'logstash-2020.09.03', u'logstash-2020.09.04', u'logstash-2020.09.05', u'logstash-2020.09.06', u'logstash-2020.09.07', u'logstash-2020.09.08', u'logstash-2020.09.09', u'logstash-2020.09.10', u'logstash-2020.09.11', u'logstash-2020.09.12', u'logstash-2020.09.13', u'logstash-2020.09.14', u'logstash-2020.09.15', u'logstash-2020.09.16', u'logstash-2020.09.17', u'logstash-2020.09.18', u'logstash-2020.09.19', u'logstash-2020.09.20', u'logstash-2020.09.21', u'logstash-2020.09.22', u'logstash-2020.09.23', u'logstash-2020.09.24', u'logstash-2020.09.25', u'logstash-2020.09.26', u'logstash-2020.09.27', u'logstash-2020.09.28', u'logstash-2020.09.29', u'logstash-2020.09.30', u'logstash-2020.10.01', u'logstash-2020.10.02', u'logstash-2020.10.03', u'logstash-2020.10.04', u'logstash-2020.10.05', u'logstash-2020.10.06', u'logstash-2020.10.07', u'logstash-2020.10.08', u'logstash-2020.10.09', u'logstash-2020.10.10', u'logstash-2020.10.11', u'logstash-2020.10.12', u'logstash-2020.10.13', u'logstash-2020.10.14', u'logstash-2020.10.15', u'logstash-2020.10.16', u'logstash-2020.10.17', u'logstash-2020.10.18', u'logstash-2020.10.19', u'logstash-2020.10.20', u'logstash-2020.10.21', u'logstash-2020.10.22', u'logstash-2020.10.23', u'logstash-2020.10.24', u'logstash-2020.10.25', u'logstash-2020.10.26', u'logstash-2020.10.27', u'logstash-2020.10.28', u'logstash-2020.10.29', u'logstash-2020.10.30', u'logstash-2020.10.31', u'logstash-2020.11.01', u'logstash-2020.11.02', u'logstash-2020.11.03', u'logstash-2020.11.04', u'logstash-2020.11.05', u'logstash-2020.11.06', u'logstash-2020.11.07', u'logstash-2020.11.08', u'logstash-2020.11.09', u'logstash-2020.11.10', u'logstash-2020.11.11', u'logstash-2020.11.12', u'logstash-2020.11.13', u'logstash-2020.11.14', u'logstash-2020.11.15', u'logstash-2020.11.16', u'logstash-2020.11.17', u'logstash-2020.11.18', u'logstash-2020.11.19', u'logstash-2020.11.20', u'logstash-2020.11.21', u'logstash-2020.11.22', u'logstash-2020.11.23', u'logstash-2020.11.24', u'logstash-2020.11.25', u'logstash-2020.11.26', u'logstash-2020.11.27', u'logstash-2020.11.28', u'logstash-2020.11.29', u'logstash-2020.11.30', u'logstash-2020.12.01', u'logstash-2020.12.02', u'logstash-2020.12.03', u'logstash-2020.12.04', u'logstash-2020.12.05', u'logstash-2020.12.06', u'logstash-2020.12.07', u'logstash-2020.12.08', u'logstash-2020.12.09', u'logstash-2020.12.10', u'logstash-2020.12.11', u'logstash-2020.12.12', u'logstash-2020.12.13', u'logstash-2020.12.14', u'logstash-2020.12.15', u'logstash-2020.12.16', u'logstash-2020.12.17', u'logstash-2020.12.18', u'logstash-2020.12.19', u'logstash-2020.12.20', u'logstash-2020.12.21', u'logstash-2020.12.22', u'logstash-2020.12.23', u'logstash-2020.12.24', u'logstash-2020.12.25', u'logstash-2020.12.26', u'logstash-2020.12.27', u'logstash-2020.12.28', u'logstash-2020.12.29', u'logstash-2020.12.30', u'logstash-2020.12.31', u'logstash-2021.01.01', u'logstash-2021.01.02', u'logstash-2021.01.03', u'logstash-2021.01.04', u'logstash-2021.01.05', u'logstash-2021.01.06', u'logstash-2021.01.07', u'logstash-2021.01.08', u'logstash-2021.01.09', u'logstash-2021.01.10', u'logstash-2021.01.11', u'logstash-2021.01.12', u'logstash-2021.01.13', u'logstash-2021.01.14', u'logstash-2021.01.15', u'logstash-2021.01.16', u'logstash-2021.01.17', u'logstash-2021.01.18', u'logstash-2021.01.19', u'logstash-2021.01.20', u'logstash-2021.01.21', u'logstash-2021.01.22', u'logstash-2021.01.23', u'logstash-2021.01.24', u'logstash-2021.01.25', u'logstash-2021.01.26', u'logstash-2021.01.27', u'logstash-2021.01.28', u'logstash-2021.01.29', u'logstash-2021.01.30', u'logstash-2021.01.31', u'logstash-2021.02.01', u'logstash-2021.02.02', u'logstash-2021.02.03', u'logstash-2021.02.04', u'logstash-2021.02.05', u'logstash-2021.02.06', u'logstash-2021.02.07', u'logstash-2021.02.08', u'logstash-2021.02.09', u'logstash-2021.02.10', u'logstash-2021.02.11', u'logstash-2021.02.12', u'logstash-2021.02.13', u'logstash-2021.02.14', u'logstash-2021.02.15', u'logstash-2021.02.16', u'logstash-2021.02.17', u'logstash-2021.02.18', u'logstash-2021.02.19', u'logstash-2021.02.20', u'logstash-2021.02.21', u'logstash-2021.02.22', u'logstash-2021.02.23', u'logstash-2021.02.24', u'logstash-2021.02.25', u'logstash-2021.02.26', u'logstash-2021.02.27', u'logstash-2021.03.01', u'logstash-2021.03.03', u'logstash-2021.03.04', u'logstash-2021.03.05', u'logstash-2021.03.06', u'logstash-2021.03.07', u'logstash-2021.03.08', u'logstash-2021.03.09', u'logstash-2021.03.10', u'logstash-2021.03.11', u'logstash-2021.03.12', u'logstash-2021.03.13', u'logstash-2021.03.14', u'logstash-2021.03.15', u'logstash-2021.03.16', u'logstash-2021.03.17', u'logstash-2021.03.18', u'logstash-2021.03.19', u'logstash-2021.03.20', u'logstash-2021.03.21', u'logstash-2021.03.22', u'logstash-2021.03.23', u'logstash-2021.03.24', u'logstash-2021.03.25', u'logstash-2021.03.26', u'logstash-2021.03.27', u'logstash-2021.03.28', u'logstash-2021.03.29', u'logstash-2021.03.30', u'logstash-2021.03.31', u'logstash-2021.04.01', u'logstash-2021.04.02', u'logstash-2021.04.03', u'logstash-2021.04.04', u'logstash-2021.04.05', u'logstash-2021.04.06', u'logstash-2021.04.07', u'logstash-2021.04.08', u'logstash-2021.04.09', u'logstash-2021.04.10', u'logstash-2021.04.11', u'logstash-2021.04.12', u'logstash-2021.04.13', u'logstash-2021.04.14', u'logstash-2021.04.15', u'logstash-2021.04.16', u'logstash-2021.04.17', u'logstash-2021.04.18', u'logstash-2021.04.19', u'logstash-2021.04.20', u'logstash-2021.04.21', u'logstash-2021.04.22', u'logstash-2021.04.23', u'logstash-2021.04.24', u'logstash-2021.04.25', u'logstash-2021.04.26', u'logstash-2021.04.27', u'logstash-2021.04.28', u'logstash-2021.04.29', u'logstash-2021.04.30', u'logstash-2021.05.01', u'logstash-2021.05.02', u'logstash-2021.05.03', u'logstash-2021.05.04', u'logstash-2021.05.05', u'logstash-2021.05.06', u'logstash-2021.05.07', u'logstash-2021.05.08', u'logstash-2021.05.09', u'logstash-2021.05.10', u'logstash-2021.05.11', u'logstash-2021.05.12', u'logstash-2021.05.13', u'logstash-2021.05.14', u'logstash-2021.05.15', u'logstash-2021.05.16', u'logstash-2021.05.17', u'logstash-2021.05.18', u'logstash-2021.05.19', u'logstash-2021.05.20', u'logstash-2021.05.21', u'logstash-2021.05.22', u'logstash-2021.05.23', u'logstash-2021.05.24', u'logstash-2021.05.25', u'logstash-2021.05.26', u'logstash-2021.05.27', u'logstash-2021.05.28', u'logstash-2021.05.29', u'logstash-2021.05.30', u'logstash-2021.05.31', u'logstash-2021.06.01', u'logstash-2021.06.02', u'logstash-2021.06.03', u'logstash-2021.06.04', u'logstash-2021.06.05', u'logstash-2021.06.06', u'logstash-2021.06.07', u'logstash-2021.06.08', u'logstash-2021.06.09', u'logstash-2021.06.10', u'logstash-2021.06.11', u'logstash-2021.06.12', u'logstash-2021.06.13', u'logstash-2021.06.14', u'logstash-2021.06.15', u'logstash-2021.06.16', u'logstash-2021.06.17', u'logstash-2021.06.18', u'logstash-2021.06.19', u'logstash-2021.06.20', u'logstash-2021.06.21', u'logstash-2021.06.22', u'logstash-2021.06.23', u'logstash-2021.06.24', u'logstash-2021.06.25', u'logstash-2021.06.26', u'logstash-2021.06.27', u'logstash-2021.06.28', u'logstash-2021.06.29', u'logstash-2021.06.30', u'logstash-2021.07.01', u'logstash-2021.07.02', u'logstash-2021.07.03', u'logstash-2021.07.04', u'logstash-2021.07.05', u'logstash-2021.07.06', u'logstash-2021.07.07', u'logstash-2021.07.08', u'logstash-2021.07.09', u'logstash-2021.07.10', u'logstash-2021.07.11', u'logstash-2021.07.12', u'logstash-2021.07.13', u'logstash-2021.07.14', u'logstash-2021.07.15', u'logstash-2021.07.16', u'logstash-2021.07.17', u'logstash-2021.07.18', u'logstash-2021.07.19', u'logstash-2021.07.20', u'logstash-2021.07.21', u'logstash-2021.07.22', u'logstash-2021.07.23', u'logstash-2021.07.24', u'logstash-2021.07.25', u'logstash-2021.07.26', u'logstash-2021.07.27', u'logstash-2021.07.28', u'logstash-2021.07.29', u'logstash-2021.07.30', u'logstash-2021.07.31', u'logstash-2021.08.01', u'logstash-2021.08.02', u'logstash-2021.08.03', u'logstash-2021.08.04', u'logstash-2021.08.05', u'logstash-2021.08.06', u'logstash-2021.08.07', u'logstash-2021.08.08', u'logstash-2021.08.09', u'logstash-2021.08.10', u'logstash-2021.08.11', u'logstash-2021.08.12', u'logstash-2021.08.13', u'logstash-2021.08.14', u'logstash-2021.08.15', u'logstash-2021.08.23', u'nagioslogserver', u'nagioslogserver_history', u'nagioslogserver_log']
2021-08-25 21:05:59,689 ERROR     Failed to verify all nodes have repository access.
2021-08-25 21:05:59,689 WARNING   Job did not complete successfully.

Code: Select all

[root@xxxxxxx ~]# tail -f /usr/local/nagioslogserver/var/jobs.log
Running command run_alerts with args ' ' for job id: run_all_alerts
SUCCESS
Processed 0 node jobs.
Processed 3 global jobs.
tail: /usr/local/nagioslogserver/var/jobs.log: file truncated
Running command run_alerts with args ' ' for job id: run_all_alerts
SUCCESS
Running command run_alerts with args ' ' for job id: run_all_alerts
SUCCESS

Cheers,

Re: NLS not collecting data and Cluster stat red after disk

Posted: Wed Aug 25, 2021 4:42 pm

by pbroste

Hello @mafamgm

My bad, the command should look like this:

Code: Select all

curator snapshot --repository "<**the_name_of_your_repository_to_store_snapshot>" indices --all-indices

<**the_name_of_your_repository_to_store_snapshot> ==> change this to the name of the repository that you want to create the snapshot in.

Thanks,
Perry

Re: NLS not collecting data and Cluster stat red after disk

Posted: Thu Aug 26, 2021 2:30 am

by mafamgm

Code: Select all

[root@xxxxxxxxxxxx~]# curator snapshot --repository "SnapRepo1" indices --all-indices
2021-08-26 09:27:35,043 INFO      Job starting: snapshot indices
2021-08-26 09:27:35,044 WARNING   Overriding default connection timeout.  New timeout: 21600
2021-08-26 09:27:35,074 INFO      Matching all indices. Ignoring flags other than --exclude.
2021-08-26 09:27:35,075 INFO      Action snapshot will be performed on the following indices: [u'kibana-int', u'logstash-2019.02.17', u'logstash-2019.02.19', u'logstash-2019.02.20', u'logstash-2019.02.21', u'logstash-2019.02.22', u'logstash-2019.02.23', u'logstash-2019.02.24', u'logstash-2019.02.25', u'logstash-2019.02.26', u'logstash-2019.02.27', u'logstash-2019.02.28', u'logstash-2019.03.01', u'logstash-2019.03.02', u'logstash-2019.03.03', u'logstash-2019.03.04', u'logstash-2019.03.06', u'logstash-2019.03.07', u'logstash-2019.03.08', u'logstash-2019.03.09', u'logstash-2019.03.10', u'logstash-2019.03.11', u'logstash-2019.03.12', u'logstash-2019.03.13', u'logstash-2019.03.14', u'logstash-2019.03.15', u'logstash-2019.03.16', u'logstash-2019.03.17', u'logstash-2019.03.18', u'logstash-2019.05.26', u'logstash-2019.05.28', u'logstash-2019.05.30', u'logstash-2019.05.31', u'logstash-2019.06.02', u'logstash-2019.06.03', u'logstash-2019.06.04', u'logstash-2019.06.05', u'logstash-2019.06.06', u'logstash-2019.06.07', u'logstash-2019.06.14', u'logstash-2019.06.21', u'logstash-2019.06.25', u'logstash-2019.06.28', u'logstash-2019.07.01', u'logstash-2019.07.03', u'logstash-2019.07.05', u'logstash-2019.07.07', u'logstash-2019.07.08', u'logstash-2019.07.09', u'logstash-2019.07.10', u'logstash-2019.07.12', u'logstash-2019.07.19', u'logstash-2019.07.29', u'logstash-2019.08.25', u'logstash-2019.09.10', u'logstash-2019.09.11', u'logstash-2019.09.12', u'logstash-2019.09.13', u'logstash-2019.09.14', u'logstash-2019.09.15', u'logstash-2019.09.16', u'logstash-2019.09.17', u'logstash-2019.09.18', u'logstash-2019.09.19', u'logstash-2019.09.20', u'logstash-2019.09.21', u'logstash-2019.09.22', u'logstash-2019.09.23', u'logstash-2019.09.24', u'logstash-2019.09.25', u'logstash-2019.09.26', u'logstash-2019.09.27', u'logstash-2019.09.28', u'logstash-2019.09.29', u'logstash-2019.09.30', u'logstash-2019.10.01', u'logstash-2019.10.02', u'logstash-2019.10.03', u'logstash-2019.10.04', u'logstash-2019.10.05', u'logstash-2019.10.06', u'logstash-2019.10.07', u'logstash-2019.10.08', u'logstash-2019.10.09', u'logstash-2019.10.10', u'logstash-2019.10.11', u'logstash-2019.10.12', u'logstash-2019.10.13', u'logstash-2019.10.14', u'logstash-2019.10.15', u'logstash-2019.10.16', u'logstash-2019.10.17', u'logstash-2019.10.18', u'logstash-2019.10.19', u'logstash-2019.10.20', u'logstash-2019.10.21', u'logstash-2019.10.22', u'logstash-2019.10.23', u'logstash-2019.10.24', u'logstash-2019.10.25', u'logstash-2019.10.26', u'logstash-2019.10.27', u'logstash-2019.10.28', u'logstash-2019.10.29', u'logstash-2019.10.30', u'logstash-2019.10.31', u'logstash-2019.11.01', u'logstash-2019.11.02', u'logstash-2019.11.03', u'logstash-2019.11.04', u'logstash-2019.11.05', u'logstash-2019.11.06', u'logstash-2019.11.07', u'logstash-2019.11.08', u'logstash-2019.11.09', u'logstash-2019.11.10', u'logstash-2019.11.11', u'logstash-2019.11.12', u'logstash-2019.11.13', u'logstash-2019.11.14', u'logstash-2019.11.15', u'logstash-2019.11.16', u'logstash-2019.11.17', u'logstash-2019.11.18', u'logstash-2019.11.19', u'logstash-2019.11.20', u'logstash-2019.11.21', u'logstash-2019.11.22', u'logstash-2019.11.23', u'logstash-2019.11.24', u'logstash-2019.11.25', u'logstash-2019.11.26', u'logstash-2019.11.27', u'logstash-2019.11.28', u'logstash-2019.11.29', u'logstash-2019.11.30', u'logstash-2019.12.01', u'logstash-2019.12.02', u'logstash-2019.12.03', u'logstash-2019.12.04', u'logstash-2019.12.05', u'logstash-2019.12.06', u'logstash-2019.12.07', u'logstash-2019.12.08', u'logstash-2019.12.09', u'logstash-2019.12.10', u'logstash-2019.12.11', u'logstash-2019.12.12', u'logstash-2019.12.13', u'logstash-2019.12.14', u'logstash-2019.12.15', u'logstash-2019.12.16', u'logstash-2019.12.17', u'logstash-2019.12.18', u'logstash-2019.12.19', u'logstash-2019.12.20', u'logstash-2019.12.21', u'logstash-2019.12.22', u'logstash-2019.12.23', u'logstash-2019.12.24', u'logstash-2019.12.25', u'logstash-2019.12.26', u'logstash-2019.12.27', u'logstash-2019.12.28', u'logstash-2019.12.29', u'logstash-2019.12.30', u'logstash-2019.12.31', u'logstash-2020.01.01', u'logstash-2020.01.02', u'logstash-2020.01.03', u'logstash-2020.01.04', u'logstash-2020.01.05', u'logstash-2020.01.06', u'logstash-2020.01.07', u'logstash-2020.01.08', u'logstash-2020.01.09', u'logstash-2020.01.10', u'logstash-2020.01.11', u'logstash-2020.01.12', u'logstash-2020.01.13', u'logstash-2020.01.14', u'logstash-2020.01.15', u'logstash-2020.01.16', u'logstash-2020.01.17', u'logstash-2020.01.18', u'logstash-2020.01.19', u'logstash-2020.01.20', u'logstash-2020.01.21', u'logstash-2020.01.22', u'logstash-2020.01.23', u'logstash-2020.01.24', u'logstash-2020.01.25', u'logstash-2020.01.26', u'logstash-2020.01.27', u'logstash-2020.01.28', u'logstash-2020.01.29', u'logstash-2020.01.30', u'logstash-2020.01.31', u'logstash-2020.02.01', u'logstash-2020.02.02', u'logstash-2020.02.03', u'logstash-2020.02.04', u'logstash-2020.02.05', u'logstash-2020.02.06', u'logstash-2020.02.07', u'logstash-2020.02.08', u'logstash-2020.02.09', u'logstash-2020.02.10', u'logstash-2020.02.11', u'logstash-2020.02.12', u'logstash-2020.02.13', u'logstash-2020.02.14', u'logstash-2020.02.15', u'logstash-2020.02.16', u'logstash-2020.02.17', u'logstash-2020.02.18', u'logstash-2020.02.19', u'logstash-2020.02.20', u'logstash-2020.02.21', u'logstash-2020.02.22', u'logstash-2020.02.23', u'logstash-2020.02.24', u'logstash-2020.02.25', u'logstash-2020.02.26', u'logstash-2020.02.27', u'logstash-2020.02.28', u'logstash-2020.02.29', u'logstash-2020.03.01', u'logstash-2020.03.02', u'logstash-2020.03.03', u'logstash-2020.03.04', u'logstash-2020.03.05', u'logstash-2020.03.06', u'logstash-2020.03.07', u'logstash-2020.03.08', u'logstash-2020.03.09', u'logstash-2020.03.10', u'logstash-2020.03.11', u'logstash-2020.03.12', u'logstash-2020.03.13', u'logstash-2020.03.14', u'logstash-2020.03.15', u'logstash-2020.03.16', u'logstash-2020.03.17', u'logstash-2020.03.18', u'logstash-2020.03.19', u'logstash-2020.03.20', u'logstash-2020.03.21', u'logstash-2020.03.22', u'logstash-2020.03.23', u'logstash-2020.03.24', u'logstash-2020.03.25', u'logstash-2020.03.26', u'logstash-2020.03.27', u'logstash-2020.03.28', u'logstash-2020.03.29', u'logstash-2020.03.30', u'logstash-2020.03.31', u'logstash-2020.04.01', u'logstash-2020.04.02', u'logstash-2020.04.03', u'logstash-2020.04.04', u'logstash-2020.04.05', u'logstash-2020.04.06', u'logstash-2020.04.07', u'logstash-2020.04.08', u'logstash-2020.04.09', u'logstash-2020.04.10', u'logstash-2020.04.11', u'logstash-2020.04.12', u'logstash-2020.04.13', u'logstash-2020.04.14', u'logstash-2020.04.15', u'logstash-2020.04.16', u'logstash-2020.04.17', u'logstash-2020.04.18', u'logstash-2020.04.19', u'logstash-2020.04.20', u'logstash-2020.04.21', u'logstash-2020.04.22', u'logstash-2020.04.23', u'logstash-2020.04.24', u'logstash-2020.04.25', u'logstash-2020.04.26', u'logstash-2020.04.27', u'logstash-2020.04.28', u'logstash-2020.04.29', u'logstash-2020.04.30', u'logstash-2020.05.01', u'logstash-2020.05.02', u'logstash-2020.05.03', u'logstash-2020.05.04', u'logstash-2020.05.05', u'logstash-2020.05.06', u'logstash-2020.05.07', u'logstash-2020.05.08', u'logstash-2020.05.09', u'logstash-2020.05.10', u'logstash-2020.05.11', u'logstash-2020.05.12', u'logstash-2020.05.13', u'logstash-2020.05.14', u'logstash-2020.05.15', u'logstash-2020.05.16', u'logstash-2020.05.17', u'logstash-2020.05.18', u'logstash-2020.05.19', u'logstash-2020.05.20', u'logstash-2020.05.21', u'logstash-2020.05.22', u'logstash-2020.05.23', u'logstash-2020.05.24', u'logstash-2020.05.25', u'logstash-2020.05.26', u'logstash-2020.05.27', u'logstash-2020.05.28', u'logstash-2020.05.29', u'logstash-2020.05.30', u'logstash-2020.05.31', u'logstash-2020.06.01', u'logstash-2020.06.02', u'logstash-2020.06.03', u'logstash-2020.06.04', u'logstash-2020.06.05', u'logstash-2020.06.06', u'logstash-2020.06.07', u'logstash-2020.06.08', u'logstash-2020.06.09', u'logstash-2020.06.10', u'logstash-2020.06.11', u'logstash-2020.06.12', u'logstash-2020.06.13', u'logstash-2020.06.14', u'logstash-2020.06.15', u'logstash-2020.06.16', u'logstash-2020.06.17', u'logstash-2020.06.18', u'logstash-2020.06.19', u'logstash-2020.06.20', u'logstash-2020.06.21', u'logstash-2020.06.22', u'logstash-2020.06.23', u'logstash-2020.06.24', u'logstash-2020.06.25', u'logstash-2020.06.26', u'logstash-2020.06.27', u'logstash-2020.06.28', u'logstash-2020.06.29', u'logstash-2020.06.30', u'logstash-2020.07.01', u'logstash-2020.07.02', u'logstash-2020.07.03', u'logstash-2020.07.04', u'logstash-2020.07.05', u'logstash-2020.07.06', u'logstash-2020.07.07', u'logstash-2020.07.08', u'logstash-2020.07.09', u'logstash-2020.07.10', u'logstash-2020.07.11', u'logstash-2020.07.12', u'logstash-2020.07.13', u'logstash-2020.07.14', u'logstash-2020.07.15', u'logstash-2020.07.16', u'logstash-2020.07.17', u'logstash-2020.07.18', u'logstash-2020.07.19', u'logstash-2020.07.20', u'logstash-2020.07.21', u'logstash-2020.07.22', u'logstash-2020.07.23', u'logstash-2020.07.24', u'logstash-2020.07.25', u'logstash-2020.07.26', u'logstash-2020.07.27', u'logstash-2020.07.28', u'logstash-2020.07.29', u'logstash-2020.07.30', u'logstash-2020.07.31', u'logstash-2020.08.01', u'logstash-2020.08.02', u'logstash-2020.08.03', u'logstash-2020.08.04', u'logstash-2020.08.05', u'logstash-2020.08.06', u'logstash-2020.08.07', u'logstash-2020.08.08', u'logstash-2020.08.09', u'logstash-2020.08.10', u'logstash-2020.08.11', u'logstash-2020.08.12', u'logstash-2020.08.13', u'logstash-2020.08.14', u'logstash-2020.08.15', u'logstash-2020.08.16', u'logstash-2020.08.17', u'logstash-2020.08.18', u'logstash-2020.08.19', u'logstash-2020.08.20', u'logstash-2020.08.21', u'logstash-2020.08.22', u'logstash-2020.08.23', u'logstash-2020.08.24', u'logstash-2020.08.25', u'logstash-2020.08.26', u'logstash-2020.08.27', u'logstash-2020.08.28', u'logstash-2020.08.29', u'logstash-2020.08.30', u'logstash-2020.08.31', u'logstash-2020.09.01', u'logstash-2020.09.02', u'logstash-2020.09.03', u'logstash-2020.09.04', u'logstash-2020.09.05', u'logstash-2020.09.06', u'logstash-2020.09.07', u'logstash-2020.09.08', u'logstash-2020.09.09', u'logstash-2020.09.10', u'logstash-2020.09.11', u'logstash-2020.09.12', u'logstash-2020.09.13', u'logstash-2020.09.14', u'logstash-2020.09.15', u'logstash-2020.09.16', u'logstash-2020.09.17', u'logstash-2020.09.18', u'logstash-2020.09.19', u'logstash-2020.09.20', u'logstash-2020.09.21', u'logstash-2020.09.22', u'logstash-2020.09.23', u'logstash-2020.09.24', u'logstash-2020.09.25', u'logstash-2020.09.26', u'logstash-2020.09.27', u'logstash-2020.09.28', u'logstash-2020.09.29', u'logstash-2020.09.30', u'logstash-2020.10.01', u'logstash-2020.10.02', u'logstash-2020.10.03', u'logstash-2020.10.04', u'logstash-2020.10.05', u'logstash-2020.10.06', u'logstash-2020.10.07', u'logstash-2020.10.08', u'logstash-2020.10.09', u'logstash-2020.10.10', u'logstash-2020.10.11', u'logstash-2020.10.12', u'logstash-2020.10.13', u'logstash-2020.10.14', u'logstash-2020.10.15', u'logstash-2020.10.16', u'logstash-2020.10.17', u'logstash-2020.10.18', u'logstash-2020.10.19', u'logstash-2020.10.20', u'logstash-2020.10.21', u'logstash-2020.10.22', u'logstash-2020.10.23', u'logstash-2020.10.24', u'logstash-2020.10.25', u'logstash-2020.10.26', u'logstash-2020.10.27', u'logstash-2020.10.28', u'logstash-2020.10.29', u'logstash-2020.10.30', u'logstash-2020.10.31', u'logstash-2020.11.01', u'logstash-2020.11.02', u'logstash-2020.11.03', u'logstash-2020.11.04', u'logstash-2020.11.05', u'logstash-2020.11.06', u'logstash-2020.11.07', u'logstash-2020.11.08', u'logstash-2020.11.09', u'logstash-2020.11.10', u'logstash-2020.11.11', u'logstash-2020.11.12', u'logstash-2020.11.13', u'logstash-2020.11.14', u'logstash-2020.11.15', u'logstash-2020.11.16', u'logstash-2020.11.17', u'logstash-2020.11.18', u'logstash-2020.11.19', u'logstash-2020.11.20', u'logstash-2020.11.21', u'logstash-2020.11.22', u'logstash-2020.11.23', u'logstash-2020.11.24', u'logstash-2020.11.25', u'logstash-2020.11.26', u'logstash-2020.11.27', u'logstash-2020.11.28', u'logstash-2020.11.29', u'logstash-2020.11.30', u'logstash-2020.12.01', u'logstash-2020.12.02', u'logstash-2020.12.03', u'logstash-2020.12.04', u'logstash-2020.12.05', u'logstash-2020.12.06', u'logstash-2020.12.07', u'logstash-2020.12.08', u'logstash-2020.12.09', u'logstash-2020.12.10', u'logstash-2020.12.11', u'logstash-2020.12.12', u'logstash-2020.12.13', u'logstash-2020.12.14', u'logstash-2020.12.15', u'logstash-2020.12.16', u'logstash-2020.12.17', u'logstash-2020.12.18', u'logstash-2020.12.19', u'logstash-2020.12.20', u'logstash-2020.12.21', u'logstash-2020.12.22', u'logstash-2020.12.23', u'logstash-2020.12.24', u'logstash-2020.12.25', u'logstash-2020.12.26', u'logstash-2020.12.27', u'logstash-2020.12.28', u'logstash-2020.12.29', u'logstash-2020.12.30', u'logstash-2020.12.31', u'logstash-2021.01.01', u'logstash-2021.01.02', u'logstash-2021.01.03', u'logstash-2021.01.04', u'logstash-2021.01.05', u'logstash-2021.01.06', u'logstash-2021.01.07', u'logstash-2021.01.08', u'logstash-2021.01.09', u'logstash-2021.01.10', u'logstash-2021.01.11', u'logstash-2021.01.12', u'logstash-2021.01.13', u'logstash-2021.01.14', u'logstash-2021.01.15', u'logstash-2021.01.16', u'logstash-2021.01.17', u'logstash-2021.01.18', u'logstash-2021.01.19', u'logstash-2021.01.20', u'logstash-2021.01.21', u'logstash-2021.01.22', u'logstash-2021.01.23', u'logstash-2021.01.24', u'logstash-2021.01.25', u'logstash-2021.01.26', u'logstash-2021.01.27', u'logstash-2021.01.28', u'logstash-2021.01.29', u'logstash-2021.01.30', u'logstash-2021.01.31', u'logstash-2021.02.01', u'logstash-2021.02.02', u'logstash-2021.02.03', u'logstash-2021.02.04', u'logstash-2021.02.05', u'logstash-2021.02.06', u'logstash-2021.02.07', u'logstash-2021.02.08', u'logstash-2021.02.09', u'logstash-2021.02.10', u'logstash-2021.02.11', u'logstash-2021.02.12', u'logstash-2021.02.13', u'logstash-2021.02.14', u'logstash-2021.02.15', u'logstash-2021.02.16', u'logstash-2021.02.17', u'logstash-2021.02.18', u'logstash-2021.02.19', u'logstash-2021.02.20', u'logstash-2021.02.21', u'logstash-2021.02.22', u'logstash-2021.02.23', u'logstash-2021.02.24', u'logstash-2021.02.25', u'logstash-2021.02.26', u'logstash-2021.02.27', u'logstash-2021.03.01', u'logstash-2021.03.03', u'logstash-2021.03.04', u'logstash-2021.03.05', u'logstash-2021.03.06', u'logstash-2021.03.07', u'logstash-2021.03.08', u'logstash-2021.03.09', u'logstash-2021.03.10', u'logstash-2021.03.11', u'logstash-2021.03.12', u'logstash-2021.03.13', u'logstash-2021.03.14', u'logstash-2021.03.15', u'logstash-2021.03.16', u'logstash-2021.03.17', u'logstash-2021.03.18', u'logstash-2021.03.19', u'logstash-2021.03.20', u'logstash-2021.03.21', u'logstash-2021.03.22', u'logstash-2021.03.23', u'logstash-2021.03.24', u'logstash-2021.03.25', u'logstash-2021.03.26', u'logstash-2021.03.27', u'logstash-2021.03.28', u'logstash-2021.03.29', u'logstash-2021.03.30', u'logstash-2021.03.31', u'logstash-2021.04.01', u'logstash-2021.04.02', u'logstash-2021.04.03', u'logstash-2021.04.04', u'logstash-2021.04.05', u'logstash-2021.04.06', u'logstash-2021.04.07', u'logstash-2021.04.08', u'logstash-2021.04.09', u'logstash-2021.04.10', u'logstash-2021.04.11', u'logstash-2021.04.12', u'logstash-2021.04.13', u'logstash-2021.04.14', u'logstash-2021.04.15', u'logstash-2021.04.16', u'logstash-2021.04.17', u'logstash-2021.04.18', u'logstash-2021.04.19', u'logstash-2021.04.20', u'logstash-2021.04.21', u'logstash-2021.04.22', u'logstash-2021.04.23', u'logstash-2021.04.24', u'logstash-2021.04.25', u'logstash-2021.04.26', u'logstash-2021.04.27', u'logstash-2021.04.28', u'logstash-2021.04.29', u'logstash-2021.04.30', u'logstash-2021.05.01', u'logstash-2021.05.02', u'logstash-2021.05.03', u'logstash-2021.05.04', u'logstash-2021.05.05', u'logstash-2021.05.06', u'logstash-2021.05.07', u'logstash-2021.05.08', u'logstash-2021.05.09', u'logstash-2021.05.10', u'logstash-2021.05.11', u'logstash-2021.05.12', u'logstash-2021.05.13', u'logstash-2021.05.14', u'logstash-2021.05.15', u'logstash-2021.05.16', u'logstash-2021.05.17', u'logstash-2021.05.18', u'logstash-2021.05.19', u'logstash-2021.05.20', u'logstash-2021.05.21', u'logstash-2021.05.22', u'logstash-2021.05.23', u'logstash-2021.05.24', u'logstash-2021.05.25', u'logstash-2021.05.26', u'logstash-2021.05.27', u'logstash-2021.05.28', u'logstash-2021.05.29', u'logstash-2021.05.30', u'logstash-2021.05.31', u'logstash-2021.06.01', u'logstash-2021.06.02', u'logstash-2021.06.03', u'logstash-2021.06.04', u'logstash-2021.06.05', u'logstash-2021.06.06', u'logstash-2021.06.07', u'logstash-2021.06.08', u'logstash-2021.06.09', u'logstash-2021.06.10', u'logstash-2021.06.11', u'logstash-2021.06.12', u'logstash-2021.06.13', u'logstash-2021.06.14', u'logstash-2021.06.15', u'logstash-2021.06.16', u'logstash-2021.06.17', u'logstash-2021.06.18', u'logstash-2021.06.19', u'logstash-2021.06.20', u'logstash-2021.06.21', u'logstash-2021.06.22', u'logstash-2021.06.23', u'logstash-2021.06.24', u'logstash-2021.06.25', u'logstash-2021.06.26', u'logstash-2021.06.27', u'logstash-2021.06.28', u'logstash-2021.06.29', u'logstash-2021.06.30', u'logstash-2021.07.01', u'logstash-2021.07.02', u'logstash-2021.07.03', u'logstash-2021.07.04', u'logstash-2021.07.05', u'logstash-2021.07.06', u'logstash-2021.07.07', u'logstash-2021.07.08', u'logstash-2021.07.09', u'logstash-2021.07.10', u'logstash-2021.07.11', u'logstash-2021.07.12', u'logstash-2021.07.13', u'logstash-2021.07.14', u'logstash-2021.07.15', u'logstash-2021.07.16', u'logstash-2021.07.17', u'logstash-2021.07.18', u'logstash-2021.07.19', u'logstash-2021.07.20', u'logstash-2021.07.21', u'logstash-2021.07.22', u'logstash-2021.07.23', u'logstash-2021.07.24', u'logstash-2021.07.25', u'logstash-2021.07.26', u'logstash-2021.07.27', u'logstash-2021.07.28', u'logstash-2021.07.29', u'logstash-2021.07.30', u'logstash-2021.07.31', u'logstash-2021.08.01', u'logstash-2021.08.02', u'logstash-2021.08.03', u'logstash-2021.08.04', u'logstash-2021.08.05', u'logstash-2021.08.06', u'logstash-2021.08.07', u'logstash-2021.08.08', u'logstash-2021.08.09', u'logstash-2021.08.10', u'logstash-2021.08.11', u'logstash-2021.08.12', u'logstash-2021.08.13', u'logstash-2021.08.14', u'logstash-2021.08.15', u'logstash-2021.08.23', u'nagioslogserver', u'nagioslogserver_history', u'nagioslogserver_log']
2021-08-26 09:28:03,904 INFO      Snapshot name: curator-20210826072803
2021-08-26 09:28:04,094 ERROR     Snapshot FAILED completed with state: FAILED
2021-08-26 09:28:04,094 WARNING   Job did not complete successfully.
[root@xxxxxxxxxxxx~]#

Code: Select all

[root@xxxxxxxxxxxx~]# tail -f /usr/local/nagioslogserver/var/jobs.log
Running command run_alerts with args ' ' for job id: run_all_alerts
SUCCESS
Running command run_alerts with args ' ' for job id: run_all_alerts
SUCCESS
Running command run_alerts with args ' ' for job id: run_all_alerts
SUCCESS
Processed 0 node jobs.
Processed 3 global jobs.

Re: NLS not collecting data and Cluster stat red after disk

Posted: Thu Aug 26, 2021 11:10 am

by pbroste

Hello @mafamgm

Let's limit the scope and review debug info on the output when we are creating the snapshot.

Code: Select all

curator --debug snapshot --repository "SnapRepo1" --ignore_unavailable indices --older-than 1 --time-unit days --timestring %Y.%m.%d

If you want to write the command to file append to the end > /location/filename.txt

Get the list of the directory structure on your logstash data:

Code: Select all

ls -lahrtR /usr/local/nagioslogserver/elasticsearch/data/ > /tmp/elasticsearchdata.txt

And

Code: Select all

ls -lahrtR /mnt/nagios_log_server_common_backups/ > /tmp/mountpoint.txt

Here is a doc on Snapshots and Maintenance that I have been referencing.

Please send me the results in a private message.

Thanks,
Perry

Re: NLS not collecting data and Cluster stat red after disk

Posted: Thu Aug 26, 2021 11:40 am

by mafamgm

Hello @pbroste,

send you the stuff via PN.

Thanks.

Re: NLS not collecting data and Cluster stat red after disk

Posted: Fri Aug 27, 2021 9:21 am

by pbroste

Hello @mafamgm

Thanks for sending along the 'curator' results; and in review, we will need further info to help determine what is going on. Want to have you send us the System Profile.

Code: Select all

/usr/local/nagioslogserver/scripts/profile.sh

This script will place the compressed results of the System Profile in the /tmp/. Typically the compressed file is to big to send as an attachment and want to have you break it up into pieces and PM each 'systemprofileparts..a~b~...' via a separate message.

Code: Select all

split -b 50M system-profile.tar.gz systemprofileparts

Thanks,
Perry