NLS not collecting data and Cluster stat red after disk full

This support forum board is for support questions relating to Nagios Log Server, our solution for managing and monitoring critical log data.
Locked
mafamgm
Posts: 26
Joined: Tue May 25, 2021 10:07 am

NLS not collecting data and Cluster stat red after disk full

Post by mafamgm »

Hi,

Unfortunately, my hard disk has filled up. The cause was the snapshots. I transferred them to another system and deleted them on the NLS. Currently 800GB are free again.

Unfortunately the cluster status is still red and the following error appears in the elasticsearch log

Code: Select all

[2021-08-24 09:03:05,576][DEBUG][action.bulk              ] [db753346-20b2-4d8f-93f9-7b434bd7d481] observer: timeout notification from cluster service. timeout setting [1m], time since start [1m]
[2021-08-24 09:03:05,576][DEBUG][action.bulk              ] [db753346-20b2-4d8f-93f9-7b434bd7d481] observer: timeout notification from cluster service. timeout setting [1m], time since start [1m]
[2021-08-24 09:03:05,576][DEBUG][action.bulk              ] [db753346-20b2-4d8f-93f9-7b434bd7d481] observer: timeout notification from cluster service. timeout setting [1m], time since start [1m]
[2021-08-24 09:03:05,681][DEBUG][action.bulk              ] [db753346-20b2-4d8f-93f9-7b434bd7d481] observer: timeout notification from cluster service. timeout setting [1m], time since start [1m]
[2021-08-24 09:03:05,681][DEBUG][action.bulk              ] [db753346-20b2-4d8f-93f9-7b434bd7d481] observer: timeout notification from cluster service. timeout setting [1m], time since start [1m]
I have also read this thread here, but I have no entries with INITIALIZING ALLOCATION_FAILED.

Code: Select all

curl -XGET localhost:9200/_cat/shards?h=index,shard,prirep,state,unassigned.reason| grep UNASSIGNED
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0logstash-2021.05.24     2 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.24     0 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.24     3 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.24     1 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.24     4 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.25     2 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.25     0 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.25     3 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.25     1 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.25     4 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.22     4 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.22     0 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.22     3 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.22     1 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.22     2 r UNASSIGNED CLUSTER_RECOVERED
[...]
logstash-2021.04.26     3 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.04.26     1 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.04.26     4 r UNASSIGNED CLUSTER_RECOVERED


See command01.txt

Code: Select all

curl -XGET localhost:9200/_cat/shards?h=index,shard,prirep,state,unassigned.reason
logstash-2021.05.24     2 p STARTED
logstash-2021.05.24     2 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.24     0 p STARTED
logstash-2021.05.24     0 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.05.24     3 p STARTED
[...]
logstash-2021.04.26     3 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.04.26     1 p STARTED
logstash-2021.04.26     1 r UNASSIGNED CLUSTER_RECOVERED
logstash-2021.04.26     4 p STARTED
logstash-2021.04.26     4 r UNASSIGNED CLUSTER_RECOVERED

See command02.txt
Any Ideas?

Thanks
You do not have the required permissions to view the files attached to this post.
Top
User avatar
pbroste
Posts: 1288
Joined: Tue Jun 01, 2021 1:27 pm

Re: NLS not collecting data and Cluster stat red after disk

Post by pbroste »

Hello @mafamgm

Thanks for reaching out and posting the details.

Want to have you check out this support article on how to go about changing data paths on the Nagios Log server.
Please let us know if you have further questions.

Thanks,
Perry
Top
mafamgm
Posts: 26
Joined: Tue May 25, 2021 10:07 am

Re: NLS not collecting data and Cluster stat red after disk

Post by mafamgm »

Hello @pbroste

i didn't changed any data path.
I moved the data of the snapshot-folder to another system and then deleted the data on the NLS.

Cheers,
Marcel
Top
User avatar
pbroste
Posts: 1288
Joined: Tue Jun 01, 2021 1:27 pm

Re: NLS not collecting data and Cluster stat red after disk

Post by pbroste »

Hello @mafamgm

Thanks for following up, sounds like you were able to create a new repository in the web console > Admin > Snapshots & Maintenance > Maintenance and Repository Settings [Create Repository]. Verify that the Repository mount point is read/write nagios user, nagios group. ( my test env is root:root )

Let's verify that the snapshot (see article):

  • Code: Select all

    curl -XGET "localhost:9200/_snapshot?pretty"
    • Should see something similar to: [quote]{ "Common_Backups" : { "type" : "fs", "settings" : { "compress" : "true", "location" : "/mnt/nagios_log_server_common_backups" } } }[/quote]
  • Let's run this command to execute snapshot backup to verify that new snapshots are working for the time being:
    • [list]

  • Code: Select all

    curator snapshot --repository "Common_Backups" indices --all-indices
[/list]

May want to run this command to watch the jobs:

  • Code: Select all

    tail -f /usr/local/nagioslogserver/var/jobs.log
Let us know the results,
Perry
Top
mafamgm
Posts: 26
Joined: Tue May 25, 2021 10:07 am

Re: NLS not collecting data and Cluster stat red after disk

Post by mafamgm »

Hello @pbroste,

see the Output:

Code: Select all

[root@xxxxxxxxxxxxxxxx~]# curl -XGET "localhost:9200/_snapshot?pretty"
{
  "SnapRepo1" : {
    "type" : "fs",
    "settings" : {
      "compress" : "true",
      "location" : "/usr/local/nagioslogserver/snapshots"
    }
  }
}

Code: Select all

[root@xxxxxxxx~]# ls -al /usr/local/nagioslogserver/
total 16
drwxrwxr-x. 10 nagios nagios   138 Jun  7 18:36 .
drwxr-xr-x. 13 root   root     154 Sep 10  2019 ..
drwxr-xr-x.  7 nagios nagios   128 Sep 10  2019 elasticsearch
drwxrwxr-x.  2 nagios nagios     6 Sep 10  2019 etc
-rw-r--r--.  1 root   root       0 Sep 10  2019 .installed
drwxr-xr-x.  6 nagios nagios   171 Sep 10  2019 logstash
drwxrwxr-x.  2 nagios nagios    62 Sep 10  2019 mibs
drwxrwxr-x.  2 nagios nagios   263 Sep 10  2019 scripts
drwxrwxr-x.  3 nagios nagios 12288 Aug 15 19:05 snapshots
drwxrwxr-x.  3 nagios nagios    27 Jun  7 18:36 tmp
drwxrwxr-x.  3 nagios nagios   128 Oct 21  2019 var

Code: Select all

[root@xxxxxxxxxx~]# curator snapshot --repository "Common_Backups" indices --all-indices
2021-08-25 21:05:30,152 INFO      Job starting: snapshot indices
2021-08-25 21:05:30,152 WARNING   Overriding default connection timeout.  New timeout: 21600
2021-08-25 21:05:30,184 INFO      Matching all indices. Ignoring flags other than --exclude.
2021-08-25 21:05:30,185 INFO      Action snapshot will be performed on the following indices: [u'kibana-int', u'logstash-2019.02.17', u'logstash-2019.02.19', u'logstash-2019.02.20', u'logstash-2019.02.21', u'logstash-2019.02.22', u'logstash-2019.02.23', u'logstash-2019.02.24', u'logstash-2019.02.25', u'logstash-2019.02.26', u'logstash-2019.02.27', u'logstash-2019.02.28', u'logstash-2019.03.01', u'logstash-2019.03.02', u'logstash-2019.03.03', u'logstash-2019.03.04', u'logstash-2019.03.06', u'logstash-2019.03.07', u'logstash-2019.03.08', u'logstash-2019.03.09', u'logstash-2019.03.10', u'logstash-2019.03.11', u'logstash-2019.03.12', u'logstash-2019.03.13', u'logstash-2019.03.14', u'logstash-2019.03.15', u'logstash-2019.03.16', u'logstash-2019.03.17', u'logstash-2019.03.18', u'logstash-2019.05.26', u'logstash-2019.05.28', u'logstash-2019.05.30', u'logstash-2019.05.31', u'logstash-2019.06.02', u'logstash-2019.06.03', u'logstash-2019.06.04', u'logstash-2019.06.05', u'logstash-2019.06.06', u'logstash-2019.06.07', u'logstash-2019.06.14', u'logstash-2019.06.21', u'logstash-2019.06.25', u'logstash-2019.06.28', u'logstash-2019.07.01', u'logstash-2019.07.03', u'logstash-2019.07.05', u'logstash-2019.07.07', u'logstash-2019.07.08', u'logstash-2019.07.09', u'logstash-2019.07.10', u'logstash-2019.07.12', u'logstash-2019.07.19', u'logstash-2019.07.29', u'logstash-2019.08.25', u'logstash-2019.09.10', u'logstash-2019.09.11', u'logstash-2019.09.12', u'logstash-2019.09.13', u'logstash-2019.09.14', u'logstash-2019.09.15', u'logstash-2019.09.16', u'logstash-2019.09.17', u'logstash-2019.09.18', u'logstash-2019.09.19', u'logstash-2019.09.20', u'logstash-2019.09.21', u'logstash-2019.09.22', u'logstash-2019.09.23', u'logstash-2019.09.24', u'logstash-2019.09.25', u'logstash-2019.09.26', u'logstash-2019.09.27', u'logstash-2019.09.28', u'logstash-2019.09.29', u'logstash-2019.09.30', u'logstash-2019.10.01', u'logstash-2019.10.02', u'logstash-2019.10.03', u'logstash-2019.10.04', u'logstash-2019.10.05', u'logstash-2019.10.06', u'logstash-2019.10.07', u'logstash-2019.10.08', u'logstash-2019.10.09', u'logstash-2019.10.10', u'logstash-2019.10.11', u'logstash-2019.10.12', u'logstash-2019.10.13', u'logstash-2019.10.14', u'logstash-2019.10.15', u'logstash-2019.10.16', u'logstash-2019.10.17', u'logstash-2019.10.18', u'logstash-2019.10.19', u'logstash-2019.10.20', u'logstash-2019.10.21', u'logstash-2019.10.22', u'logstash-2019.10.23', u'logstash-2019.10.24', u'logstash-2019.10.25', u'logstash-2019.10.26', u'logstash-2019.10.27', u'logstash-2019.10.28', u'logstash-2019.10.29', u'logstash-2019.10.30', u'logstash-2019.10.31', u'logstash-2019.11.01', u'logstash-2019.11.02', u'logstash-2019.11.03', u'logstash-2019.11.04', u'logstash-2019.11.05', u'logstash-2019.11.06', u'logstash-2019.11.07', u'logstash-2019.11.08', u'logstash-2019.11.09', u'logstash-2019.11.10', u'logstash-2019.11.11', u'logstash-2019.11.12', u'logstash-2019.11.13', u'logstash-2019.11.14', u'logstash-2019.11.15', u'logstash-2019.11.16', u'logstash-2019.11.17', u'logstash-2019.11.18', u'logstash-2019.11.19', u'logstash-2019.11.20', u'logstash-2019.11.21', u'logstash-2019.11.22', u'logstash-2019.11.23', u'logstash-2019.11.24', u'logstash-2019.11.25', u'logstash-2019.11.26', u'logstash-2019.11.27', u'logstash-2019.11.28', u'logstash-2019.11.29', u'logstash-2019.11.30', u'logstash-2019.12.01', u'logstash-2019.12.02', u'logstash-2019.12.03', u'logstash-2019.12.04', u'logstash-2019.12.05', u'logstash-2019.12.06', u'logstash-2019.12.07', u'logstash-2019.12.08', u'logstash-2019.12.09', u'logstash-2019.12.10', u'logstash-2019.12.11', u'logstash-2019.12.12', u'logstash-2019.12.13', u'logstash-2019.12.14', u'logstash-2019.12.15', u'logstash-2019.12.16', u'logstash-2019.12.17', u'logstash-2019.12.18', u'logstash-2019.12.19', u'logstash-2019.12.20', u'logstash-2019.12.21', u'logstash-2019.12.22', u'logstash-2019.12.23', u'logstash-2019.12.24', u'logstash-2019.12.25', u'logstash-2019.12.26', u'logstash-2019.12.27', u'logstash-2019.12.28', u'logstash-2019.12.29', u'logstash-2019.12.30', u'logstash-2019.12.31', u'logstash-2020.01.01', u'logstash-2020.01.02', u'logstash-2020.01.03', u'logstash-2020.01.04', u'logstash-2020.01.05', u'logstash-2020.01.06', u'logstash-2020.01.07', u'logstash-2020.01.08', u'logstash-2020.01.09', u'logstash-2020.01.10', u'logstash-2020.01.11', u'logstash-2020.01.12', u'logstash-2020.01.13', u'logstash-2020.01.14', u'logstash-2020.01.15', u'logstash-2020.01.16', u'logstash-2020.01.17', u'logstash-2020.01.18', u'logstash-2020.01.19', u'logstash-2020.01.20', u'logstash-2020.01.21', u'logstash-2020.01.22', u'logstash-2020.01.23', u'logstash-2020.01.24', u'logstash-2020.01.25', u'logstash-2020.01.26', u'logstash-2020.01.27', u'logstash-2020.01.28', u'logstash-2020.01.29', u'logstash-2020.01.30', u'logstash-2020.01.31', u'logstash-2020.02.01', u'logstash-2020.02.02', u'logstash-2020.02.03', u'logstash-2020.02.04', u'logstash-2020.02.05', u'logstash-2020.02.06', u'logstash-2020.02.07', u'logstash-2020.02.08', u'logstash-2020.02.09', u'logstash-2020.02.10', u'logstash-2020.02.11', u'logstash-2020.02.12', u'logstash-2020.02.13', u'logstash-2020.02.14', u'logstash-2020.02.15', u'logstash-2020.02.16', u'logstash-2020.02.17', u'logstash-2020.02.18', u'logstash-2020.02.19', u'logstash-2020.02.20', u'logstash-2020.02.21', u'logstash-2020.02.22', u'logstash-2020.02.23', u'logstash-2020.02.24', u'logstash-2020.02.25', u'logstash-2020.02.26', u'logstash-2020.02.27', u'logstash-2020.02.28', u'logstash-2020.02.29', u'logstash-2020.03.01', u'logstash-2020.03.02', u'logstash-2020.03.03', u'logstash-2020.03.04', u'logstash-2020.03.05', u'logstash-2020.03.06', u'logstash-2020.03.07', u'logstash-2020.03.08', u'logstash-2020.03.09', u'logstash-2020.03.10', u'logstash-2020.03.11', u'logstash-2020.03.12', u'logstash-2020.03.13', u'logstash-2020.03.14', u'logstash-2020.03.15', u'logstash-2020.03.16', u'logstash-2020.03.17', u'logstash-2020.03.18', u'logstash-2020.03.19', u'logstash-2020.03.20', u'logstash-2020.03.21', u'logstash-2020.03.22', u'logstash-2020.03.23', u'logstash-2020.03.24', u'logstash-2020.03.25', u'logstash-2020.03.26', u'logstash-2020.03.27', u'logstash-2020.03.28', u'logstash-2020.03.29', u'logstash-2020.03.30', u'logstash-2020.03.31', u'logstash-2020.04.01', u'logstash-2020.04.02', u'logstash-2020.04.03', u'logstash-2020.04.04', u'logstash-2020.04.05', u'logstash-2020.04.06', u'logstash-2020.04.07', u'logstash-2020.04.08', u'logstash-2020.04.09', u'logstash-2020.04.10', u'logstash-2020.04.11', u'logstash-2020.04.12', u'logstash-2020.04.13', u'logstash-2020.04.14', u'logstash-2020.04.15', u'logstash-2020.04.16', u'logstash-2020.04.17', u'logstash-2020.04.18', u'logstash-2020.04.19', u'logstash-2020.04.20', u'logstash-2020.04.21', u'logstash-2020.04.22', u'logstash-2020.04.23', u'logstash-2020.04.24', u'logstash-2020.04.25', u'logstash-2020.04.26', u'logstash-2020.04.27', u'logstash-2020.04.28', u'logstash-2020.04.29', u'logstash-2020.04.30', u'logstash-2020.05.01', u'logstash-2020.05.02', u'logstash-2020.05.03', u'logstash-2020.05.04', u'logstash-2020.05.05', u'logstash-2020.05.06', u'logstash-2020.05.07', u'logstash-2020.05.08', u'logstash-2020.05.09', u'logstash-2020.05.10', u'logstash-2020.05.11', u'logstash-2020.05.12', u'logstash-2020.05.13', u'logstash-2020.05.14', u'logstash-2020.05.15', u'logstash-2020.05.16', u'logstash-2020.05.17', u'logstash-2020.05.18', u'logstash-2020.05.19', u'logstash-2020.05.20', u'logstash-2020.05.21', u'logstash-2020.05.22', u'logstash-2020.05.23', u'logstash-2020.05.24', u'logstash-2020.05.25', u'logstash-2020.05.26', u'logstash-2020.05.27', u'logstash-2020.05.28', u'logstash-2020.05.29', u'logstash-2020.05.30', u'logstash-2020.05.31', u'logstash-2020.06.01', u'logstash-2020.06.02', u'logstash-2020.06.03', u'logstash-2020.06.04', u'logstash-2020.06.05', u'logstash-2020.06.06', u'logstash-2020.06.07', u'logstash-2020.06.08', u'logstash-2020.06.09', u'logstash-2020.06.10', u'logstash-2020.06.11', u'logstash-2020.06.12', u'logstash-2020.06.13', u'logstash-2020.06.14', u'logstash-2020.06.15', u'logstash-2020.06.16', u'logstash-2020.06.17', u'logstash-2020.06.18', u'logstash-2020.06.19', u'logstash-2020.06.20', u'logstash-2020.06.21', u'logstash-2020.06.22', u'logstash-2020.06.23', u'logstash-2020.06.24', u'logstash-2020.06.25', u'logstash-2020.06.26', u'logstash-2020.06.27', u'logstash-2020.06.28', u'logstash-2020.06.29', u'logstash-2020.06.30', u'logstash-2020.07.01', u'logstash-2020.07.02', u'logstash-2020.07.03', u'logstash-2020.07.04', u'logstash-2020.07.05', u'logstash-2020.07.06', u'logstash-2020.07.07', u'logstash-2020.07.08', u'logstash-2020.07.09', u'logstash-2020.07.10', u'logstash-2020.07.11', u'logstash-2020.07.12', u'logstash-2020.07.13', u'logstash-2020.07.14', u'logstash-2020.07.15', u'logstash-2020.07.16', u'logstash-2020.07.17', u'logstash-2020.07.18', u'logstash-2020.07.19', u'logstash-2020.07.20', u'logstash-2020.07.21', u'logstash-2020.07.22', u'logstash-2020.07.23', u'logstash-2020.07.24', u'logstash-2020.07.25', u'logstash-2020.07.26', u'logstash-2020.07.27', u'logstash-2020.07.28', u'logstash-2020.07.29', u'logstash-2020.07.30', u'logstash-2020.07.31', u'logstash-2020.08.01', u'logstash-2020.08.02', u'logstash-2020.08.03', u'logstash-2020.08.04', u'logstash-2020.08.05', u'logstash-2020.08.06', u'logstash-2020.08.07', u'logstash-2020.08.08', u'logstash-2020.08.09', u'logstash-2020.08.10', u'logstash-2020.08.11', u'logstash-2020.08.12', u'logstash-2020.08.13', u'logstash-2020.08.14', u'logstash-2020.08.15', u'logstash-2020.08.16', u'logstash-2020.08.17', u'logstash-2020.08.18', u'logstash-2020.08.19', u'logstash-2020.08.20', u'logstash-2020.08.21', u'logstash-2020.08.22', u'logstash-2020.08.23', u'logstash-2020.08.24', u'logstash-2020.08.25', u'logstash-2020.08.26', u'logstash-2020.08.27', u'logstash-2020.08.28', u'logstash-2020.08.29', u'logstash-2020.08.30', u'logstash-2020.08.31', u'logstash-2020.09.01', u'logstash-2020.09.02', u'logstash-2020.09.03', u'logstash-2020.09.04', u'logstash-2020.09.05', u'logstash-2020.09.06', u'logstash-2020.09.07', u'logstash-2020.09.08', u'logstash-2020.09.09', u'logstash-2020.09.10', u'logstash-2020.09.11', u'logstash-2020.09.12', u'logstash-2020.09.13', u'logstash-2020.09.14', u'logstash-2020.09.15', u'logstash-2020.09.16', u'logstash-2020.09.17', u'logstash-2020.09.18', u'logstash-2020.09.19', u'logstash-2020.09.20', u'logstash-2020.09.21', u'logstash-2020.09.22', u'logstash-2020.09.23', u'logstash-2020.09.24', u'logstash-2020.09.25', u'logstash-2020.09.26', u'logstash-2020.09.27', u'logstash-2020.09.28', u'logstash-2020.09.29', u'logstash-2020.09.30', u'logstash-2020.10.01', u'logstash-2020.10.02', u'logstash-2020.10.03', u'logstash-2020.10.04', u'logstash-2020.10.05', u'logstash-2020.10.06', u'logstash-2020.10.07', u'logstash-2020.10.08', u'logstash-2020.10.09', u'logstash-2020.10.10', u'logstash-2020.10.11', u'logstash-2020.10.12', u'logstash-2020.10.13', u'logstash-2020.10.14', u'logstash-2020.10.15', u'logstash-2020.10.16', u'logstash-2020.10.17', u'logstash-2020.10.18', u'logstash-2020.10.19', u'logstash-2020.10.20', u'logstash-2020.10.21', u'logstash-2020.10.22', u'logstash-2020.10.23', u'logstash-2020.10.24', u'logstash-2020.10.25', u'logstash-2020.10.26', u'logstash-2020.10.27', u'logstash-2020.10.28', u'logstash-2020.10.29', u'logstash-2020.10.30', u'logstash-2020.10.31', u'logstash-2020.11.01', u'logstash-2020.11.02', u'logstash-2020.11.03', u'logstash-2020.11.04', u'logstash-2020.11.05', u'logstash-2020.11.06', u'logstash-2020.11.07', u'logstash-2020.11.08', u'logstash-2020.11.09', u'logstash-2020.11.10', u'logstash-2020.11.11', u'logstash-2020.11.12', u'logstash-2020.11.13', u'logstash-2020.11.14', u'logstash-2020.11.15', u'logstash-2020.11.16', u'logstash-2020.11.17', u'logstash-2020.11.18', u'logstash-2020.11.19', u'logstash-2020.11.20', u'logstash-2020.11.21', u'logstash-2020.11.22', u'logstash-2020.11.23', u'logstash-2020.11.24', u'logstash-2020.11.25', u'logstash-2020.11.26', u'logstash-2020.11.27', u'logstash-2020.11.28', u'logstash-2020.11.29', u'logstash-2020.11.30', u'logstash-2020.12.01', u'logstash-2020.12.02', u'logstash-2020.12.03', u'logstash-2020.12.04', u'logstash-2020.12.05', u'logstash-2020.12.06', u'logstash-2020.12.07', u'logstash-2020.12.08', u'logstash-2020.12.09', u'logstash-2020.12.10', u'logstash-2020.12.11', u'logstash-2020.12.12', u'logstash-2020.12.13', u'logstash-2020.12.14', u'logstash-2020.12.15', u'logstash-2020.12.16', u'logstash-2020.12.17', u'logstash-2020.12.18', u'logstash-2020.12.19', u'logstash-2020.12.20', u'logstash-2020.12.21', u'logstash-2020.12.22', u'logstash-2020.12.23', u'logstash-2020.12.24', u'logstash-2020.12.25', u'logstash-2020.12.26', u'logstash-2020.12.27', u'logstash-2020.12.28', u'logstash-2020.12.29', u'logstash-2020.12.30', u'logstash-2020.12.31', u'logstash-2021.01.01', u'logstash-2021.01.02', u'logstash-2021.01.03', u'logstash-2021.01.04', u'logstash-2021.01.05', u'logstash-2021.01.06', u'logstash-2021.01.07', u'logstash-2021.01.08', u'logstash-2021.01.09', u'logstash-2021.01.10', u'logstash-2021.01.11', u'logstash-2021.01.12', u'logstash-2021.01.13', u'logstash-2021.01.14', u'logstash-2021.01.15', u'logstash-2021.01.16', u'logstash-2021.01.17', u'logstash-2021.01.18', u'logstash-2021.01.19', u'logstash-2021.01.20', u'logstash-2021.01.21', u'logstash-2021.01.22', u'logstash-2021.01.23', u'logstash-2021.01.24', u'logstash-2021.01.25', u'logstash-2021.01.26', u'logstash-2021.01.27', u'logstash-2021.01.28', u'logstash-2021.01.29', u'logstash-2021.01.30', u'logstash-2021.01.31', u'logstash-2021.02.01', u'logstash-2021.02.02', u'logstash-2021.02.03', u'logstash-2021.02.04', u'logstash-2021.02.05', u'logstash-2021.02.06', u'logstash-2021.02.07', u'logstash-2021.02.08', u'logstash-2021.02.09', u'logstash-2021.02.10', u'logstash-2021.02.11', u'logstash-2021.02.12', u'logstash-2021.02.13', u'logstash-2021.02.14', u'logstash-2021.02.15', u'logstash-2021.02.16', u'logstash-2021.02.17', u'logstash-2021.02.18', u'logstash-2021.02.19', u'logstash-2021.02.20', u'logstash-2021.02.21', u'logstash-2021.02.22', u'logstash-2021.02.23', u'logstash-2021.02.24', u'logstash-2021.02.25', u'logstash-2021.02.26', u'logstash-2021.02.27', u'logstash-2021.03.01', u'logstash-2021.03.03', u'logstash-2021.03.04', u'logstash-2021.03.05', u'logstash-2021.03.06', u'logstash-2021.03.07', u'logstash-2021.03.08', u'logstash-2021.03.09', u'logstash-2021.03.10', u'logstash-2021.03.11', u'logstash-2021.03.12', u'logstash-2021.03.13', u'logstash-2021.03.14', u'logstash-2021.03.15', u'logstash-2021.03.16', u'logstash-2021.03.17', u'logstash-2021.03.18', u'logstash-2021.03.19', u'logstash-2021.03.20', u'logstash-2021.03.21', u'logstash-2021.03.22', u'logstash-2021.03.23', u'logstash-2021.03.24', u'logstash-2021.03.25', u'logstash-2021.03.26', u'logstash-2021.03.27', u'logstash-2021.03.28', u'logstash-2021.03.29', u'logstash-2021.03.30', u'logstash-2021.03.31', u'logstash-2021.04.01', u'logstash-2021.04.02', u'logstash-2021.04.03', u'logstash-2021.04.04', u'logstash-2021.04.05', u'logstash-2021.04.06', u'logstash-2021.04.07', u'logstash-2021.04.08', u'logstash-2021.04.09', u'logstash-2021.04.10', u'logstash-2021.04.11', u'logstash-2021.04.12', u'logstash-2021.04.13', u'logstash-2021.04.14', u'logstash-2021.04.15', u'logstash-2021.04.16', u'logstash-2021.04.17', u'logstash-2021.04.18', u'logstash-2021.04.19', u'logstash-2021.04.20', u'logstash-2021.04.21', u'logstash-2021.04.22', u'logstash-2021.04.23', u'logstash-2021.04.24', u'logstash-2021.04.25', u'logstash-2021.04.26', u'logstash-2021.04.27', u'logstash-2021.04.28', u'logstash-2021.04.29', u'logstash-2021.04.30', u'logstash-2021.05.01', u'logstash-2021.05.02', u'logstash-2021.05.03', u'logstash-2021.05.04', u'logstash-2021.05.05', u'logstash-2021.05.06', u'logstash-2021.05.07', u'logstash-2021.05.08', u'logstash-2021.05.09', u'logstash-2021.05.10', u'logstash-2021.05.11', u'logstash-2021.05.12', u'logstash-2021.05.13', u'logstash-2021.05.14', u'logstash-2021.05.15', u'logstash-2021.05.16', u'logstash-2021.05.17', u'logstash-2021.05.18', u'logstash-2021.05.19', u'logstash-2021.05.20', u'logstash-2021.05.21', u'logstash-2021.05.22', u'logstash-2021.05.23', u'logstash-2021.05.24', u'logstash-2021.05.25', u'logstash-2021.05.26', u'logstash-2021.05.27', u'logstash-2021.05.28', u'logstash-2021.05.29', u'logstash-2021.05.30', u'logstash-2021.05.31', u'logstash-2021.06.01', u'logstash-2021.06.02', u'logstash-2021.06.03', u'logstash-2021.06.04', u'logstash-2021.06.05', u'logstash-2021.06.06', u'logstash-2021.06.07', u'logstash-2021.06.08', u'logstash-2021.06.09', u'logstash-2021.06.10', u'logstash-2021.06.11', u'logstash-2021.06.12', u'logstash-2021.06.13', u'logstash-2021.06.14', u'logstash-2021.06.15', u'logstash-2021.06.16', u'logstash-2021.06.17', u'logstash-2021.06.18', u'logstash-2021.06.19', u'logstash-2021.06.20', u'logstash-2021.06.21', u'logstash-2021.06.22', u'logstash-2021.06.23', u'logstash-2021.06.24', u'logstash-2021.06.25', u'logstash-2021.06.26', u'logstash-2021.06.27', u'logstash-2021.06.28', u'logstash-2021.06.29', u'logstash-2021.06.30', u'logstash-2021.07.01', u'logstash-2021.07.02', u'logstash-2021.07.03', u'logstash-2021.07.04', u'logstash-2021.07.05', u'logstash-2021.07.06', u'logstash-2021.07.07', u'logstash-2021.07.08', u'logstash-2021.07.09', u'logstash-2021.07.10', u'logstash-2021.07.11', u'logstash-2021.07.12', u'logstash-2021.07.13', u'logstash-2021.07.14', u'logstash-2021.07.15', u'logstash-2021.07.16', u'logstash-2021.07.17', u'logstash-2021.07.18', u'logstash-2021.07.19', u'logstash-2021.07.20', u'logstash-2021.07.21', u'logstash-2021.07.22', u'logstash-2021.07.23', u'logstash-2021.07.24', u'logstash-2021.07.25', u'logstash-2021.07.26', u'logstash-2021.07.27', u'logstash-2021.07.28', u'logstash-2021.07.29', u'logstash-2021.07.30', u'logstash-2021.07.31', u'logstash-2021.08.01', u'logstash-2021.08.02', u'logstash-2021.08.03', u'logstash-2021.08.04', u'logstash-2021.08.05', u'logstash-2021.08.06', u'logstash-2021.08.07', u'logstash-2021.08.08', u'logstash-2021.08.09', u'logstash-2021.08.10', u'logstash-2021.08.11', u'logstash-2021.08.12', u'logstash-2021.08.13', u'logstash-2021.08.14', u'logstash-2021.08.15', u'logstash-2021.08.23', u'nagioslogserver', u'nagioslogserver_history', u'nagioslogserver_log']
2021-08-25 21:05:59,689 ERROR     Failed to verify all nodes have repository access.
2021-08-25 21:05:59,689 WARNING   Job did not complete successfully.

Code: Select all

[root@xxxxxxx ~]# tail -f /usr/local/nagioslogserver/var/jobs.log
Running command run_alerts with args ' ' for job id: run_all_alerts
SUCCESS
Processed 0 node jobs.
Processed 3 global jobs.
tail: /usr/local/nagioslogserver/var/jobs.log: file truncated
Running command run_alerts with args ' ' for job id: run_all_alerts
SUCCESS
Running command run_alerts with args ' ' for job id: run_all_alerts
SUCCESS
Cheers,
Top
User avatar
pbroste
Posts: 1288
Joined: Tue Jun 01, 2021 1:27 pm

Re: NLS not collecting data and Cluster stat red after disk

Post by pbroste »

Hello @mafamgm

My bad, the command should look like this:

Code: Select all

curator snapshot --repository "<**the_name_of_your_repository_to_store_snapshot>" indices --all-indices
<**the_name_of_your_repository_to_store_snapshot> ==> change this to the name of the repository that you want to create the snapshot in.

Thanks,
Perry
Top
mafamgm
Posts: 26
Joined: Tue May 25, 2021 10:07 am

Re: NLS not collecting data and Cluster stat red after disk

Post by mafamgm »

Code: Select all

[root@xxxxxxxxxxxx~]# curator snapshot --repository "SnapRepo1" indices --all-indices
2021-08-26 09:27:35,043 INFO      Job starting: snapshot indices
2021-08-26 09:27:35,044 WARNING   Overriding default connection timeout.  New timeout: 21600
2021-08-26 09:27:35,074 INFO      Matching all indices. Ignoring flags other than --exclude.
2021-08-26 09:27:35,075 INFO      Action snapshot will be performed on the following indices: [u'kibana-int', u'logstash-2019.02.17', u'logstash-2019.02.19', u'logstash-2019.02.20', u'logstash-2019.02.21', u'logstash-2019.02.22', u'logstash-2019.02.23', u'logstash-2019.02.24', u'logstash-2019.02.25', u'logstash-2019.02.26', u'logstash-2019.02.27', u'logstash-2019.02.28', u'logstash-2019.03.01', u'logstash-2019.03.02', u'logstash-2019.03.03', u'logstash-2019.03.04', u'logstash-2019.03.06', u'logstash-2019.03.07', u'logstash-2019.03.08', u'logstash-2019.03.09', u'logstash-2019.03.10', u'logstash-2019.03.11', u'logstash-2019.03.12', u'logstash-2019.03.13', u'logstash-2019.03.14', u'logstash-2019.03.15', u'logstash-2019.03.16', u'logstash-2019.03.17', u'logstash-2019.03.18', u'logstash-2019.05.26', u'logstash-2019.05.28', u'logstash-2019.05.30', u'logstash-2019.05.31', u'logstash-2019.06.02', u'logstash-2019.06.03', u'logstash-2019.06.04', u'logstash-2019.06.05', u'logstash-2019.06.06', u'logstash-2019.06.07', u'logstash-2019.06.14', u'logstash-2019.06.21', u'logstash-2019.06.25', u'logstash-2019.06.28', u'logstash-2019.07.01', u'logstash-2019.07.03', u'logstash-2019.07.05', u'logstash-2019.07.07', u'logstash-2019.07.08', u'logstash-2019.07.09', u'logstash-2019.07.10', u'logstash-2019.07.12', u'logstash-2019.07.19', u'logstash-2019.07.29', u'logstash-2019.08.25', u'logstash-2019.09.10', u'logstash-2019.09.11', u'logstash-2019.09.12', u'logstash-2019.09.13', u'logstash-2019.09.14', u'logstash-2019.09.15', u'logstash-2019.09.16', u'logstash-2019.09.17', u'logstash-2019.09.18', u'logstash-2019.09.19', u'logstash-2019.09.20', u'logstash-2019.09.21', u'logstash-2019.09.22', u'logstash-2019.09.23', u'logstash-2019.09.24', u'logstash-2019.09.25', u'logstash-2019.09.26', u'logstash-2019.09.27', u'logstash-2019.09.28', u'logstash-2019.09.29', u'logstash-2019.09.30', u'logstash-2019.10.01', u'logstash-2019.10.02', u'logstash-2019.10.03', u'logstash-2019.10.04', u'logstash-2019.10.05', u'logstash-2019.10.06', u'logstash-2019.10.07', u'logstash-2019.10.08', u'logstash-2019.10.09', u'logstash-2019.10.10', u'logstash-2019.10.11', u'logstash-2019.10.12', u'logstash-2019.10.13', u'logstash-2019.10.14', u'logstash-2019.10.15', u'logstash-2019.10.16', u'logstash-2019.10.17', u'logstash-2019.10.18', u'logstash-2019.10.19', u'logstash-2019.10.20', u'logstash-2019.10.21', u'logstash-2019.10.22', u'logstash-2019.10.23', u'logstash-2019.10.24', u'logstash-2019.10.25', u'logstash-2019.10.26', u'logstash-2019.10.27', u'logstash-2019.10.28', u'logstash-2019.10.29', u'logstash-2019.10.30', u'logstash-2019.10.31', u'logstash-2019.11.01', u'logstash-2019.11.02', u'logstash-2019.11.03', u'logstash-2019.11.04', u'logstash-2019.11.05', u'logstash-2019.11.06', u'logstash-2019.11.07', u'logstash-2019.11.08', u'logstash-2019.11.09', u'logstash-2019.11.10', u'logstash-2019.11.11', u'logstash-2019.11.12', u'logstash-2019.11.13', u'logstash-2019.11.14', u'logstash-2019.11.15', u'logstash-2019.11.16', u'logstash-2019.11.17', u'logstash-2019.11.18', u'logstash-2019.11.19', u'logstash-2019.11.20', u'logstash-2019.11.21', u'logstash-2019.11.22', u'logstash-2019.11.23', u'logstash-2019.11.24', u'logstash-2019.11.25', u'logstash-2019.11.26', u'logstash-2019.11.27', u'logstash-2019.11.28', u'logstash-2019.11.29', u'logstash-2019.11.30', u'logstash-2019.12.01', u'logstash-2019.12.02', u'logstash-2019.12.03', u'logstash-2019.12.04', u'logstash-2019.12.05', u'logstash-2019.12.06', u'logstash-2019.12.07', u'logstash-2019.12.08', u'logstash-2019.12.09', u'logstash-2019.12.10', u'logstash-2019.12.11', u'logstash-2019.12.12', u'logstash-2019.12.13', u'logstash-2019.12.14', u'logstash-2019.12.15', u'logstash-2019.12.16', u'logstash-2019.12.17', u'logstash-2019.12.18', u'logstash-2019.12.19', u'logstash-2019.12.20', u'logstash-2019.12.21', u'logstash-2019.12.22', u'logstash-2019.12.23', u'logstash-2019.12.24', u'logstash-2019.12.25', u'logstash-2019.12.26', u'logstash-2019.12.27', u'logstash-2019.12.28', u'logstash-2019.12.29', u'logstash-2019.12.30', u'logstash-2019.12.31', u'logstash-2020.01.01', u'logstash-2020.01.02', u'logstash-2020.01.03', u'logstash-2020.01.04', u'logstash-2020.01.05', u'logstash-2020.01.06', u'logstash-2020.01.07', u'logstash-2020.01.08', u'logstash-2020.01.09', u'logstash-2020.01.10', u'logstash-2020.01.11', u'logstash-2020.01.12', u'logstash-2020.01.13', u'logstash-2020.01.14', u'logstash-2020.01.15', u'logstash-2020.01.16', u'logstash-2020.01.17', u'logstash-2020.01.18', u'logstash-2020.01.19', u'logstash-2020.01.20', u'logstash-2020.01.21', u'logstash-2020.01.22', u'logstash-2020.01.23', u'logstash-2020.01.24', u'logstash-2020.01.25', u'logstash-2020.01.26', u'logstash-2020.01.27', u'logstash-2020.01.28', u'logstash-2020.01.29', u'logstash-2020.01.30', u'logstash-2020.01.31', u'logstash-2020.02.01', u'logstash-2020.02.02', u'logstash-2020.02.03', u'logstash-2020.02.04', u'logstash-2020.02.05', u'logstash-2020.02.06', u'logstash-2020.02.07', u'logstash-2020.02.08', u'logstash-2020.02.09', u'logstash-2020.02.10', u'logstash-2020.02.11', u'logstash-2020.02.12', u'logstash-2020.02.13', u'logstash-2020.02.14', u'logstash-2020.02.15', u'logstash-2020.02.16', u'logstash-2020.02.17', u'logstash-2020.02.18', u'logstash-2020.02.19', u'logstash-2020.02.20', u'logstash-2020.02.21', u'logstash-2020.02.22', u'logstash-2020.02.23', u'logstash-2020.02.24', u'logstash-2020.02.25', u'logstash-2020.02.26', u'logstash-2020.02.27', u'logstash-2020.02.28', u'logstash-2020.02.29', u'logstash-2020.03.01', u'logstash-2020.03.02', u'logstash-2020.03.03', u'logstash-2020.03.04', u'logstash-2020.03.05', u'logstash-2020.03.06', u'logstash-2020.03.07', u'logstash-2020.03.08', u'logstash-2020.03.09', u'logstash-2020.03.10', u'logstash-2020.03.11', u'logstash-2020.03.12', u'logstash-2020.03.13', u'logstash-2020.03.14', u'logstash-2020.03.15', u'logstash-2020.03.16', u'logstash-2020.03.17', u'logstash-2020.03.18', u'logstash-2020.03.19', u'logstash-2020.03.20', u'logstash-2020.03.21', u'logstash-2020.03.22', u'logstash-2020.03.23', u'logstash-2020.03.24', u'logstash-2020.03.25', u'logstash-2020.03.26', u'logstash-2020.03.27', u'logstash-2020.03.28', u'logstash-2020.03.29', u'logstash-2020.03.30', u'logstash-2020.03.31', u'logstash-2020.04.01', u'logstash-2020.04.02', u'logstash-2020.04.03', u'logstash-2020.04.04', u'logstash-2020.04.05', u'logstash-2020.04.06', u'logstash-2020.04.07', u'logstash-2020.04.08', u'logstash-2020.04.09', u'logstash-2020.04.10', u'logstash-2020.04.11', u'logstash-2020.04.12', u'logstash-2020.04.13', u'logstash-2020.04.14', u'logstash-2020.04.15', u'logstash-2020.04.16', u'logstash-2020.04.17', u'logstash-2020.04.18', u'logstash-2020.04.19', u'logstash-2020.04.20', u'logstash-2020.04.21', u'logstash-2020.04.22', u'logstash-2020.04.23', u'logstash-2020.04.24', u'logstash-2020.04.25', u'logstash-2020.04.26', u'logstash-2020.04.27', u'logstash-2020.04.28', u'logstash-2020.04.29', u'logstash-2020.04.30', u'logstash-2020.05.01', u'logstash-2020.05.02', u'logstash-2020.05.03', u'logstash-2020.05.04', u'logstash-2020.05.05', u'logstash-2020.05.06', u'logstash-2020.05.07', u'logstash-2020.05.08', u'logstash-2020.05.09', u'logstash-2020.05.10', u'logstash-2020.05.11', u'logstash-2020.05.12', u'logstash-2020.05.13', u'logstash-2020.05.14', u'logstash-2020.05.15', u'logstash-2020.05.16', u'logstash-2020.05.17', u'logstash-2020.05.18', u'logstash-2020.05.19', u'logstash-2020.05.20', u'logstash-2020.05.21', u'logstash-2020.05.22', u'logstash-2020.05.23', u'logstash-2020.05.24', u'logstash-2020.05.25', u'logstash-2020.05.26', u'logstash-2020.05.27', u'logstash-2020.05.28', u'logstash-2020.05.29', u'logstash-2020.05.30', u'logstash-2020.05.31', u'logstash-2020.06.01', u'logstash-2020.06.02', u'logstash-2020.06.03', u'logstash-2020.06.04', u'logstash-2020.06.05', u'logstash-2020.06.06', u'logstash-2020.06.07', u'logstash-2020.06.08', u'logstash-2020.06.09', u'logstash-2020.06.10', u'logstash-2020.06.11', u'logstash-2020.06.12', u'logstash-2020.06.13', u'logstash-2020.06.14', u'logstash-2020.06.15', u'logstash-2020.06.16', u'logstash-2020.06.17', u'logstash-2020.06.18', u'logstash-2020.06.19', u'logstash-2020.06.20', u'logstash-2020.06.21', u'logstash-2020.06.22', u'logstash-2020.06.23', u'logstash-2020.06.24', u'logstash-2020.06.25', u'logstash-2020.06.26', u'logstash-2020.06.27', u'logstash-2020.06.28', u'logstash-2020.06.29', u'logstash-2020.06.30', u'logstash-2020.07.01', u'logstash-2020.07.02', u'logstash-2020.07.03', u'logstash-2020.07.04', u'logstash-2020.07.05', u'logstash-2020.07.06', u'logstash-2020.07.07', u'logstash-2020.07.08', u'logstash-2020.07.09', u'logstash-2020.07.10', u'logstash-2020.07.11', u'logstash-2020.07.12', u'logstash-2020.07.13', u'logstash-2020.07.14', u'logstash-2020.07.15', u'logstash-2020.07.16', u'logstash-2020.07.17', u'logstash-2020.07.18', u'logstash-2020.07.19', u'logstash-2020.07.20', u'logstash-2020.07.21', u'logstash-2020.07.22', u'logstash-2020.07.23', u'logstash-2020.07.24', u'logstash-2020.07.25', u'logstash-2020.07.26', u'logstash-2020.07.27', u'logstash-2020.07.28', u'logstash-2020.07.29', u'logstash-2020.07.30', u'logstash-2020.07.31', u'logstash-2020.08.01', u'logstash-2020.08.02', u'logstash-2020.08.03', u'logstash-2020.08.04', u'logstash-2020.08.05', u'logstash-2020.08.06', u'logstash-2020.08.07', u'logstash-2020.08.08', u'logstash-2020.08.09', u'logstash-2020.08.10', u'logstash-2020.08.11', u'logstash-2020.08.12', u'logstash-2020.08.13', u'logstash-2020.08.14', u'logstash-2020.08.15', u'logstash-2020.08.16', u'logstash-2020.08.17', u'logstash-2020.08.18', u'logstash-2020.08.19', u'logstash-2020.08.20', u'logstash-2020.08.21', u'logstash-2020.08.22', u'logstash-2020.08.23', u'logstash-2020.08.24', u'logstash-2020.08.25', u'logstash-2020.08.26', u'logstash-2020.08.27', u'logstash-2020.08.28', u'logstash-2020.08.29', u'logstash-2020.08.30', u'logstash-2020.08.31', u'logstash-2020.09.01', u'logstash-2020.09.02', u'logstash-2020.09.03', u'logstash-2020.09.04', u'logstash-2020.09.05', u'logstash-2020.09.06', u'logstash-2020.09.07', u'logstash-2020.09.08', u'logstash-2020.09.09', u'logstash-2020.09.10', u'logstash-2020.09.11', u'logstash-2020.09.12', u'logstash-2020.09.13', u'logstash-2020.09.14', u'logstash-2020.09.15', u'logstash-2020.09.16', u'logstash-2020.09.17', u'logstash-2020.09.18', u'logstash-2020.09.19', u'logstash-2020.09.20', u'logstash-2020.09.21', u'logstash-2020.09.22', u'logstash-2020.09.23', u'logstash-2020.09.24', u'logstash-2020.09.25', u'logstash-2020.09.26', u'logstash-2020.09.27', u'logstash-2020.09.28', u'logstash-2020.09.29', u'logstash-2020.09.30', u'logstash-2020.10.01', u'logstash-2020.10.02', u'logstash-2020.10.03', u'logstash-2020.10.04', u'logstash-2020.10.05', u'logstash-2020.10.06', u'logstash-2020.10.07', u'logstash-2020.10.08', u'logstash-2020.10.09', u'logstash-2020.10.10', u'logstash-2020.10.11', u'logstash-2020.10.12', u'logstash-2020.10.13', u'logstash-2020.10.14', u'logstash-2020.10.15', u'logstash-2020.10.16', u'logstash-2020.10.17', u'logstash-2020.10.18', u'logstash-2020.10.19', u'logstash-2020.10.20', u'logstash-2020.10.21', u'logstash-2020.10.22', u'logstash-2020.10.23', u'logstash-2020.10.24', u'logstash-2020.10.25', u'logstash-2020.10.26', u'logstash-2020.10.27', u'logstash-2020.10.28', u'logstash-2020.10.29', u'logstash-2020.10.30', u'logstash-2020.10.31', u'logstash-2020.11.01', u'logstash-2020.11.02', u'logstash-2020.11.03', u'logstash-2020.11.04', u'logstash-2020.11.05', u'logstash-2020.11.06', u'logstash-2020.11.07', u'logstash-2020.11.08', u'logstash-2020.11.09', u'logstash-2020.11.10', u'logstash-2020.11.11', u'logstash-2020.11.12', u'logstash-2020.11.13', u'logstash-2020.11.14', u'logstash-2020.11.15', u'logstash-2020.11.16', u'logstash-2020.11.17', u'logstash-2020.11.18', u'logstash-2020.11.19', u'logstash-2020.11.20', u'logstash-2020.11.21', u'logstash-2020.11.22', u'logstash-2020.11.23', u'logstash-2020.11.24', u'logstash-2020.11.25', u'logstash-2020.11.26', u'logstash-2020.11.27', u'logstash-2020.11.28', u'logstash-2020.11.29', u'logstash-2020.11.30', u'logstash-2020.12.01', u'logstash-2020.12.02', u'logstash-2020.12.03', u'logstash-2020.12.04', u'logstash-2020.12.05', u'logstash-2020.12.06', u'logstash-2020.12.07', u'logstash-2020.12.08', u'logstash-2020.12.09', u'logstash-2020.12.10', u'logstash-2020.12.11', u'logstash-2020.12.12', u'logstash-2020.12.13', u'logstash-2020.12.14', u'logstash-2020.12.15', u'logstash-2020.12.16', u'logstash-2020.12.17', u'logstash-2020.12.18', u'logstash-2020.12.19', u'logstash-2020.12.20', u'logstash-2020.12.21', u'logstash-2020.12.22', u'logstash-2020.12.23', u'logstash-2020.12.24', u'logstash-2020.12.25', u'logstash-2020.12.26', u'logstash-2020.12.27', u'logstash-2020.12.28', u'logstash-2020.12.29', u'logstash-2020.12.30', u'logstash-2020.12.31', u'logstash-2021.01.01', u'logstash-2021.01.02', u'logstash-2021.01.03', u'logstash-2021.01.04', u'logstash-2021.01.05', u'logstash-2021.01.06', u'logstash-2021.01.07', u'logstash-2021.01.08', u'logstash-2021.01.09', u'logstash-2021.01.10', u'logstash-2021.01.11', u'logstash-2021.01.12', u'logstash-2021.01.13', u'logstash-2021.01.14', u'logstash-2021.01.15', u'logstash-2021.01.16', u'logstash-2021.01.17', u'logstash-2021.01.18', u'logstash-2021.01.19', u'logstash-2021.01.20', u'logstash-2021.01.21', u'logstash-2021.01.22', u'logstash-2021.01.23', u'logstash-2021.01.24', u'logstash-2021.01.25', u'logstash-2021.01.26', u'logstash-2021.01.27', u'logstash-2021.01.28', u'logstash-2021.01.29', u'logstash-2021.01.30', u'logstash-2021.01.31', u'logstash-2021.02.01', u'logstash-2021.02.02', u'logstash-2021.02.03', u'logstash-2021.02.04', u'logstash-2021.02.05', u'logstash-2021.02.06', u'logstash-2021.02.07', u'logstash-2021.02.08', u'logstash-2021.02.09', u'logstash-2021.02.10', u'logstash-2021.02.11', u'logstash-2021.02.12', u'logstash-2021.02.13', u'logstash-2021.02.14', u'logstash-2021.02.15', u'logstash-2021.02.16', u'logstash-2021.02.17', u'logstash-2021.02.18', u'logstash-2021.02.19', u'logstash-2021.02.20', u'logstash-2021.02.21', u'logstash-2021.02.22', u'logstash-2021.02.23', u'logstash-2021.02.24', u'logstash-2021.02.25', u'logstash-2021.02.26', u'logstash-2021.02.27', u'logstash-2021.03.01', u'logstash-2021.03.03', u'logstash-2021.03.04', u'logstash-2021.03.05', u'logstash-2021.03.06', u'logstash-2021.03.07', u'logstash-2021.03.08', u'logstash-2021.03.09', u'logstash-2021.03.10', u'logstash-2021.03.11', u'logstash-2021.03.12', u'logstash-2021.03.13', u'logstash-2021.03.14', u'logstash-2021.03.15', u'logstash-2021.03.16', u'logstash-2021.03.17', u'logstash-2021.03.18', u'logstash-2021.03.19', u'logstash-2021.03.20', u'logstash-2021.03.21', u'logstash-2021.03.22', u'logstash-2021.03.23', u'logstash-2021.03.24', u'logstash-2021.03.25', u'logstash-2021.03.26', u'logstash-2021.03.27', u'logstash-2021.03.28', u'logstash-2021.03.29', u'logstash-2021.03.30', u'logstash-2021.03.31', u'logstash-2021.04.01', u'logstash-2021.04.02', u'logstash-2021.04.03', u'logstash-2021.04.04', u'logstash-2021.04.05', u'logstash-2021.04.06', u'logstash-2021.04.07', u'logstash-2021.04.08', u'logstash-2021.04.09', u'logstash-2021.04.10', u'logstash-2021.04.11', u'logstash-2021.04.12', u'logstash-2021.04.13', u'logstash-2021.04.14', u'logstash-2021.04.15', u'logstash-2021.04.16', u'logstash-2021.04.17', u'logstash-2021.04.18', u'logstash-2021.04.19', u'logstash-2021.04.20', u'logstash-2021.04.21', u'logstash-2021.04.22', u'logstash-2021.04.23', u'logstash-2021.04.24', u'logstash-2021.04.25', u'logstash-2021.04.26', u'logstash-2021.04.27', u'logstash-2021.04.28', u'logstash-2021.04.29', u'logstash-2021.04.30', u'logstash-2021.05.01', u'logstash-2021.05.02', u'logstash-2021.05.03', u'logstash-2021.05.04', u'logstash-2021.05.05', u'logstash-2021.05.06', u'logstash-2021.05.07', u'logstash-2021.05.08', u'logstash-2021.05.09', u'logstash-2021.05.10', u'logstash-2021.05.11', u'logstash-2021.05.12', u'logstash-2021.05.13', u'logstash-2021.05.14', u'logstash-2021.05.15', u'logstash-2021.05.16', u'logstash-2021.05.17', u'logstash-2021.05.18', u'logstash-2021.05.19', u'logstash-2021.05.20', u'logstash-2021.05.21', u'logstash-2021.05.22', u'logstash-2021.05.23', u'logstash-2021.05.24', u'logstash-2021.05.25', u'logstash-2021.05.26', u'logstash-2021.05.27', u'logstash-2021.05.28', u'logstash-2021.05.29', u'logstash-2021.05.30', u'logstash-2021.05.31', u'logstash-2021.06.01', u'logstash-2021.06.02', u'logstash-2021.06.03', u'logstash-2021.06.04', u'logstash-2021.06.05', u'logstash-2021.06.06', u'logstash-2021.06.07', u'logstash-2021.06.08', u'logstash-2021.06.09', u'logstash-2021.06.10', u'logstash-2021.06.11', u'logstash-2021.06.12', u'logstash-2021.06.13', u'logstash-2021.06.14', u'logstash-2021.06.15', u'logstash-2021.06.16', u'logstash-2021.06.17', u'logstash-2021.06.18', u'logstash-2021.06.19', u'logstash-2021.06.20', u'logstash-2021.06.21', u'logstash-2021.06.22', u'logstash-2021.06.23', u'logstash-2021.06.24', u'logstash-2021.06.25', u'logstash-2021.06.26', u'logstash-2021.06.27', u'logstash-2021.06.28', u'logstash-2021.06.29', u'logstash-2021.06.30', u'logstash-2021.07.01', u'logstash-2021.07.02', u'logstash-2021.07.03', u'logstash-2021.07.04', u'logstash-2021.07.05', u'logstash-2021.07.06', u'logstash-2021.07.07', u'logstash-2021.07.08', u'logstash-2021.07.09', u'logstash-2021.07.10', u'logstash-2021.07.11', u'logstash-2021.07.12', u'logstash-2021.07.13', u'logstash-2021.07.14', u'logstash-2021.07.15', u'logstash-2021.07.16', u'logstash-2021.07.17', u'logstash-2021.07.18', u'logstash-2021.07.19', u'logstash-2021.07.20', u'logstash-2021.07.21', u'logstash-2021.07.22', u'logstash-2021.07.23', u'logstash-2021.07.24', u'logstash-2021.07.25', u'logstash-2021.07.26', u'logstash-2021.07.27', u'logstash-2021.07.28', u'logstash-2021.07.29', u'logstash-2021.07.30', u'logstash-2021.07.31', u'logstash-2021.08.01', u'logstash-2021.08.02', u'logstash-2021.08.03', u'logstash-2021.08.04', u'logstash-2021.08.05', u'logstash-2021.08.06', u'logstash-2021.08.07', u'logstash-2021.08.08', u'logstash-2021.08.09', u'logstash-2021.08.10', u'logstash-2021.08.11', u'logstash-2021.08.12', u'logstash-2021.08.13', u'logstash-2021.08.14', u'logstash-2021.08.15', u'logstash-2021.08.23', u'nagioslogserver', u'nagioslogserver_history', u'nagioslogserver_log']
2021-08-26 09:28:03,904 INFO      Snapshot name: curator-20210826072803
2021-08-26 09:28:04,094 ERROR     Snapshot FAILED completed with state: FAILED
2021-08-26 09:28:04,094 WARNING   Job did not complete successfully.
[root@xxxxxxxxxxxx~]#

Code: Select all

[root@xxxxxxxxxxxx~]# tail -f /usr/local/nagioslogserver/var/jobs.log
Running command run_alerts with args ' ' for job id: run_all_alerts
SUCCESS
Running command run_alerts with args ' ' for job id: run_all_alerts
SUCCESS
Running command run_alerts with args ' ' for job id: run_all_alerts
SUCCESS
Processed 0 node jobs.
Processed 3 global jobs.
Top
User avatar
pbroste
Posts: 1288
Joined: Tue Jun 01, 2021 1:27 pm

Re: NLS not collecting data and Cluster stat red after disk

Post by pbroste »

Hello @mafamgm

Let's limit the scope and review debug info on the output when we are creating the snapshot.

Code: Select all

curator --debug snapshot --repository "SnapRepo1" --ignore_unavailable indices --older-than 1 --time-unit days --timestring %Y.%m.%d
If you want to write the command to file append to the end > /location/filename.txt

Get the list of the directory structure on your logstash data:

Code: Select all

ls -lahrtR /usr/local/nagioslogserver/elasticsearch/data/ > /tmp/elasticsearchdata.txt
And

Code: Select all

ls -lahrtR /mnt/nagios_log_server_common_backups/ > /tmp/mountpoint.txt
Here is a doc on Snapshots and Maintenance that I have been referencing.

Please send me the results in a private message.

Thanks,
Perry
Top
mafamgm
Posts: 26
Joined: Tue May 25, 2021 10:07 am

Re: NLS not collecting data and Cluster stat red after disk

Post by mafamgm »

Hello @pbroste,

send you the stuff via PN.

Thanks.
Top
User avatar
pbroste
Posts: 1288
Joined: Tue Jun 01, 2021 1:27 pm

Re: NLS not collecting data and Cluster stat red after disk

Post by pbroste »

Hello @mafamgm

Thanks for sending along the 'curator' results; and in review, we will need further info to help determine what is going on. Want to have you send us the System Profile.

Code: Select all

/usr/local/nagioslogserver/scripts/profile.sh
This script will place the compressed results of the System Profile in the /tmp/. Typically the compressed file is to big to send as an attachment and want to have you break it up into pieces and PM each 'systemprofileparts..a~b~...' via a separate message.

Code: Select all

split -b 50M system-profile.tar.gz systemprofileparts
Thanks,
Perry
Top
Locked

Return to “Nagios Log Server”