[RISOLTO] Problema reboot/shutdown lento

Ottimizzazione, pulizia, gestione e manutenzione di una Debian Box

[RISOLTO] Problema reboot/shutdown lento

Messaggioda Chryses » 22/02/2019, 12:54

Ciao a tutti, sto cercando di risolvere un problema con il server, ma non trovo l'errore!

Praticamente il server in fase di riavvio o spegnimento, impiega un'eternità e lo fa solo se il server è acceso diciamo da almeno mezza giornata!

Ho provato a guardare il journalctl ma non trovo nulla degno di nota, almeno il mio occhio non lo coglie!

Vedo solo che il watchdog dei 10 min entra in funzione, in realtà ne passano 20! e poi si riavvia.

Ora da quanto ho letto in giro il trigger dei 10 minuti è un'escamotage, proprio per non rimanere nel limbo del riavvio/spegnimento, quindi lui è normale che ci sia, giusto?

Metto il link al log dello spegnimento, sperando che qualche utente più esperto riesca a indirizzarmi verso la giusta strada

https://pastebin.com/pXbd5UT0

Grazie
Ultima modifica di Chryses il 13/03/2019, 20:54, modificato 1 volta in totale.
Chryses
Newbie
Newbie
 
Messaggi: 24
Iscritto il: 29/09/2018, 12:55

Re: Problema reboot/shutdown lento

Messaggioda mark » 22/02/2019, 18:36

hai provato a mettere in blacklist il modulo problematico? ovvero
Codice: Seleziona tutto
Hardware watchdog 'iTCO_wdt'

come prova tanto per capire se è quello all'origine del problema
Avatar utente
mark
Hero Member
Hero Member
 
Messaggi: 696
Iscritto il: 10/01/2007, 16:53

Re: Problema reboot/shutdown lento

Messaggioda Chryses » 23/02/2019, 0:04

Non ho provato, ho letto qualcosa in merito ma non ho mai provato a mettere in blacklist.
Pensi che rischio di fare danni?
Non vorrei fosse un modulo importante.
Chryses
Newbie
Newbie
 
Messaggi: 24
Iscritto il: 29/09/2018, 12:55

Re: Problema reboot/shutdown lento

Messaggioda mark » 23/02/2019, 10:08

non penso ci siano grossi problemi per una prova, vista la funzionalità del modulo:
Intel TCO Timer/Watchdog

l'alternativa potrebbe essere provare ad aggiornare il kernel
Avatar utente
mark
Hero Member
Hero Member
 
Messaggi: 696
Iscritto il: 10/01/2007, 16:53

Re: Problema reboot/shutdown lento

Messaggioda Chryses » 23/02/2019, 16:38

Stavo guardando anche io quella pagina, ma non ho mica ancora capito che fa questo timer!

Leggevo in giro che qualcuno aveva problemi con lm_sensors, per questo motivo ho ripristinato i valori acpi=force, prima avevo acpi_enforce_resources=lax, ma ovviamente non è cambiato nulla.
Ps non ho disabilitato il demone, ho solo ripristinato i valori "normali" nel grub.

Per tua esperienza dici che potrebbe esserci un problema anche qui?
Aggiungo il link a dmesg, ci sono dei warnings ma non ho mai cercato un fix per quelli, una volta ho provato limitando/riservando della memoria e non partiva più (panico) poi tramite console ho modificato il boot e per fortuna è tutto ritornato alla normalità!
https://pastebin.com/smSjS6VQ

Il fatto è che è un Qnap con installato linux, non vorrei ci fosse qualche incompatibilità, però a memoria tutto funzionava bene nel primo periodo, poi aggiungendo e affinando le configurazioni si vede che qualcosa ho sbagliato, però me ne sono accorto tardi e non so più se ho fatto un danno io o meno!
Per esempio c'erano problemi con i driver della scheda di rete e1000e e installado i driver di intel tutto è tornato a andare bene!

Giusto per essere pignoli e scrupolosi, al nas ci sono collegati 2 dischi usb ntfs, credi possano creare problemi?

Per ora grazie e scusa tutte ste domande, non sono così esperto!
Chryses
Newbie
Newbie
 
Messaggi: 24
Iscritto il: 29/09/2018, 12:55

Re: Problema reboot/shutdown lento

Messaggioda mark » 24/02/2019, 8:57

Codice: Seleziona tutto
acpi_osi=Linux acpi=force

personalmente ho trovato spesso problematico mettere opzioni acpi al boot, meglio lasciare fare al kernel salvo casi che siano esplicitamente previsti nella documentazione dell'hardware

a memoria tutto funzionava bene nel primo periodo

per trovare i files modificati puoi usare debsums
Codice: Seleziona tutto
debsums -ce
Avatar utente
mark
Hero Member
Hero Member
 
Messaggi: 696
Iscritto il: 10/01/2007, 16:53

Re: Problema reboot/shutdown lento

Messaggioda Chryses » 24/02/2019, 11:16

Effettivamente potrebbe essere con l'arrivo di lm_sensors, dove ho introdotto righe per acpi!

Oggi provo a cambiare il grub e poi dopo qualche ora lo faccio ripartire, potrebbe essere effettivamente quello!
Chryses
Newbie
Newbie
 
Messaggi: 24
Iscritto il: 29/09/2018, 12:55

Re: Problema reboot/shutdown lento

Messaggioda Chryses » 25/02/2019, 22:04

Eccomi!

Dopo 20 ore di accensione ho riavviato il nas, ma nulla da fare.

In questa prova ho solamente disabilitato i comandi acpi nel grub.

Ecco il risultato della fase di shutdown:
Codice: Seleziona tutto
Feb 25 19:15:57 Qnap systemd[1]: Removed slice system-systemd\x2dfsck.slice.
Feb 25 19:15:57 Qnap systemd[1]: Stopped target Local File Systems (Pre).
Feb 25 19:15:57 Qnap systemd[1]: Stopping Monitoring of LVM2 mirrors, snapshots etc. using dmeventd or progress polling...
Feb 25 19:15:57 Qnap systemd[1]: Stopped Remount Root and Kernel File Systems.
Feb 25 19:15:57 Qnap systemd[1]: Stopped Create Static Device Nodes in /dev.
Feb 25 19:15:57 Qnap systemd[1]: Reached target Shutdown.
Feb 25 19:15:58 Qnap lvm[30634]:   4 logical volume(s) in volume group "vg0" unmonitored
Feb 25 19:15:58 Qnap systemd[1]: Stopped Monitoring of LVM2 mirrors, snapshots etc. using dmeventd or progress polling.
Feb 25 19:15:58 Qnap lvmetad[335]: Failed to accept connection errno 11.
Feb 25 19:15:58 Qnap systemd[1]: Stopping LVM2 metadata daemon...
Feb 25 19:15:58 Qnap systemd[1]: Stopped LVM2 metadata daemon.
Feb 25 19:45:39 Qnap systemd[1]: reboot.target: Job reboot.target/start timed out.
Feb 25 19:45:39 Qnap kernel: watchdog: watchdog0: watchdog did not stop!
Feb 25 19:45:39 Qnap kernel: systemd-shutdow: 35 output lines suppressed due to ratelimiting
Feb 25 19:45:39 Qnap systemd[1]: Timed out starting Reboot.
Feb 25 19:45:39 Qnap systemd[1]: reboot.target: Job reboot.target/start failed with result 'timeout'.
Feb 25 19:45:39 Qnap systemd[1]: Forcibly rebooting: job timed out
Feb 25 19:45:39 Qnap systemd[1]: Shutting down.
Feb 25 19:45:39 Qnap systemd[1]: Hardware watchdog 'iTCO_wdt', version 0
Feb 25 19:45:39 Qnap systemd[1]: Set hardware watchdog to 10min.
Feb 25 19:45:40 Qnap systemd-shutdown[1]: Sending SIGTERM to remaining processes...
Feb 25 19:45:40 Qnap haveged[588]: haveged: Stopping due to signal 15
Feb 25 19:45:40 Qnap haveged[588]: haveged starting up
Feb 25 19:45:40 Qnap systemd-journald[315]: Journal stopped


Procederò con la blacklist per provare. Ho solo una domanda, noto che passano quasi 30 minuti prima dell'arresto forzato, magari sbaglio ma non è che il problema risiede 30 minuti prima "esatti" del riavvio forzato? Mi spiego meglio, passa dalle 19:15:58 secondi alle 19:45:39 secondi, ci sono 19 secondi di scarto e mi sembra strano. Non è che l'errore deriva da un processo che 30 minuti prima (partendo appunto da 19:45:39) non si è stoppato? Quindi sono andato a vedere attorno a 19:15:39 che succedeva:
https://pastebin.com/fmCj3EJS
Ha iniziato a stoppare i processi, però quel
Codice: Seleziona tutto
watchdog: watchdog0: watchdog did not stop!
non mi convince, perchè il watchdog0 non è un servizio e non so se è un nome fittizio o meno.

Domanda, se creo una blacklist per il modulo che mi dicevi, devo fare un riavvio per avere la blacklist attiva oppure basta crearla e sono pronto per fare le prove? Chiedo perchè come vedi lascio passare del tempo prima di fare un reboot
Chryses
Newbie
Newbie
 
Messaggi: 24
Iscritto il: 29/09/2018, 12:55

Re: Problema reboot/shutdown lento

Messaggioda mark » 26/02/2019, 10:28

nel caso più semplice, a macchina avviata, prova questo comando
Codice: Seleziona tutto
rmmod -v iTCO_wdt


se non funziona devi aggiungere questo alla riga di boot
Codice: Seleziona tutto
modprobe.blacklist=iTCO_wdt


ovviamente è solo una prova, il problema può essere altro >:D
Avatar utente
mark
Hero Member
Hero Member
 
Messaggi: 696
Iscritto il: 10/01/2007, 16:53

Re: Problema reboot/shutdown lento

Messaggioda Chryses » 26/02/2019, 11:02

Infatti sto procedendo per "gradi"
Subito avevo trovato una soluzione che interveniva sul timer watchdog azzerando le tempistiche, ma non l'adoro come soluzione, perchè non risolve il problema.

Allora per ciò che riguarda la blacklist pensavo di seguire questo:
https://bbs.archlinux.org/viewtopic.php?id=232774
in fondo al post

Ma solo se non trovo altra soluzione, mi sembra troppo "facile" mettere in blacklist il modulo, sempre che sia la soluzione!!!!

Prima pensavo di provare questo:
http://www.fit-pc.com/wiki/index.php/Linux_Mint:_Watchdog_configuration

Che ne pensi? Effettivamente non ho watchdog installato, non so, chiedo anche a te un parere

L'unico problema è che ora non mi funziona l'adsl quindi non riesco a installare nulla :o
Chryses
Newbie
Newbie
 
Messaggi: 24
Iscritto il: 29/09/2018, 12:55

Re: Problema reboot/shutdown lento

Messaggioda mark » 26/02/2019, 20:10

non saprei esattamente, non avendo un hardware simile non posso fare prove, in ogni caso procederei da cose semplici a eventualmente qualcosa di più elaborato, in ogni caso segnando bene le modifiche fatte!!
Avatar utente
mark
Hero Member
Hero Member
 
Messaggi: 696
Iscritto il: 10/01/2007, 16:53

Re: Problema reboot/shutdown lento

Messaggioda Chryses » 26/02/2019, 22:48

Effettivamente meglio andare per gradi, ovviamente segnando tutto.

In attesa di riavere una connessione stabile, tu come consigli di procedere? Prima una tentativo blacklist oppure ciò che pensavo io?
Chryses
Newbie
Newbie
 
Messaggi: 24
Iscritto il: 29/09/2018, 12:55

Re: Problema reboot/shutdown lento

Messaggioda mark » 28/02/2019, 9:00

le istruzioni che hai trovato vanno bene per una soluzione "permanente", una volta che sei sicuro sia quello i problema, io ti suggerivo semplicemente una modifica da fare al volo ;)
Avatar utente
mark
Hero Member
Hero Member
 
Messaggi: 696
Iscritto il: 10/01/2007, 16:53

Re: Problema reboot/shutdown lento

Messaggioda Chryses » 03/03/2019, 19:50

Bhè si, cerco una soluzione definitiva, vero. Non ho mai "valutato" la soluzione temporanea, forse perchè non mi sono mai trovato un problema del genere, effettivamente fa comodo fare i test "veloci".

Aggiornamento, non ho ancora messo in blacklist il modulo, ho solo installato il demone watchdog ma la situazione non è cambaita, al riavvio servono 30 minuti!

Codice: Seleziona tutto
Mar 02 18:32:53 Qnap systemd[1]: Stopping Monitoring of LVM2 mirrors, snapshots etc. using dmeventd or progress polling...
Mar 02 18:32:53 Qnap systemd[1]: Stopped Remount Root and Kernel File Systems.
Mar 02 18:32:53 Qnap systemd[1]: Stopped Create Static Device Nodes in /dev.
Mar 02 18:32:53 Qnap systemd[1]: Removed slice system-systemd\x2dfsck.slice.
Mar 02 18:32:53 Qnap systemd[1]: Reached target Shutdown.
Mar 02 18:32:53 Qnap lvm[10744]:   4 logical volume(s) in volume group "vg0" unmonitored
Mar 02 18:32:53 Qnap systemd[1]: Stopped Monitoring of LVM2 mirrors, snapshots etc. using dmeventd or progress polling.
Mar 02 18:32:53 Qnap systemd[1]: Stopping LVM2 metadata daemon...
Mar 02 18:32:53 Qnap lvmetad[350]: Failed to accept connection errno 11.
Mar 02 18:32:53 Qnap systemd[1]: Stopped LVM2 metadata daemon.
Mar 02 19:02:30 Qnap systemd[1]: reboot.target: Job reboot.target/start timed out.
Mar 02 19:02:30 Qnap kernel: watchdog: watchdog0: watchdog did not stop!
Mar 02 19:02:30 Qnap kernel: systemd-shutdow: 35 output lines suppressed due to ratelimiting
Mar 02 19:02:30 Qnap systemd-shutdown[1]: Sending SIGTERM to remaining processes...
Mar 02 19:02:30 Qnap systemd[1]: Timed out starting Reboot.
Mar 02 19:02:30 Qnap haveged[768]: haveged: Stopping due to signal 15
Mar 02 19:02:30 Qnap haveged[768]: haveged starting up
Mar 02 19:02:30 Qnap systemd[1]: reboot.target: Job reboot.target/start failed with result 'timeout'.
Mar 02 19:02:30 Qnap systemd[1]: Forcibly rebooting: job timed out
Mar 02 19:02:30 Qnap systemd[1]: Shutting down.
Mar 02 19:02:30 Qnap systemd[1]: Hardware watchdog 'iTCO_wdt', version 0
Mar 02 19:02:30 Qnap systemd[1]: Set hardware watchdog to 10min.
Mar 02 19:02:30 Qnap systemd-journald[319]: Journal stopped


Ora proverò con la blacklist.
Non conosco il comando rmmod, leggo dal manuale che serve per rimuovere il modulo, quindi con il comando
Codice: Seleziona tutto
rmmod -v iTCO_wdt

E' come se non fosse mai stato caricato, giusto? E in poche parole è come se fosse in blacklist. Sbaglio?

Attendo ancora un po' e eseguo il reboot, purtroppo come dicevo, il problema salta fuori se non riparte da circa un giorno almeno.
Se può essere utile qui l'ultimo log di shutdown
https://pastebin.com/Wm0DCwJX
Chryses
Newbie
Newbie
 
Messaggi: 24
Iscritto il: 29/09/2018, 12:55

Re: Problema reboot/shutdown lento

Messaggioda mark » 03/03/2019, 20:32

E' come se non fosse mai stato caricato, giusto? E in poche parole è come se fosse in blacklist. Sbaglio?

esatto, poi volendo puoi verificare con lsmod che effettivamente non sia più nell'elenco dei moduli attivi
Avatar utente
mark
Hero Member
Hero Member
 
Messaggi: 696
Iscritto il: 10/01/2007, 16:53

Prossimo

Torna a Tuning

Chi c’è in linea

Visitano il forum: Nessuno e 4 ospiti