Uso elevato della ram da parte di un plug-in

[tripla-m]

Ciao a tutti,

non sono nuovo nel mondo dei computer, ma in quello dei nas si. In questi ultimi due mesi ho realizzato un nas con l'obiettivo di fornire uno storage unico per me e i miei amici di montagna per tenere tutte le nostre foto raccolte in posto unico e organizzato che non sia il gruppo di whatsapp.
La configurazione che ho realizzato cercando di spendere il meno possibile è così composta:
- CPU: intel pentium g645
- RAM: 8GB hyperx
- scheda madre: intel dq67ep
- SSD: Kingstone 120 GB per il sistema
- HDD: 2 WD Red da 4 TB in mirror per lo storage

Per gestire in maniera comoda e veloce la condivisione dei file, sia dal telefono che da computer, ho installato il plug-in nextcloud.
Dopo aver passato qualche giorno a configurare il nas e la rete, tutto quanto si è messo a funzionare come previsto… eccetto l'uso della ram. A nas appena acceso si ha circa il 40-50% della ram occupata da service, che immagino sia il sistema operativo + nextcloud, il resto occupato tra zfs e un po' di spazio libero.
Quando carico i file dal mio computer al nas, la ram occupata da service sale parecchio (70%) e zfs inizia a restringersi, ma non ho mai riscontrato problemi. Ieri ho provato a caricare una cartella con quasi 150 foto (1,7GB) e la ram occupata da service è schizza a 7.6 GB, lasciando pochissimo spazio a zfs causando un vistoso rallentamento del caricamento ed errori vari nei file tra caricamenti falliti o corrotti, in un caso il nas si è addirittura riavviato.

Vi lascio in allegato degli screenshot che ho fatto sperando vi siano utili

P.S. in alcuni screen si vedrà una pool log zfs. Quella pool l'avevo creata nel tentativo di creare una cache di scrittura per vedere se migliorava qualcosa riguardo questo problema, ma essendo anche esso un hard disk credo che non serva a niente

Grazie mille

 

[tripla-m]

ho appena riavviato la jail del plug-in nextcloud e la ram si è completamente liberata, screen in allegato

 

[tripla-m]

Riciao,

qualcuno ha un idea per risolvere il problema, perché non credo che sia riavviando il plug-in ad ogni caricamento la soluzione

 

[glauco]

Ciao, per capire quale processo si mangia tutta la RAM dovresti lanciare il comando htop.
Se lo lanci all'interno della jail di Nextcloud è più immediato perché vedi solo i processi di quella jail.
Se lo lanci all'interno di TrueNAS vedi i processi del sistema operativo dell'host + quelli di tutte le jail, ma insomma, tanto ce ne sarà uno o pochi che usano il grosso della RAM.

A parte questo, usare i plugin purtroppo non è molto consigliato, perché sono poco mantenuti dalla casa.
Invece questo script di installazione fatto dall'utente danb35 viene regolarmente aggiornato e messo a punto: https://github.com/danb35/freenas-iocage-nextcloud
Se cerchi c'è un thread apposito su questo forum.
Io personalmente ho preferito fare un'installazione del tutto manuale, seguendo le istruzioni del sito di Nextcloud e di un certo Samuel Dowling, perché se pensi di tenere la jail a lungo, secondo me va fatta un'installazione seria, capendo tutta la miriade di componenti come si integra col tutto...
Insomma, Nextcloud è potente, però se uno ha bisogno solo di sincronizzazione di file, forse è meglio una cosa più semplice e più facile da mantenere, tipo SyncThing.

 

[tripla-m]

Ciao, per capire quale processo si mangia tutta la RAM dovresti lanciare il comando htop.
Se lo lanci all'interno della jail di Nextcloud è più immediato perché vedi solo i processi di quella jail.
Se lo lanci all'interno di TrueNAS vedi i processi del sistema operativo dell'host + quelli di tutte le jail, ma insomma, tanto ce ne sarà uno o pochi che usano il grosso della RAM.

A parte questo, usare i plugin purtroppo non è molto consigliato, perché sono poco mantenuti dalla casa.
Invece questo script di installazione fatto dall'utente danb35 viene regolarmente aggiornato e messo a punto: https://github.com/danb35/freenas-iocage-nextcloud
Se cerchi c'è un thread apposito su questo forum.
Io personalmente ho preferito fare un'installazione del tutto manuale, seguendo le istruzioni del sito di Nextcloud e di un certo Samuel Dowling, perché se pensi di tenere la jail a lungo, secondo me va fatta un'installazione seria, capendo tutta la miriade di componenti come si integra col tutto...
Insomma, Nextcloud è potente, però se uno ha bisogno solo di sincronizzazione di file, forse è meglio una cosa più semplice e più facile da mantenere, tipo SyncThing.

Ok sta sera, rientrato da lavoro, lancerò il comando htop e poi vi saprò dire.

In quello script mi ci ero già imbattuto in passato, ma avevo preferito il plug-in perché avevo altri problemi da risolvere sul nas.
Visto che il nas l'ho dimensionato per una durata minima di 8 anni (con un aggiornamento della cpu, mobo, ram e alimentatore entro i prossimi 2) valuterò l'installazione dello script nei prossimi giorni

 

[tripla-m]

Ciao, per capire quale processo si mangia tutta la RAM dovresti lanciare il comando htop.
Se lo lanci all'interno della jail di Nextcloud è più immediato perché vedi solo i processi di quella jail.
Se lo lanci all'interno di TrueNAS vedi i processi del sistema operativo dell'host + quelli di tutte le jail, ma insomma, tanto ce ne sarà uno o pochi che usano il grosso della RAM.

A parte questo, usare i plugin purtroppo non è molto consigliato, perché sono poco mantenuti dalla casa.
Invece questo script di installazione fatto dall'utente danb35 viene regolarmente aggiornato e messo a punto: https://github.com/danb35/freenas-iocage-nextcloud
Se cerchi c'è un thread apposito su questo forum.
Io personalmente ho preferito fare un'installazione del tutto manuale, seguendo le istruzioni del sito di Nextcloud e di un certo Samuel Dowling, perché se pensi di tenere la jail a lungo, secondo me va fatta un'installazione seria, capendo tutta la miriade di componenti come si integra col tutto...
Insomma, Nextcloud è potente, però se uno ha bisogno solo di sincronizzazione di file, forse è meglio una cosa più semplice e più facile da mantenere, tipo SyncThing.

Allora ho fatto un po' di test ed ho capito quando succede questo improvviso picco di ram. Ho fatto un po' di screen della homepage e della shell della jail. Vi condivido quelli più importanti:

1) Situazione iniziale (il nas era acceso da stamattina):

2) Ho caricato tre volte la stessa cartella con 150 foto (1,72GB) e questa è la situazione dopo l'ultimo caricamento. Spoiler: non è successo nulla di anomalo, anzi mi è sembrato tutto regolare con zfs che gradualmente si prendeva la ram:

3) A questo punto ho deciso di aprire la cartella che avevo caricato su nextcloud per vedere se i file erano stati caricati, e qui ho scoperto il problema, anche se non ho idea di come risolverlo

Semplicemente, quando sono entrato nella cartella contenente le foto, nextcloud ha iniziato a caricare le anteprime in miniatura di ogni foto e letteralmente in meno di 20 secondi ha occupato tutta la ram obbligando il sistema ad usare lo swap, fino a quando la jail o il plug-in si sono bloccati riavviandosi, liberando la ram.

Qui vi lascio uno screen con la situazione dopo il riavvio e qualche grafico

Adesso non so se questo si possa considerare un bug di nextcloud oppure un limite/errata configurazione del mio nas. Io ho pensato che magari devo aggiungere una ssd come cache di lettura visto che non ce l'ho (volendo ho già in casa una ssd nuova di pacca avanzata da 120GB), ma da come ho capito si aggiunge una ssd per la cache solo in particolari situazioni (la mia?), oppure aumento la ram anche se non mi andrebbe di comprare altre sim ddr3 per un sistema che in futuro so già che aggiornerò con le ddr4.

Lascio in mano a voi quello che ho appena raccolto, sperando che riusciate a trare qualche informazione utile

Grazie

 

[glauco]

Ciao, potresti provare queste soluzioni: https://www.bentasker.co.uk/posts/d...ving-nextcloud-s-thumbnail-response-time.html

 

[glauco]

Oppure, soluzione drastica ma efficace, https://docs.nextcloud.com/server/l...nfiguration_files/previews_configuration.html

 

[tripla-m]

Oppure, soluzione drastica ma efficace, https://docs.nextcloud.com/server/l...nfiguration_files/previews_configuration.html
View attachment 50832

Grazie mille per entrambi i consigli,

domani sera penso che proverò con questo che ti ho quotato, perché leggendo entrambi i link che mi hai girato ho capito che nextcloud crea una miriade di anteprime di varie dimensioni con qualità tra l'altro alta e che molto probabilmente neanche verranno visualizzate. Sulla guida dell'ultimo link ho visto che mostrano anche come impostare una risoluzione fissa e abbassare la qualità dell'anteprima