UNRAID. Un OS multifacette.

[DAVEYBROTHERS]

Bonjour.
A la base , je n'étais pas trop pour mettre un disque de parité mais finalement je me suis dit que c'était + sage.
De ce fait , j'avais moins de scrupule a désosser des WD Book 10To (a 180€ puis a 220€) pour m'en servir dans la grappe et mettre un RED sur la parité.

Bah voilà, tu viens pil-poil de résumer ce que j'avais en tête

La différence de prix entre les mybook et un disque nue étant très importante, j'ai eu cette idée aussi.

Il y a un un document ou un post sur unraid précisant les différentes config de disques possible ?
Je suis à la rue sur ce qui ce fait actuellement, j'en suis resté aux basiques Raid 0,1,5,6.

[Polopretress]

C'est du raid 4 il me semble. avec possibilité de double parité et les contraintes d'écriture peuvent etre gommées par la mise en place de cash drive.

tu as ca si tu veux :

[DAVEYBROTHERS]

Merci, j'avoue ne pas avoir tout compris.

Concrètement comparé à un vrai RAID 5, ca donne quoi en terme de sécurité en cas de panne d'un disque et d'espace utile de stockage ?

[Polopretress]

La parité n'est pas distribuée sur l'ensemble des disques comme c'est le cas du raid5/6. Il y a 1 ou 2 disques de parité dédiés. la seule contrainte est que ton (ou tes) disque (s) de parité soit d'une contenance au moins = au plus gros des autres disques ou sont sauvegardés sur les données.
Sur la defaillance d'un disque, tu le reconstruis avec les autres disques + celui (ou ceux) de la parité.
Sur la défaillance de 2 disques simultanée ou lors de la reconstruction du premier disque perdu (en considérant une systeme avec un seul disque de parité), tu ne perds que le contenu des disques (donc soit 2 disque de données, soit 1 disque de donnée + le disque de parité.

Avec raid5/6 , tu perds l'ensemble de tes données. Donc des 15 disques si tu as 15 disques dans la grappe ...
En fait avec Raid5/6 tu perds tout puisqu'un seul fichier est découpé en petit morceau et est écrit sur l'ensemble des disques (comme la parité).

Lorsque tu rajoute un disque sur un raid 5/6, tu recontruis la parité sur l'ensemble des disques a partir du début.(donc en fonction du volume total ca peut prendre 4/5/6 jours...)
Lorsque tu rajoutes un disque avec raid comme unraid, tu ne reconstruis la parité que sur le disque de parité. et meme pas si le disque que tu rajoutes est pré-clear.

Avec unraid, ton espace de stockage correspond a la somme des disques de données. Il ne faut pas prendre en compte la capacité du (ou des) disque(s) de parité.

[MLill]

Il m'est arrivé d'avoir trois disques d'une même série en panne quasi simultanément dans une grappe unRAID.
Cette circonstance m'aurait fait perdre toute une grappe en RAID-6.
J'ai pu relire les trois disques indépendamment à l'exception des blocs endommagés.

L'avantage d'avoir un système de fichiers par disque et non pas un seul pour toute la grappe.

Michel

[JamesAdams]

perso j'ai 2x 14To avec 1 disque de parité et je compte racheter encore 2x14To et avoir 2 disque de parité avec des model de disque dur différent au cas ou.

[DAVEYBROTHERS]

Donc avec ce principe vous avez autant de volumes que de disques et non pas un volume qui comprends x disques comme un raid standard.

[Polopretress]

non, il y a un volume unique constitué de plusieurs disques.
Ensuite sur le volume on cree des user-shares (c'est comme un dossier mais non attibué a un disque spécifique. c'est unraid qui va décider comment vont etre rangées d^les données et cela peut aussi etre paramettré en excluant les disques etc...par user-shares. Ensuite sur chque user-share on peut attribuer des privileges différents en fonction des user qui sont susceptibles de s'y connecter via smb ou nfs

[MLill]

Il y a un volume virtuel unique constitué de plusieurs disques ET un volume par disque.
Les méta-données sont gérées disque par disque ainsi que la répartition des fichiers sur les différents secteurs.
Un même fichier ne peut pas être à cheval sur plusieurs disques.

Techniquement il n'y a qu'un volume par disque mais le système gère la répartition des fichiers sur les différents volumes.
Donc tout peut se passer comme si l'on disposait d'un volume unique de 30 To pour trois disques de 10 To.
Mais, comme l'explique Polopretress, c'est au choix de l'utilisateur avec une infinité de combinaisons possibles.

Par exemple on peut très bien avoir les données importantes sur un volume une sauvegarde sur un autre volume et la protection du RAID pour les deux.

Dans un RAID-5-6 classique un disque extrait de la grappe ne sert à rien.
Dans le cas d'unRaid il est directement utilisable.
Si un secteur est invalide dans la plupart des cas on ne perd qu'un fichier.

Michel

[DAVEYBROTHERS]

Ce principe est quand même largement plus sécurisant, surtout sur des disques de très grandes capacités.

Du coup, plus aucun intérêts à avoir des disques spécifiques aux nas.

Comment fonctionne le système de parité ?

Quelqu'un utilise le docker du logitech media server ? C'est stable.

[MLill]

J'ai longtemps utilisé LMS sous unRaid sans souci.
Je suppose qu'il s'agissait de la version Docker.

La formule de calcul de parité est identique à celle du RAID-5 ou du RAID-6.
Le principe du RAID-4 est exposé dans l'article de Wikipedia en anglais.
https://en.wikipedia.org/wiki/Standard_RAID_levels

Dans le cas d'unRaid les fichiers sont gérés disque par disque (un système de fichiers par disque).
Dans une grappe RAID-4 classique il y a un seul système de fichiers pour toute la grappe.
Cette solution n'a aucun intérêt et c'est la raison pour laquelle elle a été abandonnée.
Malheureusement la confusion demeure dans beaucoup d'esprits.

L'utilisation d'un disque de parité nécessite quand même une synchronisation des disques.
J'ai rencontré des disques qui refusaient de se synchroniser et n'étaient donc plus utilisables dans une grappe unRaid avec disque de parité.
Ils tournent sans problème dans une grappe sans disque de parité.

Michel

[Polopretress]

Evidemment, MLill a fait une explication bien + complète et précise que je n'avais fait !

Oui , les disques sont moins sollicités sauf le disque de parité qui lui va etre sollicité systématiquement a chaque écriture. D'ou une attention particulière a apporter a ce disque.



De ce que j'ai compris, ce systeme est + vieux et a été remplacé par le raid5/6 mais c'était + pour des questions de temps de réponse en lecture/ecriture puisque ces opérations peuvent etre réalisées en // sur tous les disques.
La gestion d'un disque cache permet de compenser cette "lenteur" si l'on juge que ce critere est important par rapport a son utilisation.
Lorsque l'on utilise le cache pour y mettre temporairement ses données, on utilise la fonction "mover" qui va donc effectuer ce transfert "cache vers array" soit manuellement, soit en programmant une heure afin que cela soit fait en temps masqué. (la nuit par exemple). Pour chaque user share, on peut selectionner si on veut avoir recours ou non au cache qui sert donc de tampon.

La parité comme son nom l'indique , c'est un calcul de parité sur le meme bit de chaque disque (un XOR) donc 0+1+1+1+0+1+0+0 = 0 sur le premier bit du disque de parité. S'il manque un des disques, il est facile de l'emuler par le disque de parité ou de recalculer quelle valeur du bit il faut re-inscrire en cas d’échange de disque. C'est pour cela que la capacité du disque de parité doit au moins etre égale au disque de donnée le plus grand.

En cas de double disque de parité, c'est plus complexe. l'algo n'utilise plus un XOR mais autre chose qui , combiné au XOR du premier disque de parité permet d'admettre une seconde défaillance.

[MLill]

J'ai essayé de trouver, sans succès, un article expliquant l'articulation entre système de fichiers et RAID.

Le RAID-4 a été abandonné non pas à cause de moindres performances que le RAID-5 mais parce-que, comme tu l'expliques, il sollicitait trop un disque.
Mais dans un cas comme un autre on dispose d'un système de fichiers unique pour la grappe, donc des disques inutilisables en dehors de la grappe (et des fichiers qui peuvent être éparpillés sur plusieurs disques).

unRaid assure deux tâches :
* un calcul de parité au niveau des blocs en amont des systèmes de fichier (il n'y a pas de système de fichiers sur le disque de parité)
* la consolidation des systèmes de fichiers existants en une vue unique

Contrairement au RAID-4 cette approche pénalise les performances, mais fait bénéficier d'une sécurité que ni le RAID-5 ni le RAID-6 ne peuvent apporter.

Cependant les systèmes RAID-5 et RAID-6 sont plus ou moins évolués .

Si la panne complète d'un disque est un événement extrêmement rare, la rencontre d'un ou plusieurs secteurs invalides est inévitable.
Un système RAID devrait être capable de reconstituer un secteur invalide à partir de l'information de parité.
La tendance serait malheureusement plutôt au remplacement d'un disque au premier incident
Ce n'est plus vraiment compatible avec des disques de 10To.

Probability of not recovering data is 1 in 10^14 bits read

... pour un disque de 160Go.

Je retrouve la même spécification pour certains disques de 14To de 2020 ...

Michel

[DAVEYBROTHERS]

Merci pour ces infos.

Je vais donc partir sur unraid. Me reste plus qu'à sélectionner le matos.

[Polopretress]

Tu ne le regretteras pas, c'est super !!

Pour partir sur une configuration hardware adaptée , il faut bien définir ton besoin (celui d’aujourd’hui et celui qui pourrait etre le tien dans qq années)