Btrfs ou ext4 pour une migration de NAS ??

» 17 Déc 2017 11:24

je vais passer d'un ancien NAS encore en ext4 vers un nouveau modèle compatible Btrfs.. et je me demande comment faire cette migration la ?? (pour passer éventuellement en btrfs ou rester en ext4), ce n'est pas documenté sur le site Synology alors qu'ils expliquent les avantages du Btrf (cloud, sauvegarde, compression, défragmentation, etc..) et Btrfs aurait aussi l'avantage de la rapidité d'accès en séquentiel indexé sur de petits fichiers ? les NAS compatibles Btrfs ont des CPU Intel 64bit..

bref, voilà deux inconnues :
- faut-il passer en btrfs ? est ce stable ? avez vous testé les avantages ?
- et si oui, comment se fait la migration d'un ancien NAS ext4 vers un nouveau en btrfs ??
mes compétences dans ce domaine sont très limitées, qui peut nous éclairer ??

» 17 Déc 2017 14:27

Je suis certain que tu a la réponse :mdr:

» 17 Déc 2017 17:08

Avec la prochaine version de DSM les NAS récents ARM 64 bits (DS 418 ...) pourront utiliser aussi BTRFS.

Parmi les autres avantages de BTRFS,
- la gestion de sommes de contrôle permettant de garantir l'intégrité des données (ce que l'on lit est bien ce que l'on a écrit)
- le "copy on write" qui permet d'avoir un système de fichier toujours cohérent (si la fonction de vérification du système de fichier existe elle est en théorie inutile lorsque l'on utilise cette fonctionnalité)
- la possibilité d'avoir plusieurs copies des métadonnées même sur un volume unique.

C'est la gestion du RAID (hors RAID-4) par BTRFS qui est parfois contestée mais Synology ne l'utilise pas.
La redondance permet de corriger les erreurs de lecture détectées en vérifiant les sommes de contrôle.
On est bien loin des RAID qui plantent au premier bloc illisible ...

J'ai adopté BTRFS dès qu'il a été disponible, sous unRaid d'abord, puis sur DSM.
Aucun regret.

Il existe des outils de migration de EXT4 à BTRFS mais à ma connaissance non proposés par Synology.
J'ai toujours procédé très simplement en copiant les données de volumes EXT4 (ou ReiserFS) à BTRFS.

Michel

» 17 Déc 2017 17:49

MLill a écrit:C'est la gestion du RAID (hors RAID-4) par BTRFS qui est parfois contestée mais Synology ne l'utilise pas..

oui, il semble que la version Syno n'utilise pas le Btrfs RAID "instable" mais son système SHR (càd finalement un système mixte fichiers Btrfs et SHR Synology avec un middelware maison..)

MLill a écrit:Il existe des outils de migration de EXT4 à BTRFS mais à ma connaissance non proposés par Synology.
J'ai toujours procédé très simplement en copiant les données de volumes EXT4 (ou ReiserFS) à BTRFS.

oui, je pense aussi que cela m'obligerait à tout recopier.. c'est du travail et un certain risque ! je me demande si je ne vais pas finalement rester en ext4 ??? voilà une décision pas simple...

» 17 Déc 2017 18:09

Je ne copie jamais, je synchronise.
De EXT4 à Btrfs et de NAS à NAS on peut utiliser la synchronisation de dossiers partagés.
Même si cela demande un petit effort d'assimilation et de mise en place cela reste simple.

Mon outil de synchronisation Windows (Vice Versa pro) permet aussi de vérifier les sommes de contrôle fichier par fichier.
J'utilise parfois cette option pour vérifier qu'il n'y a pas eu de dérive.

Michel

» 17 Déc 2017 18:28

donc ok pour la synchronisation de EXT4 à Btrfs, bonne nouvelle !
et au final, quel serait ton conseil... rester simplement en ext4 (simple) ou migrer vers Btrfs ??

» 17 Déc 2017 22:22

Malheureusement je ne pense pas qu'il existe de conseil valable pour tout le monde.

Je suis convaincu que Synology a choisi de migrer DSM vers Btrfs et d'abandonner à terme EXT4.
QNAP, très virulent contre Btrfs, a suivi une autre voie.

L'évolution ne peut être que progressive, compte tenu de la base d'utilisateurs et du parc de matériel existant.
Je ne pense pas que cette prudence soit liée à un manque de confiance dans Btrfs.

En ce qui me concerne il n'y a que deux systèmes de fichiers que j'apprécie, ZFS et Btrfs.
Les autres, à commencer par NTFS, bof, bof, bof.

Michel

» 25 Déc 2017 23:29

Pourquoi le NAS QNAP n'utilise-t-il pas le système de fichiers Btrfs ?

Michel

» 29 Déc 2017 20:37

MLill a écrit:Pourquoi le NAS QNAP n'utilise-t-il pas le système de fichiers Btrfs ?

Michel

j'ai testé sur un même NAS les systèmes Btrfs et ext4.. sans voir de différences (pour de l'audio)
par contre le transfert d'un système de fichiers ext4 en Btrfs n'est expliqué nul part sur le site Synology

» 29 Déc 2017 22:31

A ma connaissance Synology ne propose pas de conversion.

Théoriquement cependant cette dernière est possible, si j'interprète bien cette information (entre autres).

Je m'étais posé la question de la performance de BTRFS en 2015 lorsque j'ai effectué la migration de REISERFS à BTRFS de tous mes serveurs unRaid.
J'ai effectué des benchmarks sur des traitements représentatifs de mes applications en comparant REISERFS à mes deux options d'évolution XFS et BTRFS.
Je n'ai pas constaté de différence de performance significative entre BTRFS et XFS.

XFS est considéré comme plus moderne et plus performant que EXT4 et notamment dans les tests de Phoronics auxquels fait référence QNAP.

Par contre, tout comme EXT4, XFS ne dispose pas de fonctions que je considère comme essentielles dont nous avons discuté plus haut.

Lorsque l'on synchronise deux systèmes de fichiers c'est de très loin BTRFS le plus performant ...
Et il ne s'agit pas de 60% mais plutôt de 1000%.
Et c'est bien, dans mon cas, cette fonction qui est critique.

Michel

» 29 Déc 2017 23:58

En 2016 j'ai aussi effecuté une comparaison de BTRFS et EXT4, Synology, QNAP, crypté et non crypté.
Le traitement consiste à charger (upload) le NAS de trois répertoires de profils différents, d'effectuer la comparaison par vice versa pro entre les répertoires source et cible de décharger les répertoire (download), puis de supprimer les répertoires sur le NAS.

Les deux NAS testés sont un DS716+ un TS-253A utilisant tous deux le même Intel Celeron N3150 le QNAP avec 8 Go de mémoire et le Synology avec 2Go.
Le même disque dur de 500 Go a été utilisé dans les tests, sans RAID.

Avec des répertoires non cryptés sur le NAS :
- DS716+ EXT4 : 2:01:44
- DS716+ BTRFS : 2:04:38
- TS253A EXT4 : 2:17:19

Avec des répertoires cryptés sur le NAS :
- DS716+ BTRFS : 2:31:34
- DS716+ EXT4 : 2:37:36
- TS253A EXT4 : 2:40:19

Dans le traitement de comparaison qui est pour moi le plus critique :
- DS716 non crypté EXT4 1:30
- TS253A crypté ou non EXT4 1:35
- DS716 non crypté BTRFS : 1:44
- DS716 crypté BTRFS : 9:02
- DS716 crypté EXT4 : 10:34

Devinez quel NAS j'utilise lorsque mes fichiers sont cryptés

.

Les tests ont été effectués en avril 2016.

Michel

» 16 Fév 2018 21:50

Hello, je me posais plus ou moins la même question.
J'ai pour l'instant un DS415play en RAID5 (4x4to) et un DS213+ en JBOD (2x4To). J'ai également 2 Iomega Storcenter à moitié en rad que je vide progressivement avant de les mettre au recyclage.
Je vais upgrader mes NAS avec un DS1517+ 8Go ram que je reçois ce week-end (les 5 disques de 10To vont arriver un peu après).
J'aimerais qu'il soit à peu près propre contrairement à mes deux autres Syno (sur lesquels j'ai installé des tonnes de package pour voir, désinstallé, et tout organisé de manière pas nécessairement opti).

Je me posais quelques questions

1/ est-ce que ça vaut le coup de faire l'install neuve en btrfs au lieu du ext4 ou bien il y a une baisse des performances ? Je n'ai pas très bien saisi si BTRFS est lui-même basé sur une sorte de JBOD au sein duquel il gère la sécurité ou si c'est aussi basé sur du RAID 5 ( donc je suppose que d'avoir BTRFS + RAID 5 on doit avoir une certaine déperdition de données)

2/ je vais recevoir mes disques au fur et à mesure vu que je les ai commandé à des endroits différents (histoire d'éviter d'avoir deux disques de la même série...). 1 en même temps que le NAS, 1 lundi et 2 autres dans la semaine. je dois encore commander le 5e.
Si j'utilise le SHR, avec 1 disques, puis 2 puis 4, est-ce que je ne risque pas de me retrouver avec un contenu bordélique sur les disques et une charge non équilibrée ? Je voudrais déjà l'utiliser avec un disque pour tester le processeur si ce n'est pas une des versions pourries d'Atom

3/ une fois bien installé, je dois copier mes fichiers musicaux à partir du DS415 et mes films depuis le 415 et le 213.
Qu'est ce qui est le plus simple pour copier ce volume de données sans risquer de se retrouver avec des fichiers corrompus ? Rsync ?

» 16 Fév 2018 22:25

1) J'ai constaté que dans mon utilisation personnelle Btrfs est aussi performant que EXT4.
Je l'utilise même avec un processeur AMD C60 - difficile de faire plus poussif.

Btrfs, en plus d'être un système de gestion de fichier; gère aussi le RAID.
Il le fait de manière plus intelligente que les RAID-1/5/6 car la redondance est utilisée pour corriger les erreurs au fil de l'eau.
Cela va devenir une nécessité avec l'augmentation de la capacité des disques.
Mais, il y a un mais, DSM n'utilise pas la fonction RAID de BTRFS, donc sur ce plan aucune différence avec EXT4.

2) J'ai fait l'expérience de disques d'une même série, insérés dans la même grappe, tombant en panne quasi simultanément.
Donc, oui, ce n'est pas une mauvaise idée de ne pas les acheter tous simultanément.
Par contre c'est éventuellement se compliquer l'existence pour rien, sachant que changer de fournisseur ou écarter de quelques semaines les achats ne procure aucune garantie de différence.

Lorsque l'on utilise une grappe RAID unique tous les disques sont chargés de la même manière le principe consistant à écrire simultanément sur tous les disques.

Par contre à chaque fois que l'on rajoute un disque il faut réécrire le contenu de tous les disques, les anciens comme le nouveau.

3) La fonction "synchro de dossiers partagés" utilise rsync et est très simple à mettre en oeuvre.
Un de ses nombreux avantages est que l'on peut s'y reprendre à plusieurs fois, sans risque d'oubli de fichiers comme avec une simple copie windows.
C'est mieux de synchroniser avec btrfs (contrôle d'intégrité des données) mais il faut avoir btrfs des deux côtés

.

Michel

» 17 Fév 2018 10:01

MLill a écrit:1) Mais, il y a un mais, DSM n'utilise pas la fonction RAID de BTRFS, donc sur ce plan aucune différence avec EXT4..

une question : est ce un choix définitif de Synology ?? ou une solution intermédiaire en attendant cette intégration la ?? (à venir..)

MLill a écrit:.3) La fonction "synchro de dossiers partagés" utilise rsync et est très simple à mettre en oeuvre.

une deuxième question déjà posée : la synchro peut elle servir (sans risques ?) pour le transfert de fichiers entre un NAS EXT4 et un autre NAS BTRFS ?? (il y aurait par ex. des problèmes entre EXT3 et EXT4 selon la doc synology) Il est aussi étonnant qu'ils ne donnent dans la documentation aucune méthode simple (et garantie) pour faire ce transfert..

» 17 Fév 2018 11:16

corintin a écrit:
MLill a écrit:1) Mais, il y a un mais, DSM n'utilise pas la fonction RAID de BTRFS, donc sur ce plan aucune différence avec EXT4..

une question : est ce un choix définitif de Synology ?? ou une solution intermédiaire en attendant cette intégration la ?? (à venir..)

J'imagine plusieurs explications au choix de Synology :
- gestion du RAID par BTRFS pas assez fiable
- incompatibilités avec SHR.

Ce ne sont que des spéculations de ma part.

corintin a écrit:
MLill a écrit:.3) La fonction "synchro de dossiers partagés" utilise rsync et est très simple à mettre en oeuvre.

une deuxième question déjà posée : la synchro peut elle servir (sans risques ?) pour le transfert de fichiers entre un NAS EXT4 et un autre NAS BTRFS ?? (il y aurait par ex. des problèmes entre EXT3 et EXT4 selon la doc synology) Il est aussi étonnant qu'ils ne donnent dans la documentation aucune méthode simple (et garantie) pour faire ce transfert..

Je n'ai pas connaissance de problèmes liés à la synchronisation par rsync de deux systèmes de fichiers.
Du moins d'un système Linux à un autre sachant que j'ai eu de mauvaises expériences avec rsync sous Windows.
rsync est une commande complexe avec de multiples options.
Utiliser la "synchro de dossier partagés" ou "hyper backup" permet d'éviter des écueils.

Par contre si il s'agit de convertir un système de fichiers de EXT3 à EXT4 ou de EXT4 à BTRFS (donc sans copie ou transfert des données, uniquement les métadonnées) il existe des options qui peuvent être plus ou moins fiables et que je n'ai jamais utilisées.
Il existe en particulier une possibilité de conversion de EXT4 à BTRFS non proposée à l'heure actuelle par Synology.

Michel