Config hardware NAS

[MLill]

fait gaffe aussi aux usb utilisées.

En general sur les cartes il y a 2 zones. Une zone gérée par le chipset et une zone gérée par le CPU ou un autre composant dédié. On le voit bien sur les IOMMU de unraid.

Le mieux, je pense, est d'utiliser la zone où les USB3.1 sont gérées. (par contre, double attention aussi car si la zone est utilisée par des disques de la grappe, l'ensemble de la zone ne peut plus etre déclarée en passthrough pour les VM.
c'est pareil pour la zone ou est connectée l(USB de boot. donc bien choisir sa zone en mettant USB Flash et Disque ensemble pour se laisser la possibilité d'avoir une compat USB avec une VM.

Code: Tout sélectionner

PCI Devices and IOMMU Groups

IOMMU group 0:   [8086:190f] 00:00.0 Host bridge: Intel Corporation Xeon E3-1200 v5/E3-1500 v5/6th Gen Core Processor Host Bridge/DRAM Registers (rev 07)
IOMMU group 1:   [8086:1901] 00:01.0 PCI bridge: Intel Corporation Xeon E3-1200 v5/E3-1500 v5/6th Gen Core Processor PCIe Controller (x16) (rev 07)
[10de:128b] 01:00.0 VGA compatible controller: NVIDIA Corporation GK208B [GeForce GT 710] (rev a1)
[10de:0e0f] 01:00.1 Audio device: NVIDIA Corporation GK208 HDMI/DP Audio Controller (rev a1)
IOMMU group 2:   [8086:1912] 00:02.0 VGA compatible controller: Intel Corporation HD Graphics 530 (rev 06)
IOMMU group 3:   [8086:a2af] 00:14.0 USB controller: Intel Corporation 200 Series/Z370 Chipset Family USB 3.0 xHCI Controller
[8086:a2b1] 00:14.2 Signal processing controller: Intel Corporation 200 Series PCH Thermal Subsystem
IOMMU group 4:   [8086:a2ba] 00:16.0 Communication controller: Intel Corporation 200 Series PCH CSME HECI #1
IOMMU group 5:   [8086:a282] 00:17.0 SATA controller: Intel Corporation 200 Series PCH SATA controller [AHCI mode]
IOMMU group 6:   [8086:a290] 00:1c.0 PCI bridge: Intel Corporation 200 Series PCH PCI Express Root Port #1 (rev f0)
IOMMU group 7:   [8086:a295] 00:1c.5 PCI bridge: Intel Corporation 200 Series PCH PCI Express Root Port #6 (rev f0)
IOMMU group 8:   [8086:a296] 00:1c.6 PCI bridge: Intel Corporation 200 Series PCH PCI Express Root Port #7 (rev f0)
IOMMU group 9:   [8086:a298] 00:1d.0 PCI bridge: Intel Corporation 200 Series PCH PCI Express Root Port #9 (rev f0)
IOMMU group 10:   [8086:a2c5] 00:1f.0 ISA bridge: Intel Corporation 200 Series PCH LPC Controller (Z270)
[8086:a2a1] 00:1f.2 Memory controller: Intel Corporation 200 Series/Z370 Chipset Family Power Management Controller
[8086:a2f0] 00:1f.3 Audio device: Intel Corporation 200 Series PCH HD Audio
[8086:a2a3] 00:1f.4 SMBus: Intel Corporation 200 Series/Z370 Chipset Family SMBus Controller
IOMMU group 11:   [8086:15b8] 00:1f.6 Ethernet controller: Intel Corporation Ethernet Connection (2) I219-V
IOMMU group 12:   [8086:1539] 03:00.0 Ethernet controller: Intel Corporation I211 Gigabit Network Connection (rev 03)
IOMMU group 13:   [8086:08b3] 04:00.0 Network controller: Intel Corporation Wireless 3160 (rev 83)


CPU Thread Pairings

Pair 1:   cpu 0 / cpu 2
Pair 2:   cpu 1 / cpu 3


USB Devices

Bus 001 Device 001:   ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 001 Device 002:   ID 0718:0708 Imation Corp. Micro
Bus 001 Device 003:   ID 8087:07dc Intel Corp.
Bus 002 Device 001:   ID 1d6b:0003 Linux Foundation 3.0 root hub
Bus 002 Device 002:   ID 0bc2:2344 Seagate RSS LLC Portable

Tu vois plusieurs contrôleurs USB ?

Michel

[Polopretress]

ici , non.
A moins que tu ne vois pas pas tout car tu as peu de groupe en fait (et seulement 5 usb dont au moins 2 en 2.0 ?)
Si tu n'as qu'un seul groupe de usb, cela veut dire que tu ne pourras t'en servir en VM.

Ci joint le mien (on voit bien les 2 groupes 14 et 18)

Code: Tout sélectionner

PCI Devices and IOMMU Groups

IOMMU group 0:   [1022:1452] 00:01.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
IOMMU group 1:   [1022:1453] 00:01.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) PCIe GPP Bridge
IOMMU group 2:   [1022:1453] 00:01.3 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) PCIe GPP Bridge
IOMMU group 3:   [1022:1452] 00:02.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
IOMMU group 4:   [1022:1452] 00:03.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
IOMMU group 5:   [1022:1453] 00:03.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) PCIe GPP Bridge
IOMMU group 6:   [1022:1452] 00:04.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
IOMMU group 7:   [1022:1452] 00:07.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
IOMMU group 8:   [1022:1454] 00:07.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Internal PCIe GPP Bridge 0 to Bus B
IOMMU group 9:   [1022:1452] 00:08.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
IOMMU group 10:   [1022:1454] 00:08.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Internal PCIe GPP Bridge 0 to Bus B
IOMMU group 11:   [1022:790b] 00:14.0 SMBus: Advanced Micro Devices, Inc. [AMD] FCH SMBus Controller (rev 59)
[1022:790e] 00:14.3 ISA bridge: Advanced Micro Devices, Inc. [AMD] FCH LPC Bridge (rev 51)
IOMMU group 12:   [1022:1460] 00:18.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 0
[1022:1461] 00:18.1 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 1
[1022:1462] 00:18.2 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 2
[1022:1463] 00:18.3 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 3
[1022:1464] 00:18.4 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 4
[1022:1465] 00:18.5 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 5
[1022:1466] 00:18.6 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 6
[1022:1467] 00:18.7 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Data Fabric: Device 18h; Function 7
IOMMU group 13:   [1987:5012] 01:00.0 Non-Volatile memory controller: Phison Electronics Corporation E12 NVMe Controller (rev 01)
IOMMU group 14:   [1022:43b9] 03:00.0 USB controller: Advanced Micro Devices, Inc. [AMD] X370 Series Chipset USB 3.1 xHCI Controller (rev 02)
[1022:43b5] 03:00.1 SATA controller: Advanced Micro Devices, Inc. [AMD] X370 Series Chipset SATA Controller (rev 02)
[1022:43b0] 03:00.2 PCI bridge: Advanced Micro Devices, Inc. [AMD] X370 Series Chipset PCIe Upstream Port (rev 02)
[1022:43b4] 1d:00.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 300 Series Chipset PCIe Port (rev 02)
[1022:43b4] 1d:02.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 300 Series Chipset PCIe Port (rev 02)
[1022:43b4] 1d:03.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 300 Series Chipset PCIe Port (rev 02)
[1022:43b4] 1d:04.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] 300 Series Chipset PCIe Port (rev 02)
[1b21:0612] 20:00.0 SATA controller: ASMedia Technology Inc. ASM1062 Serial ATA Controller (rev 02)
[1b21:1184] 21:00.0 PCI bridge: ASMedia Technology Inc. ASM1184e PCIe Switch Port
[1b21:1184] 26:01.0 PCI bridge: ASMedia Technology Inc. ASM1184e PCIe Switch Port
[1b21:1184] 26:03.0 PCI bridge: ASMedia Technology Inc. ASM1184e PCIe Switch Port
[1b21:1184] 26:05.0 PCI bridge: ASMedia Technology Inc. ASM1184e PCIe Switch Port
[1b21:1184] 26:07.0 PCI bridge: ASMedia Technology Inc. ASM1184e PCIe Switch Port
[8086:24fb] 27:00.0 Network controller: Intel Corporation Dual Band Wireless-AC 3168NGW [Stone Peak] (rev 10)
[8086:1539] 2a:00.0 Ethernet controller: Intel Corporation I211 Gigabit Network Connection (rev 03)
IOMMU group 15:   [10de:128b] 2d:00.0 VGA compatible controller: NVIDIA Corporation GK208B [GeForce GT 710] (rev a1)
[10de:0e0f] 2d:00.1 Audio device: NVIDIA Corporation GK208 HDMI/DP Audio Controller (rev a1)
IOMMU group 16:   [1022:145a] 2e:00.0 Non-Essential Instrumentation [1300]: Advanced Micro Devices, Inc. [AMD] Zeppelin/Raven/Raven2 PCIe Dummy Function
IOMMU group 17:   [1022:1456] 2e:00.2 Encryption controller: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) Platform Security Processor
IOMMU group 18:   [1022:145f] 2e:00.3 USB controller: Advanced Micro Devices, Inc. [AMD] Zeppelin USB 3.0 Host controller
IOMMU group 19:   [1022:1455] 2f:00.0 Non-Essential Instrumentation [1300]: Advanced Micro Devices, Inc. [AMD] Zeppelin/Renoir PCIe Dummy Function
IOMMU group 20:   [1022:7901] 2f:00.2 SATA controller: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] (rev 51)
IOMMU group 21:   [1022:1457] 2f:00.3 Audio device: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 00h-0fh) HD Audio Controller


CPU Thread Pairings

Pair 1:   cpu 0 / cpu 1
Pair 2:   cpu 2 / cpu 3
Pair 3:   cpu 4 / cpu 5
Pair 4:   cpu 6 / cpu 7
Pair 5:   cpu 8 / cpu 9
Pair 6:   cpu 10 / cpu 11
Pair 7:   cpu 12 / cpu 13
Pair 8:   cpu 14 / cpu 15


USB Devices

Bus 001 Device 001:   ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 001 Device 002:   ID 8087:0aa7 Intel Corp.
Bus 002 Device 001:   ID 1d6b:0003 Linux Foundation 3.0 root hub
Bus 003 Device 001:   ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 003 Device 002:   ID 1a2c:2c27 China Resource Semico Co., Ltd USB Keyboard
Bus 003 Device 003:   ID 1ea7:0064  2.4G Mouse
Bus 004 Device 001:   ID 1d6b:0003 Linux Foundation 3.0 root hub
Bus 004 Device 002:   ID 0951:1666 Kingston Technology DataTraveler 100 G3/G4/SE9 G2


SCSI Devices

[0:0:0:0]   disk    Kingston DataTraveler 3.0       /dev/sda   15.4GB
[1:0:0:0]   disk    ATA      WDC WD100EZAZ-11 0A83  /dev/sdb   10.0TB
[2:0:0:0]   disk    ATA      WDC WD100EZAZ-11 0A83  /dev/sdc   10.0TB
[3:0:0:0]   disk    ATA      WDC WD100EFAX-68 0A83  /dev/sdd   10.0TB
[4:0:0:0]   disk    ATA      WDC WD100EZAZ-11 0A83  /dev/sde   10.0TB
[5:0:0:0]   disk    ATA      CT120BX500SSD1   R013  /dev/sdf    120GB
[6:0:0:0]   disk    ATA      WDC WD100EFAX-68 0A83  /dev/sdg   10.0TB
[N:0:1:1]   disk    Force MP510__1                             /dev/nvme0n1   240GB

[Bobanar21]

Je ne pense pas que l'inverse soit possible

Utilisation : Pour monter un périphérique SATA (disque dur ou lecteur/graveur optique) sur un port USB 3.0.

Michel

Ok , donc j'ai compris à l'envers je crois , et dans ce cas en effet ça devient très intéressant

(sinon vous parlez chinois là tous les deux pour moi ^^ )

[Polopretress]

[MLill]

ici , non.
A moins que tu ne vois pas pas tout car tu as peu de groupe en fait (et seulement 5 usb dont au moins 2 en 2.0 ?)
Si tu n'as qu'un seul groupe de usb, cela veut dire que tu ne pourras t'en servir en VM.

Ci joint le mien (on voit bien les 2 groupes 14 et 18)

...

Je t'ai bien tout mis .
J'ai cherché deux contrôleurs USB non pas pour passer le disque en passthrough à la VM mais pour faire le benchmark de contrôleur à contrôleur.

Michel

[MLill]

Bonjour à vous deux

J'arrive petit à petit au bout de mes tests USB.
Je m'interroge si il faut mieux poster ici, dans le sujet de Polo, ou carrément démarrer un sujet nouveau, ce qui peut être utile si vous avez l'un ou l'autre envie de développer ce sujet particulier (par exemple pour traiter l'accès d'un disque USB à partir d'une VM sujet que je n'ai pas abordé).
Vous en pensez quoi ?

Michel

[Polopretress]

dans le post unraid , je pense. en fonction des conclusions , j'y ferais un raccourci dans la table des matières en première page.
Cela peut intéresser pas mal de gens qui auraient des cartes mere limitées en port SATA3

[Bobanar21]

Bonjour ,suite à nos échanges , me concernant , pour l'instant l'usage sera un SSD pour le cache (il peut aussi acceuillir une VM ou bien il faudra un autre disque dédié ? ) et l'extension du nombre de ports SATA (peut être mieux niveaux débits max que les cartes d'extension dont nous avons déjà longuement parlé non ? )

Pour ma part que ce soit dans le post UNRAID c'est très bien

[MLill]

Oui le cache peut avoir les deux fonctions : hébergement des VM et des conteneurs et cache pour la grappe RAID.
Certains préfèrent avoir une SSD dédiée à chaque fonction ce qui est possible en V6.9.

Michel

[Polopretress]

Aucun souci d'utiliser son cache pour les VMs (c'est un chouille + rapide qu'un disque séparé - ca va dépendre de la techno du disque cache en fait)
le cache sert, de +, a sauvegarder toutes les fichiers de sauvegarde et de conf de tout le systeme et des dockers/plugin et c'est appréciable.

pour l'aspect cache pool en interface a l'ecriture sur la grappe, cela a peu d'interret sauf si on transfere de petits fichiers (pas le cas de fichiers video) ou que l'on a un cache très gros (par exemple 1 a 2 To.
(chez moi, j'ai devalidé la fonction car trop contraignante avec un petit ssd de 256Go et mon emploi du NAS avec mise hors tension la nuit.)
Donc de mon point de vue, si on n'a pas un cache de 1To mini alors ne pas l'utiliser pour les transferts vers la grappe et écrire directement dans la grappe.

le seul cas ou cela pourrait se justifier , c'est d'avoir une liaison 10Gbit

[MLill]

Par curiosité j'ai monté les interfaces livrées avec les disques USB - je les conserve après démontage - sur une SSD.
Dans tous les cas l'interface retourne l'identité du disque d'origine et non pas celle de la SSD connectée.
Outre ce que n'est pas joli le HD n'est plus reconnu par unRaid lorsque l'on passe d'une connexion USB à SATA ou inversement.

Il y a aussi les interfaces plutôt lentes et enfin celles qui causent des erreurs d'entrée sortie

Qu'en est'il de l'interface proposée par Kalea testée hier soir et ce matin ?



Comme malheureusement je le craignais, mais pas assez cependant pour renoncer aux tests, elle cumule tous les problèmes que j'ai rencontré sur ces interfaces.
Le pire étant les erreurs d'I/O.
Donc conception trop ancienne, produit à éviter .

Michel

[Bobanar21]

Arfff , dommage ....

Merci quand même pour tes tests Michel

[Polopretress]

dommage aussi.... je comptais en acheter une.

[MLill]

En résumé pas de problème pour monter un disque 2"5 dans la grappe en USB.
Pour deux disques les performances peuvent chuter avec certaines CM mais je n'ai pas eu de soucis avec d'autres.

Je n'ai pas réussi à passer de commande TRIM via USB en utilisant des interfaces qui ont cette fonctionnalité dans leurs spécifications.
C'est peut-être unRaid qui ne le permet pas, de même qu'il ne l'autorise pas avec des SSD montées dans la grappe (même sans parité).

Michel

[MLill]

J'ai transféré une configuration, à l'étroit dans son vieux boîtier, dans un Silverstone TJ-04E.
Les quatre baies 5"25 ont été remplies par deux racks hot swap l'un de 4 disques 3"5 l'autre de 4 disques 2"5 préalablement dépouillés de leurs ventilateurs.

La cage de disque 3"5 interne peut accueillir huit disques, je me suis contenté de 6 soit un total de 14 (4+4+6).
En 2020 ce nombre peut paraître déraisonnable mais je ne vois pas de bonne raison, aujourd'hui, pour mettre à la poubelle mes "petits" disques.

Reste à trouver la meilleurs solution pour limiter la température des disques avec un minimum de ventilateurs tournant aussi lentement que possible.
C'est bon pour les disques ... et pour les oreilles .

Les boîtiers "modernes" ont de nombreuses ouvertures, certaines prévues pour des ventilateurs, d'autres pour laisser entrer l'air.
On pourrait penser que c'est une bonne idée ...
Mais hélas l'air au lieu de circuler autour des disques, circule dans le boîtier entre ouverture et ventilateur.

J'ai donc pris l'habitude de les obstruer.
Au bilan final 5°C de moins dans la cage 3"5 hot-swap et même presque 2°C de moins dans la cage interne qui dispose pourtant de deux ventilateurs de 120mm dédiés.

Michel