J'utilise également le mac mini serveur relié en USB sur un DAC, lui même branché en analogique son mon ampli HC, ça c'est pour les écoutes familiales. Pour éviter les goulots d'étranglement j'ai créé un volume raid 0 avec les deux disque du serveur pour qu'il soit le plus rapide possible, les autres données sont séparées sur des volumes externes en firewire.
Le second mac mini, réservé à la hifi, est optimisé pour ça avec un liaison en wifi à 5ghz, les fichiers audio étant stockés uniquement sur le serveur pour deux raisons : faciliter la mise à jour de la bibliothèque musicale, et donc la partager, et ensuite pour pouvoir facilement sauvegarder mes fichiers.
A l'origine, nous avons 8 appareils qui utilisent les partages audio ou vidéo sur serveur : 2 macbook, un mac mini, 2 iphones, un Apple TV, et 2 iPads. Centraliser et partager étaient de bonnes solution pour sécuriser les données, et ensuite pour avoir un système très souple où chacun des 3 humains qui l'utilisent y trouvent leur compte pour leur usage individuel.

En résumé, pour ta config, fais attention aux questions d'usage, au nombre de machines et leurs caractéristiques (notamment les débits de connexion), et si tu ne risques pas de trop solliciter un partage avec des accès simultanés.