Décodeur atmos + dirac live sur PC

[guittet]

Bonjour,

Pensez vous qu'on verra un jour un décodeur dolby atmos pour pc ?

Arnaud

[athoriac]

Bonjour,

Pensez vous qu'on verra un jour un décodeur dolby atmos pour pc ?

Arnaud

Oui..

Mais quand..

[Emmanuel Piat]

Développer un décodeur atmos est déjà possible pour l'EAC3 puisque VoidX l'a fait dans Cavern (avec en plus des fonctions avancées d'adaptation au placement d'enceintes, de décodage multi-enceintes bien au delà du 9.1.6 etc.). Les spécifs de l'atmos dans un container EAC3 et AC4 sont publiques car Dolby veut étendre l'atmos à toutes les solutions de streaming pour en faire un truc commun. Dolby veut qu'on pense atmos, qu'on respire atmos, qu'on mange atmos ...

Cavern c'est 2 choses :

- un "driver" qui permet de préciser le setup audio utilisé (nb et position des enceintes) et qui intègre un player propriétaire afin de rendre un flux sonore atmos eac3 sur 8 canaux (comme du 5.1.2) et peut être encore davantage de canaux (ce point n'est pas très clair dans la doc) si Windows l'accepte. Le player permet également de visualiser la position théorique des objets en traduisant en visu 3D les metadata.
- un décodeur hors-ligne qui s'appelle Cavernize et qui permet de décoder le flux atmos présent dans un container EAC3 et de récupérer le tout dans un fichier multicanal au format de son choix parmi une liste possible.

Rien ne prouve que Cavern possède un décodeur sous la forme d'un filtre DirectShow. Par contre, l'API de cavern est totalement ouverte. Ca veut donc dire que potentiellement, elle sera réutilisable pour développer d'autres projet autour de l'atmos en EAC3 et notamment un décodeur DS.

Ensuite, concernant les flux atmos dans un container trueHD (qui n'est rien d'autre que du MLP comme dans les DVD Audio qu'on sait aujourd'hui parfaitement décoder avec un PC) qui concerne uniqt les BRD FHD et UHD, les choses sont verrouillées pour l'instant. Mais néanmoins, je vous ai apporté une solution strictement identique à Cavernize qui fonctionne parfaitement à condition de posséder DRP. Avec le fichier multicanal obtenu, on peut ensuite reconstruire un mkv dans lequel le flux atmos sera en quelque sorte pré-décodé pour une config d'enceinte donnée.

Il est difficile de savoir si le décodage de l'atmos en trueHD va trouver une solution "officieuse" rapidement ou pas sous la forme d'un décodeur DirectShow. Actuellement aucun document officiel de Dolby sur le décodage de l'atmos en trueHD n'a encore fuité. Tout est soigneusement verrouillé par Dolby et les développeurs de logiciels qui ont déjà produits des décodeurs/renderer tiers pour l'atmos dans des applis tiers (professionnelles) jouent le jeu du NDA et des licences d'exclusivité.

[Emmanuel Piat]

Concernant le décodage sur PC de l'atmos dans un container trueHD sur un BRD, il faut aussi être réaliste : combien ça intéresse de personne ? Combien d'individus visualisent des BRD avec un PC et parmi eux combien ont une carte son sérieuse avec plus de 8 canaux ? A mon avis, il n'y a pas foule ...

Pourtant, d'un point de vue financier, la chose a un intérêt certain vu que les CS pro produisent un son irréprochable pour un prix contenu. Le seul hic, c'est que les choses se compliquent pour le BMS, la gestion des delays + éventuellement du filtrage correctif, du routing etc. C'est là ou un soft comme Usine prend tout son intérêt vu sa richesse et surtout son coût qui est nul. Reste une contrainte : si on utilise un player qui sort un flux sonore en WDM, il faut un driver multi-client ds la CS avec un router intégré pour pouvoir utiliser simultanément Usine en Asio et ainsi post-traiter la sortie du player. Heureusement, il y a des CS pro a des tarifs très intéressants qui le permettent. Après, il ne reste plus qu'à plonger dans Usine et à faire sa propre interface avec un joli frontend adapté à ses propres besoins

[Emmanuel Piat]

Stratégie de Dolby pour imposer Dolby Atmos et Dolby Vision partout :
https://mediakwest.com/mk35_dolby-maintenant-et-demain/

L'article date de 2020 et permet de bien comprendre les choses. Au vu de ce qu'il s'est passé depuis, on peut dire que leur trajectoire est parfaitement maitrisée et que tout va bien pour Dolby qui est de + en + présent dans tout l'écosystème audio-vidéo. A noter que l'article ne parle pas d'écoute au casque. L'écoute binaurale est pourtant le moyen le moins cher qui permet d'accéder à la spatialisation. Dolby l'a bien compris et met de + en + en avant l'écoute binaule au casque pour profiter de l'atmos en itinérance ou dans son fauteuil avec son smartphone ou sa tablette ...

Ce que cherche à faire Dolby à l'échelle mondiale correspond à un véritable hold-up sur le workflow de création musicale et visuelle. L'enjeu financier est colossal pour eux. La question est alors : va-t-on voir émerger une réaction basée sur des solutions libres de droit pour contrer la main mise de Dolby sur l'industrie audiovisuelle et permettre aux petits producteurs d'abaisser leur coût de prod en évitant d'avoir à renouveler des licences annuelles ? C'est pas gagné. Quels acteurs seront ok pour mettre de tels outils logiciels de production et de diffusion sur le marché s'il n'y a pas d'argent à gagner ? Perso, je pense que Dolby est tout proche de gagner la guerre ...

[Emmanuel Piat]

Pour info le virtualizer binaural de Cavern n'est franchement pas terrible (pour ne pas dire nul).

Celui que je me suis construit ds Usine avec 8 instances de ce plug-in gratuit pour faire du 7.1 binaural fonctionne bcp mieux :
https://www.dear-reality.com/products/dearvr-micro
Il permet de placer une source monophonique dans l'espace. Donc avec 8 plugins, on peut placer dans l'espace les 8 enceintes virtuelles qui vont correspondent à un flux 7.1.

Il faut par contre pas mal tâtonner pour trouver des réglages qui font une balance correcte entre l'externalisation et le respect de la tonalité (car tous les systèmes de binauralisation ajoutent au son des réflexions artificielles pour simuler la distance, ce qui détimbre donc le son. Par conséquent, il y a tjrs un compromis à trouver. L'HRTF, elle, ne sert qu'à régler l'orientation de la source et jamais la distance (et en général, ca fonctionne pas mal). Comme tjrs, sur le rendu latéral et arrière, on a de très bons résultats. C'est la scène avant qui est compliquée à rendre en terme de distance, notamment pour la centrale qu'il faut arriver à "effacer" de la position centrale entre les 2 oreilles). Si on veut travailler + finement et avec un meilleur contrôle du rendu de chaque canal 7.1, 7.1.X ou 9.1.X en binaural, il faut utiliser des instances du grand frère (payant) :
https://www.dear-reality.com/products/dearvr-pro-2
Avec tjrs un VST à instancier par canal et derrière on somme toutes les sorties stéréos binauralisées.

Ou bien, si on recherche la facilité, on peut prendre un VST qui crée un environnement d'écoute virtuel binaural déjà tout prêt (avec le même moteur binaural) :
https://www.dear-reality.com/products/dearvr-monitor

Petite démo de leur moteur binaural (qui date de 8 ans) : https://www.youtube.com/watch?v=34Y0dwVBq4c
Autre démo vraiment très bien faite (très naturelle), notamment la scène avant (c'est rare d'avoir ce niveau de qualité spatiale) : https://www.youtube.com/watch?v=2fugVyPJVF8

A tout hasard, je donne les réglages que j'utilise en 7.1 ds Usine pour chacun des 8 plugins VST DearVR MICRO. Avant d'attaquer chaque plugin, il faut mettre le canal LFE à +10 dB et les surrounds à -3 dB. On somme ensuite ds Usine les 8 sorties stéréos produites par les 8 VST. Le rendu est déjà bien qualitatif. Ca n'a strictement rien à voir avec ce que donne un downmix 2.0 écouté au casque. Si j'ai le temps, j'enregistrerai un exemple de rendu d'une démo atmos dans un fichier OPUS et je le mettrai à disposition pour que vous puissiez vous rendre compte.

HRTF : AMBEO Orbit

L:
AZIMUTH = -30
ELEVATION = 6
LEVEL = 0.5
SIZE = 16
ROOM = Curtains
FOCUS = 75

R:
AZIMUTH = 30
ELEVATION = 6
LEVEL = 0.5
SIZE = 16
ROOM = Curtains
FOCUS = 75

C:
AZIMUTH = 0
ELEVATION = 6
LEVEL = -0.6
SIZE = 16
ROOM = Curtains
FOCUS = 75

Ls:
AZIMUTH = -100
ELEVATION = 10
LEVEL = 1.4
SIZE = 17
ROOM = Drapes
FOCUS = 50

Ls:
AZIMUTH = 100
ELEVATION = 10
LEVEL = 1.4
SIZE = 17
ROOM = Drapes
FOCUS = 50

Lr:
AZIMUTH = -135
ELEVATION = 13
LEVEL = 1.4
SIZE = 17
ROOM = Drapes
FOCUS = 50

Rr:
AZIMUTH = 135
ELEVATION = 13
LEVEL = 1.4
SIZE = 17
ROOM = Drapes
FOCUS = 50

LFE
AZIMUTH = 0
ELEVATION = 0
LEVEL = 1.4
SIZE = 50
ROOM = Drapes
FOCUS = 0

[Emmanuel Piat]

J'ai fait qq tests avec cavernize pour décoder un film avec une bande son en EAC-3 Atmos (avec un bitrate de 768 Kb/s) et la réencoder en 7.1.4. via wavepack ou opus.

Le downmix d'origine du flux Atmos est du 5.1. D'après DRP, il y a 15 objets ds le flux atmos.
Cavernize reconstruit bien les back pour produire un vrai 7.1.4.

En terme d'encodage, je trouve qu'un bitrate de 128 Kb/sec/canal produit un résultat impeccable avec OPUS comparé à wavepack en lossless.

Poids des bandes sons :

EAC-3 Atmos d'origine : 910 Mo (impressionnant vu la durée du film ...)
wav 7.1.4 : 10.6 Go
wavpack 7.1.4 : 2.29 Go
OPUS 7.1.4 (128 Kb/sec/ch) : 1.33 Go

La comparaison n'est pas très fairplay car il faudrait plutôt comparer l'EAC-3 d'origine avec un décodage 5.1.4 sur 10 canaux au lieu de 12.

[Emmanuel Piat]

J'ai refais la même manip avec DRP à la place de Cavernize.

Je confirme ce qui a déjà été dit sur doom9 : le résultat est différent. DRP tient compte du dialnom (+ compression dyn ?) qd il décode et pas Cavernize. Résultat : le son après décodage est d'un vraiment bcp + faible avec DRP et semble anémié en dyn si on ajuste le niveau sonore (ce point est à confirmer).

Donc, pour le décodage des flux atmos en EAC-3, il faut utiliser Cavernize.

[Emmanuel Piat]

Exemple de produit commercial (issu de l'ircam qui représente le savoir-faire français en matière de recherche en audio 3D) :

https://www.ircam.fr/article/spat-revol ... m-et-flux/
https://www.flux.audio/immersive-audio-revolution-fr/

Parmi les approches alternatives possibles à l'Atmos pour créer une scène sonore 3D, il y le WFS (Wave Field Synthesis) que le soft SPAT Revolution gère parfaitement. Il y a une quinzaine d'années, des acteurs alternatifs ont essayé de mettre cette techno à dispositions du cinéma. Des salles ont été équipées et des démos ont eu lieux, notamment en Espagne où une spinoff s'était montée pour déployer cette approche. J'avais fait des posts à ce sujets à l'époque. Ca fonctionnait bien mieux que l'atmos et sur un espace d'écoute bcp + grand. Cependant, il fallait énormément d'enceintes pour recréer un champ sonore cohérent sur une bande passante élevée et une large zone d'écoute. La mise en œuvre était coûteuse. Dolby a racheté ces acteurs et a fait disparaitre cette solution qu'il ne voulait pas voir émerger.

On peut néanmoins faire des choses très bien en WFS même avec un cluster d'enceintes très réduit. Ici vous avez un retour d'expérience en situation de concert avec 7 stacks, ce qui est vraiment peu :

https://www.youtube.com/watch?v=-emKWJauE1o

L'objectif pour ce concert était de générer une immersion 3D pour le public qui fonctionne sur un large espace d'écoute pour offrir une expérience d'écoute supérieure à celle que procure un classique stack stéréo. La stéréo en sono de salle ne fonctionne que si le spectateur est proche de l'axe longitudinal de la salle. Donc à l'arrivée, le résultat est souvent très médiocre en terme de spatialisation pour la majorité du public ...

En WFS la bande passante du front d'onde et sa cohérence spéciale dépendent du nombre d'enceintes utilisées. En France, l'ircam a fait énormément de recherche sur ce sujet afin de réduire le nombre d'enceintes, de contrôler les conditions aux limites (effet de la salle), etc. Il y avait une équipe entière de recherche qui bossait sur le sujet et toutes les thèses produites sont disponibles. Il y a aussi énormément de publies sur ce sujet sur google scholar. Lors de leurs journées portes ouvertes, l'ircam faisait des démos de leur système en sonorisant de grands espaces. On pouvait s'y balader librement pour écouter des scènes sonores 3D vastes et cohérentes spatialement lorsqu'on se déplaçait. Le logiciel SPAT Révolution est un produit dérivé de ces recherches.

Si on ne veut contrôler que les basses fréquences en terme spatial et fréquentiel, le nombre d'enceintes nécessaires diminue fortement, ce qui rend l'approche plus simple et moins couteuse. La question la plus complexe reste alors la maitrise des conditions limites, c-à-d. de l'influence des frontières de la salle pour supprimer l'effet des modes propres. Une manière connue pour faire cela consiste à générer uniquement un front d'onde cylindrique qui ne se propage que dans une seule "direction" (solution que préconisait THXRD par exemple et qu'il a mis en œuvre dans sa salle avec un array de subs) et de maitriser les conditions aux limites de part et d'autre de cette direction en faisant du WFS le long de 2 murs opposés. Ce faisant le WFS a 2 objectifs simultanés : récréer le front d'onde cylindrique dans les graves ET maitriser les conditions limites pour empêcher la création des modes propres. La création se fait un utilisant des subs présents sur un des murs. La maitrise des conditions limites se fait en utilisant tous les subs sur les 2 murs opposés. En pratique, il y a tjrs des limitations à ce type d'approche puisque les autres surfaces vont évidemment mettre leur grain de sel car l'onde sonore n'est pas parfaitement cylindrique et elle interagit forcément aussi avec les murs latéraux + sol + plafond sur les "bordures" du front qui se propage. Comme on n'a pas de maitrise des conditions aux frontières sur ces murs là, ils engendreront des artefacts sur la zone d'écoute qui pourront se produire avant qu'on ne puisse les corriger en agissant sur les murs avant et arrière.

Trinnov a implémenté un algo sur ce principe qui fait de la WFS émissive et corrective sur leur DSP audio pour gérer les modes propres en basses fréquences. Ils vont bientôt le déployer. Ils appellent ça du WaveForming (il fallait bien trouver un nom commercial dérivé du WFS. Je trouve qu'ils ont trouvé une appellation qui sonne bien). Dans une salle de dimension modeste, cela nécessite un nombre "raisonnable" de subs. Voir le podcast ici pour les grandes lignes :

https://www.homecinema-fr.com/podcast-h ... -hdmi-2-1/

Comme quoi, la problématique de la restitution sonore 3D peut mener à des trucs qu'on imagine pas forcément

[Emmanuel Piat]

Exemple de salle WFS en Allemagne avec 192 haut-parleurs (4 x 32). La publie associée (téléchargeable) date de 2007 :

https://www.researchgate.net/figure/WFS ... _235990089

Un autre système a été installé en 2004 à Hollywood, disposant de 304 haut-parleurs (4 x 76 et 8 sub-woofers).

[Emmanuel Piat]

Trinnov a implémenté un algo sur ce principe qui fait de la WFS émissive et corrective

Ds l'approche suivie par Trinnov, ce qu'il faut comprendre, c'est que le principe utilisé pour la synthèse du front d'onde est dans un 1er temps physique via la disposition des subs sur le mur émetteur (sources miroirs). Ici on ne recherche pas à recréer un front d'onde convexe ou concave particulier comme en WFS pour donner l'impression qu'il y a une source sonore virtuelle qqpart devant ou derrière le mur. On veut un front d'onde cylindrique et c'est tout. Donc ça simplifie bien les choses. Peut être que l'algo filtre néanmoins le signal de sub pour éviter certains accidents futurs pdt la 1ère propagation. Ensuite le gros de l'affaire se situe sur la partie WFS corrective. Mais là aussi le front d'onde sera (en théorie) cylindrique. Sauf que comme la perfection n'existe pas (subs non idéalement placés, géométrie de pièce perturbatrice, interaction du front d'onde avec les surfaces, ...), la correction temporelle (FIR) sera surement particulière sur chaque sub en fonction de la manière dont il influence le front de pression sur chaque point mesuré de la zone d'écoute. Plus globalement, c'est un problème d'optimisation. L'algo doit trouver les coeff des filtres FIR appliqués à chaque sub qui minimisent "raisonnablement" en chaque point mesuré l'écart entre le front d'onde cylindrique idéal qui se propage et le front d'onde effectif. Donc là, on retrouve l'esprit de la WFS car il s'agit bien d'essayer de créer un front d'onde cylindrique "correct" en corrigeant les conditions aux limites de la pièce qui sont considérées (ici les murs avant et arrière) et de supprimer les "échos" à ce front qui vont induire du trainage.

[Emmanuel Piat]

Vidéo explicative d'une séance de travail en WFS par un ingé son avec SPAT :
https://www.youtube.com/watch?v=wVEKcCw8F2s

[Emmanuel Piat]

J'ai testé le VST dearVR PRO 2 pour me faire un binauraliseur qui va du 2.0 au 7.1.4.
J'ai donc 12 VST (c-à-d. 1 VST par canal chargé de binauraliser ce canal. Ca fait donc au final 7+1+4 = 12 VST) qui tournent en // dans Usine avec un frontend maison pour les régler tous en même temps.

Le produit est très complet comparé au VST de base "dearVR MICRO". On peut régler les paramètres des 48 environnements virtuels proposés : le niveau du champ réverbéré, sa BP, son amplitude, la taille de la pièce, sa hauteur, la position d'écoute et la hauteur d'écoute dans la pièce, l'activation des réflexions, leur BP (permet de simuler une absorption au niveau des murs ), leur amplitude, ainsi que la "force" du filtre HRTF. L'atténuation liée à la distance de la source sonore est aussi simulée. On peut également renforcer les graves. L'environnement de départ dans lequel on place les murs fait 24x24m.

Après 2 journées de travail, j'ai réussi à me faire un environnement convainquant en binaural qui est respectueux des timbres. Ce n'est pas simple à faire. Si un jour qqu'un se met à Usine et souhaite que je lui passe les réglages utilisés sur chaque VST, ça ne me pose pas de problème.

Concernant la différence entre une écoute binaurale 7.1.4 et 7.1 : elle existe car on sent qu'il y a un peu plus d'élévation mais ce n'est pas dément non plus car le 7.1 marche déjà très correctement. Mais le 7.1.4. apporte une richesse supplémentaire dans la spatialisation.

J'ai aussi essayé de tester le VST dearVR MONITOR qui propose une solution de binauralisation multicanal clé en main. Maleureusement, la version d'essai que j'ai testé ds Usine ne propose que de binauraliser du 2.0. Je ne pense pas que ce soit une limitation de la version de test (car c'est évoqué nul part), mais que c'est plutôt un pb dans Usine qui lui fait croire que le host VST est en 2.0. Je n'ai pas trouvé comment contourner ce pb pour l'instant. Dans la doc du VST, il est bien spécifié bien qu'il faut sur mettre sur un bus multicanal dans le DAW (Digital Audio Workstation) avant de lancer le VST et que celui-ci s'adapte ensuite à la largeur du bus. Usine n'est pas un DAW. Il a un wrapper VST intégré pour lequel il est impossible de configurer quoi que ce soit ...

[Emmanuel Piat]

En plus de l'absence de déco natif Atmos ou DTS:X, le décodage par le PC souffre aussi d'un manque pour l'upmixing allant du 2.0 au 9.6.1.

Néanmoins, dès l'instant où on utilise une approche logicielle qui permet de mettre des plug-ins VST, on a accès à tous les outils pro dispo sur le marché. Pour l'upmixing, une des références VST pro semble être penteo. Les tarifs de leur VST reste raisonnable (même si pas donné). A tester ... (version de test dispo en download) :

https://www.perfectsurround.com/

[Emmanuel Piat]

Un autre : https://nugenaudio.com/haloupmix/