S3D & WibbleWobble

Per il giocatore curioso
Una descrizione a livello divulgativo della tecnologia, di come è costruita e di come funziona. Se non sei interessato, non c'è bisogno di leggerlo - è materiale arido.

Come un gioco disegna il 3D
Il modo usuale per produrre un'immagine 3D in un gioco è renderizzare la scena due volte - separatamente per l'occhio sinistro e destro, spostando virtualmente la telecamera rispetto al centro della scena. Questo è costoso in termini di risorse e richiede il supporto integrato del motore di gioco. Non tutti i giochi possono farlo. WibbleWobble offre due percorsi diversi, e la differenza tra loro è fondamentale - determina sia la qualità dell'immagine che l'insieme degli artefatti dell'immagine.

Percorso uno: ReShade Client - sintesi dello stereo da un fotogramma piatto
Il gioco renderizza una singola vista ordinaria. L'effetto SuperDepth3D ReShade prende quel fotogramma insieme al buffer di profondità della scena e ricostruisce da esso un secondo punto di vista spostando i pixel in base alla profondità. Il motore di gioco non sa nulla dello stereo. Questo è economico in termini di prestazioni e funziona con quasi tutti i giochi DX11/DX12. Il compromesso sono gli artefatti inerenti al metodo stesso. Sono descritti di seguito, nelle sezioni "Svantaggi".

Percorso due: OpenVR Client - vero rendering 3D
WibbleWobble si registra in SteamVR come un visore VR virtuale. Un gioco compatibile con VR, o uno con una mod VR, renderizza la scena due volte da due telecamere separate dalla distanza interpupillare, esattamente come farebbe un vero visore. IPD, risoluzione per occhio e lunghezza focale sono impostati in VR Config. Qui WibbleWobble non sintetizza nulla: prende la coppia stereo già pronta e la invia allo schermo in sequenza di fotogrammi, sincronizzando gli occhiali otturatori. Questo costa di più in termini di prestazioni, ma la geometria 3D è assolutamente corretta. Nessun buco lungo i contorni, nessun effetto "cartone"; ogni occhio ottiene i propri riflessi e luci. In sostanza, questo è un modo per giocare a giochi VR su un monitor normale con occhiali 3D ma senza visore.

Riproiezione - il meccanismo di espansione del campo visivo
La riproiezione funziona in entrambe le modalità, inclusa quella monoculare. Uno shader ad alte prestazioni prende il fotogramma del gioco e lo mappa sulla geometria del tuo spazio di lavoro: su un singolo monitor, o quattro monitor, o uno schermo curvo. Attraverso il tracciamento della testa (OpenTrack) l'immagine si sposta per seguire la tua testa, e i monitor iniziano ad agire come una finestra su un mondo virtuale - l'effetto "VR fish tank". Lo scopo della riproiezione è ottenere la scala del mondo corretta e il campo visivo (FOV) corretto per l'uso multi-monitor. La riproiezione può essere disattivata completamente (Client Config -> Reprojection: Disabled) e puoi usare solo l'uscita stereo, BFI e l'upscaler - lo scenario usuale per un singolo display.
* Va detto che l'autore del progetto era eccessivamente ottimista sull'idea di "espandere il mondo" su più pannelli. Anche le schede grafiche potenti non hanno prestazioni sufficienti per questo. Sarai fortunato se la velocità sarà sufficiente per un singolo display 4K. Non funzionerà con più display...

FOV (Campo Visivo): l'angolo di visione. Determina quale settore del mondo la telecamera virtuale cattura nel fotogramma. Si misura in gradi, separatamente per la verticale e l'orizzontale. Un FOV piccolo (40-50°) sembra un obiettivo tele: un settore stretto con oggetti grandi. Un FOV grande (100-120°) è grandangolare, come una telecamera d'azione. Vedi molto ai lati, ma i bordi sono allungati e gli oggetti appaiono più lontani e più piccoli. Questo è un parametro chiave in WibbleWobble. Il programma deve conoscere l'angolo con cui il gioco ha disegnato il fotogramma per proiettarlo correttamente sul tuo monitor fisico. Ecco perché Game Config ha due campi, FOV Verticale e FOV Orizzontale, con un requisito: il valore deve corrispondere a quello impostato nel gioco stesso. Cambia un valore e l'altro viene ricalcolato automaticamente per corrispondere alle proporzioni della finestra.

Se il FOV è:
troppo grande il mondo sembra giocattolo e la scala degli oggetti è distorta
troppo basso il mondo sembra gigantesco e tutto ti sovrasta
in 3D la profondità si rompe insieme alla scala e subentra l'affaticamento degli occhi

Tracciamento della testa come "finestra sul mondo"
Usando il metodo OpenTrack, il gestore dell'applicazione traccia la posizione della testa e sposta la proiezione in modo che il monitor renderizzi una finestra virtuale nella scena 3D. Questo crea un effetto di parallasse. Quando muovi la testa, l'immagine si sposta leggermente, come se stessi davvero guardando attraverso una finestra.

Uscita stereo a fotogrammi sequenziali
L'applicazione riceve i fotogrammi dal gioco a una frequenza variabile man mano che sono pronti, "come arrivano". Il client quindi regola la frequenza dei fotogrammi per la riproduzione a 60 Hz. La fonte della coppia stereo può essere SuperDepth3D, una mod VR o contenuti 3D già pronti. WibbleWobble lo accetta in formato side-by-side o a scacchiera (Client Config -> Source Format) e lo decodifica in FrameBufferDecode. Il renderer lo converte quindi in un flusso a 120 Hz a fotogrammi sequenziali sincronizzando gli occhiali otturatori. Sono supportati i seguenti emettitori: NVIDIA 3D Vision, Open3DOLED, proiettori DLP, 3D Ready e un emettitore IR Arduino/VESA fatto in casa.

Combattere il motion blur e il cross-talk
Motion blur è la sfocatura prodotta dal display. I moderni pannelli LCD e OLED mantengono un pixel acceso per la durata del fotogramma - la modalità sample-and-hold. Mentre il pixel rimane acceso e fisso in una posizione, gli occhi seguono istintivamente l'oggetto in movimento. Di conseguenza, l'immagine "sbava" sulla retina stessa, anche se ogni singolo fotogramma sul display è perfettamente nitido. Più a lungo un pixel rimane acceso, più forte è lo sbavamento. Il difetto nasconde i dettagli fini e degrada ulteriormente l'immagine in modalità 3D.

Per ridurre il tempo di accensione del pixel, WibbleWobble fornisce due strumenti:
Black Frame Insertion - inserimento di un fotogramma nero tra quelli utili (il parametro Black Frame Insertion Interval in Client Config).
CRT Beam Simulator di Blur Busters - uno shader che imita la scansione del fascio di elettroni di un CRT: oscura l'immagine linea per linea anziché come un intero fotogramma. Dà un risultato migliore ma è esigente con il display: necessita di gamma 2.2 o 2.4, ABL/APL disabilitato e OLED in modalità SDR. Su pannelli FALD e MiniLED funziona male a causa dell'inerzia della retroilluminazione.

Queste due modalità non devono essere attivate contemporaneamente. Quando si utilizza CRT Sim, il parametro Black Frame Insertion Interval in Client Config deve essere zero. Vale la pena sottolineare separatamente che il gioco può funzionare a una frequenza inferiore a quella con cui il display emette fotogrammi, e il programma riempie i fotogrammi mancanti fino alla frequenza del display. Ma questa non è la generazione di nuove immagini intermedie - è una ripetizione di quelle già pronte. In altre parole, non c'è la fluidità che fornisce un metodo di ricampionamento.

Cross-talk è l'effetto in cui l'immagine destinata a un occhio raggiunge parzialmente l'altro occhio. Di conseguenza, lo spettatore vede doppi contorni o "fantasmi" semitrasparenti accanto agli oggetti. Questo degrada la qualità dell'immagine 3D e riduce il senso di profondità. Per combatterlo, è integrato il supporto per Black Frame Insertion e il simulatore di fascio CRT di Blur Busters. Per una soppressione completa del cross-talk, viene utilizzata una modalità intelligente: l'immagine del gioco viene disegnata a 60 Hz, gli occhiali ricevono la sincronizzazione a 120 Hz e l'uscita sullo schermo avviene a 240 Hz con ripetizione del fotogramma.

Per tutti i suoi meriti, questo metodo ha limitazioni che dovrebbero essere dichiarate separatamente. Derivano non da un'imperfezione del programma ma dal principio di funzionamento scelto. Il secondo punto di vista stereo non viene renderizzato dal modello della scena ma ricostruito da un fotogramma già finito e da una mappa di profondità. Se non ci sono dati su ciò che è nascosto dietro gli oggetti in primo piano nel fotogramma sorgente, non c'è da dove recuperarli.

Buchi ai bordi degli oggetti - disocclusione
Questo è il difetto principale del metodo. Quando il programma sposta il punto di vista per il secondo occhio o per una rotazione della testa, parte dello sfondo che era nascosto dal bordo di un oggetto in primo piano nel fotogramma sorgente dovrebbe diventare visibile. Ma nessuno ha renderizzato quei pixel - fisicamente non esistono. Il programma non ha nulla con cui riempire il vuoto, quindi o allunga i pixel del bordo, producendo un alone "gommoso" e sbavato lungo i contorni, o sostituisce una toppa "plausibile" ma solitamente errata. Più forte è lo spostamento del punto di vista, più larghe sono le bande dell'alone. Questo non è un bug di implementazione ma una limitazione del metodo stesso: non puoi estrarre da una singola immagine ciò che è nascosto dietro gli oggetti e non visibile in essa.

Il movimento della testa amplifica le distorsioni
Nello stereo ordinario la distanza tra i punti di vista è piccola e costante - uguale alla distanza tra le pupille. Ma con una "finestra sul mondo", la testa percorre decine di centimetri in varie direzioni, quindi lo spostamento relativo del punto di vista è molte volte maggiore di quello naturale, e i buchi e lo sbavamento crescono. Funziona così: stai fermo e non ci sono quasi artefatti, ma anche l'effetto 3D è debole; muoviti molto e l'effetto c'è, ma tutto lungo i bordi degli oggetti è sbavato e fluttuante.

La grafica si basa sulla mappa di profondità
Il programma ha bisogno di informazioni corrette sulla distanza di ogni punto della scena. Il gioco non sempre le fornisce, o non tutte. Le superfici trasparenti - acqua, vetro, fumo, fuoco, fogliame - di solito non hanno una profondità dettagliata, o il motore non la crea affatto. Di conseguenza, gli oggetti finiscono alla distanza sbagliata: l'acqua si attacca nel posto sbagliato, il fumo si sdoppia, le particelle rimangono sospese in punti diversi. Inoltre, non tutti i giochi emettono un buffer di profondità compatibile - in alcuni è invertito, in altri è protetto e non può essere letto.

I riflessi e le luci si rompono di più
Specchi, acqua, asfalto bagnato e metallo sono definiti dalla profondità della loro stessa superficie, non dall' immagine riflessa in essi. Quando il punto di vista si sposta, il riflesso va alla deriva chissà dove. Se un bagliore è "dipinto" sulla superficie, non si comporta come dovrebbe nel mondo reale. È proprio il contenuto lucido più vistoso che appare piatto e sbagliato in stereo.

Interfaccia, mirino e HUD
Gli elementi bidimensionali sopra il fotogramma - barre della salute, menu, il mirino - sono disegnati a profondità zero, quindi dopo l'elaborazione finiscono alla distanza stereo sbagliata. L'interfaccia o sporge nello schermo o penzola davanti alla scena. Il mirino è un problema a sé; la sua posizione di profondità deve quasi sempre essere regolata a mano.

Un fotogramma per entrambi gli occhi
Entrambi gli occhi vedono la stessa immagine, solo spostata. Con un onesto rendering stereo ogni occhio ottiene i propri riflessi, ombre e rifrazioni corretti; qui non accadrà. Per questo motivo, gli oggetti appaiono come strati piatti tagliati dal compensato e disposti per profondità, piuttosto che come corpi volumetrici. Nel materiale in lingua inglese questo effetto è chiamato "cardboard cutout" effect.

Regolazione per ogni gioco
Il campo visivo, la gamma di profondità e la convergenza sono impostati a mano per ogni gioco separatamente. Un errore dà o affaticamento degli occhi per eccessiva convergenza, o la scala sbagliata, dove il mondo sembra giocattolo o gigantesco, o addirittura profondità invertita. Questa è una soluzione "regola e capisci", non una "installa e gioca".

Latenza e fotogrammi irregolari
Il gioco renderizza i fotogrammi in modo irregolare e il client li adatta agli fps stabili del display ripetendo i fotogrammi pronti. La ripetizione stessa non introduce distorsioni, ma la latenza tra l'azione e l'immagine si accumula: cattura del fotogramma, elaborazione, uscita. Per il tracciamento della testa, qualsiasi latenza di questo tipo viene percepita come un "galleggiamento" della scena. Game Config ha un parametro Frame Capture Delay per questo, per regolare il momento della cattura.

Cross-talk residuo e requisiti elevati del monitor
Le tecniche software - inserimento del fotogramma nero e la modalità 60/120/240 - sopprimono le immagini fantasma, ma non le rimuovono completamente, perché il cross-talk è determinato da molti fattori: la fisica del pannello del display e degli occhiali stessi. Dipende dal tempo di risposta dei pixel, dalla velocità di commutazione, dal contrasto delle lenti degli occhiali e dalla frequenza di scansione verticale dello schermo. Inoltre, la modalità più aggressiva richiede un pannello veloce a 240 Hz con una breve persistenza dei pixel, che non tutti gli utenti hanno. A differenza di NVIDIA 3D Vision, ReShade non riproduce un volume già pronto ma lo sintetizza da un fotogramma piatto. Ecco perché i buchi lungo i contorni, i riflessi errati e i bordi fluttuanti sono artefatti stabili del metodo, non un difetto temporaneo.

La geometria stereo qui è onesta e nessuno degli artefatti di sintesi dell'immagine - disocclusione, "cartone", riflessi rotti - è presente qui. Ma questo metodo ha il suo costo, ed è diverso.

Il gioco deve supportare VR
Questa è la limitazione principale. Il metodo non funziona con un gioco qualsiasi: richiede o il supporto VR integrato o una mod VR. Se non esiste una mod pronta, il percorso OpenVR non funzionerà, e rimane solo ReShade con tutti i suoi artefatti. In altre parole, l'ampia compatibilità per cui esiste il primo percorso è completamente persa qui.

Doppio carico sulla scheda grafica
La scena viene davvero renderizzata due volte, da due telecamere. Non c'è il risparmio che la riproiezione di una singola vista fornisce: le prestazioni calano proprio come nella VR reale. Questo è parzialmente compensato dall'impostazione Resolution in VR Config - la risoluzione per occhio può essere ridotta e WibbleWobble scalerà l'immagine alla risoluzione del display.

Installazione complessa
SteamVR deve essere installato. Il driver viene registrato tramite Install.bat con diritti di amministratore, dopodiché due righe devono essere aggiunte manualmente al file config\steamvr.vrsettings: "forcedDriver": "WibbleWobbleVR" e "activateMultipleDrivers": "true". Quindi completa Room Setup in modalità SOLO IN PIEDI. Un errore in qualsiasi passaggio e, invece dello stereo, ottieni uno schermo nero senza un messaggio chiaro sulla causa.

Limitazioni di OpenVR stesso
Alcune impostazioni non possono essere modificate al volo. Se cambi la risoluzione o la frequenza di uscita, è necessario un riavvio di SteamVR. Questa è una limitazione della piattaforma, non del programma, ma rallenta notevolmente la regolazione dei giochi.

L'ottimizzazione del rendering rompe alcuni giochi
VR Config ha un parametro Optimise Single Eye che permette di renderizzare solo un occhio o entrambi a metà FOV. L'autore del progetto avverte direttamente: la modalità "Both" è la più problematica - sono possibili vignettatura e desincronizzazione degli occhi, e l'immagine può "spostarsi". In alcuni giochi l'ottimizzazione dovrà essere disattivata completamente.

Lotta per il focus della finestra
Alcuni giochi non cedono il focus all'interfaccia di WibbleWobble: la combinazione di tasti SHIFT + END non funziona, o l'interfaccia utente viene disegnata ma non può essere controllata. Devi passare manualmente con ALT + TAB. Un problema separato: la finestra di WibbleWobble non deve essere chiusa - il programma non si riprende dopo e il gioco dovrà essere riavviato.

Ricentraggio ad ogni avvio
Il tracciamento deve essere centrato manualmente (SHIFT + .) ogni volta all'avvio, posizionato esattamente al centro dell'area di lavoro davanti agli schermi. Se la testa non era lì durante il centraggio, la riproiezione inizia a comportarsi in modo strano e la scala "deriva". Per stessa ammissione dell'autore, centrare la posizione corretta richiede pratica. Questo può essere successivamente risolto utilizzando un software di tracciamento più intelligente.

Stranezze delle singole applicazioni
Alcuni programmi funzionano solo con determinate marche di visori. Per loro, VR Config ha un parametro Headset Identification che fa sì che WibbleWobble si presenti come un dispositivo diverso - Vive, per esempio - senza il quale il tracciamento della testa non funziona in DEOVR. In altre parole, la compatibilità in alcuni punti si basa su soluzioni alternative come queste.

Terreno comune con il primo percorso
Tutto ciò che riguarda l'hardware vale per entrambi i metodi: cross-talk residuo, il requisito di un pannello veloce, la necessità di una sincronizzazione precisa degli occhiali. L'uscita stereo, gli emettitori, BFI e CRT Sim funzionano allo stesso modo indipendentemente da dove proviene la coppia stereo.