S3D & WibbleWobble

Per il giocatore curioso
Una descrizione di livello divulgativo della tecnologia, di come è costruita e di come funziona. Se non ti interessa, non c'è bisogno di leggerla - è materiale arido.

Come un gioco disegna il 3D
Il modo abituale per produrre un'immagine 3D in un gioco è renderizzare la scena due volte - separatamente per l'occhio sinistro e destro, spostando virtualmente la telecamera rispetto al centro della scena. Questo è dispendioso in termini di risorse e richiede il supporto integrato del motore di gioco. Non tutti i giochi possono farlo. WibbleWobble offre due percorsi diversi, e la differenza tra loro è fondamentale - determina sia la qualità dell'immagine che l'insieme degli artefatti visivi.

Percorso uno: ReShade Client - sintesi dello stereo da un frame piatto
Il gioco renderizza una singola vista ordinaria. L'effetto SuperDepth3D ReShade prende quel frame insieme al depth buffer della scena e ne ricostruisce un secondo punto di vista spostando i pixel in base alla profondità. Il motore di gioco non sa nulla dello stereo. Questo è economico in termini di prestazioni e funziona con quasi tutti i giochi DX11/DX12. Il compromesso sono gli artefatti inerenti al metodo stesso. Sono descritti di seguito, nelle sezioni "Svantaggi".

Percorso due: OpenVR Client - rendering 3D reale
WibbleWobble si registra in SteamVR come un visore VR virtuale. Un gioco compatibile con la VR, o uno con una mod VR, renderizza la scena due volte da due telecamere separate dalla distanza interpupillare, esattamente come fa un visore reale. IPD, risoluzione per occhio e lunghezza focale si impostano in VR Config. Qui WibbleWobble non sintetizza nulla: prende la coppia stereo già pronta e la invia allo schermo in sequenza di frame, sincronizzando gli occhiali a otturatore. Questo costa di più in prestazioni, ma la geometria 3D è assolutamente corretta. Niente buchi lungo i contorni, niente effetto "cartone"; ogni occhio riceve i propri riflessi e le proprie luci. In sostanza, questo è un modo per giocare ai giochi VR su un normale monitor con occhiali 3D ma senza visore.

Riproiezione - il meccanismo di espansione del campo visivo
La riproiezione funziona in entrambe le modalità, inclusa quella monoculare. Uno shader ad alte prestazioni prende il frame del gioco e lo mappa sulla geometria del tuo spazio di lavoro: su un singolo monitor, o quattro monitor, o uno schermo curvo. Tramite il tracciamento della testa (OpenTrack) l'immagine si sposta per seguire la tua testa, e i monitor iniziano ad agire come una finestra su un mondo virtuale - l'effetto "acquario VR". Lo scopo della riproiezione è ottenere la corretta scala del mondo e il corretto campo visivo (FOV) per l'uso multi-monitor. La riproiezione può essere disattivata completamente (Client Config -> Reprojection: Disabled) e puoi usare solo l'output stereo, BFI e l'upscaler - lo scenario abituale per un singolo display.
* Va detto che l'autore del progetto era eccessivamente ottimista riguardo all'idea di "espandere il mondo" su più pannelli. Persino le schede grafiche potenti non hanno prestazioni sufficienti per questo. Sarai fortunato se la velocità basta per un singolo display 4K. Non funzionerà con più display...

FOV (Field of View): l'angolo di visuale. Determina quale settore del mondo la telecamera virtuale cattura nel frame. Si misura in gradi, separatamente per verticale e orizzontale. Un FOV piccolo (40-50°) sembra un teleobiettivo: un settore stretto con oggetti grandi. Un FOV grande (100-120°) è grandangolare, come un'action camera. Vedi molto ai lati, ma i bordi sono allungati e gli oggetti appaiono più lontani e più piccoli. Questo è un parametro chiave in WibbleWobble. Il programma deve conoscere l'angolo con cui il gioco ha disegnato il frame per proiettarlo correttamente sul tuo monitor fisico. Ecco perché Game Config ha due campi, FOV Vertical e FOV Horizontal, con un requisito: il valore deve corrispondere a quello impostato nel gioco stesso. Cambia un valore e l'altro viene ricalcolato automaticamente in base alle proporzioni della finestra.

Se il FOV è:
troppo grande il mondo appare simile a un giocattolo e la scala degli oggetti è distorta
troppo bassa il mondo sembra gigantesco e tutto incombe su di te
in 3D la profondità si rompe insieme alla scala, e subentra l'affaticamento visivo

Head-tracking come "finestra sul mondo"
Utilizzando il metodo OpenTrack, il gestore dell'applicazione traccia la posizione della testa e sposta la proiezione in modo che il monitor renderizzi una finestra virtuale nella scena 3D. Questo crea un effetto parallasse. Quando muovi la testa, l'immagine si sposta leggermente, come se stessi davvero guardando attraverso una finestra.

Output stereo frame-sequential
L'applicazione riceve i frame dal gioco a una velocità variabile man mano che diventano pronti, "così come arrivano". Il client poi regola la frequenza dei frame per la riproduzione a 60 Hz. La fonte della coppia stereo può essere SuperDepth3D, una mod VR o contenuto 3D già pronto. WibbleWobble lo accetta in formato side-by-side o checkerboard (Client Config -> Source Format) e lo decodifica in FrameBufferDecode. Il renderer poi lo converte in un flusso frame-sequential a 120 Hz sincronizzando gli occhiali a otturatore. Sono supportati i seguenti emettitori: NVIDIA 3D Vision, Open3DOLED, proiettori DLP, 3D Ready e un emettitore IR Arduino/VESA fatto in casa.

Combattere il motion blur e il cross-talk
Il motion blur è la sfocatura prodotta dal display. I moderni pannelli LCD e OLED mantengono un pixel acceso per la durata del frame - la modalità sample-and-hold. Mentre il pixel resta acceso e fisso in una posizione, gli occhi continuano istintivamente a seguire l'oggetto in movimento. Di conseguenza, l'immagine si "striscia" sulla retina stessa, anche se ogni singolo frame sul display è perfettamente nitido. Più a lungo un pixel resta acceso, più forte è lo striscio. Il difetto nasconde i dettagli fini e degrada ulteriormente l'immagine in modalità 3D.

Per ridurre il tempo di accensione del pixel, WibbleWobble fornisce due strumenti:
Black Frame Insertion - inserimento di un frame nero tra quelli utili (il parametro Black Frame Insertion Interval in Client Config).
CRT Beam Simulator di Blur Busters - uno shader che imita la scansione del fascio di elettroni di un CRT: cancella l'immagine riga per riga anziché come frame intero. Dà un risultato migliore ma è esigente con il display: richiede gamma 2.2 o 2.4, ABL/APL disabilitato e OLED in modalità SDR. Su pannelli FALD e MiniLED funziona male a causa dell'inerzia della retroilluminazione.

Queste due modalità non devono essere abilitate contemporaneamente. Quando si utilizza CRT Sim, il parametro Black Frame Insertion Interval in Client Config deve essere zero. Vale la pena sottolineare separatamente che il gioco può girare a una velocità inferiore rispetto a quella con cui il display emette i frame, e il programma riempie i frame mancanti fino alla frequenza del display. Ma questa non è la generazione di nuove immagini intermedie - è una ripetizione di quelle già pronte. In altre parole, non c'è la fluidità che fornisce un metodo di ricampionamento.

Il cross-talk è l'effetto per cui l'immagine destinata a un occhio raggiunge parzialmente l'altro occhio. Di conseguenza, lo spettatore vede contorni doppi o "fantasmi" semitrasparenti accanto agli oggetti. Questo degrada la qualità dell'immagine 3D e riduce il senso di profondità. Per combatterlo, è integrato il supporto per Black Frame Insertion e il simulatore del fascio CRT di Blur Busters. Per una soppressione completa del cross-talk, viene usata una modalità intelligente: l'immagine del gioco è disegnata a 60 Hz, gli occhiali ricevono il sync a 120 Hz, e l'output sullo schermo gira a 240 Hz con ripetizione dei frame.

Nonostante tutti i suoi meriti, questo metodo ha limitazioni che vanno indicate separatamente. Non derivano da alcuna imperfezione del programma ma dal principio di funzionamento scelto. Il secondo punto di vista stereo non viene renderizzato dal modello della scena ma ricostruito da un fotogramma già finito e da una mappa di profondità. Se non ci sono dati su ciò che è nascosto dietro gli oggetti in primo piano nel fotogramma sorgente, non c'è modo di recuperarli.

Buchi ai bordi degli oggetti - disocclusione
Questo è il difetto principale del metodo. Quando il programma sposta il punto di vista per il secondo occhio o per una rotazione della testa, parte dello sfondo che era nascosto dal bordo di un oggetto in primo piano nel fotogramma sorgente dovrebbe diventare visibile. Ma nessuno ha renderizzato quei pixel - fisicamente non esistono. Il programma non ha nulla con cui riempire il vuoto, quindi o allunga i pixel del bordo, producendo un alone "gommoso" e sfocato lungo i contorni, oppure sostituisce una toppa "plausibile" ma di solito errata. Più forte è lo spostamento del punto di vista, più larghe sono le bande dell'alone. Questo non è un bug di implementazione ma una limitazione del metodo stesso: non puoi estrarre da una singola immagine ciò che è nascosto dietro gli oggetti e non visibile in essa.

Il movimento della testa amplifica le distorsioni
Nello stereo ordinario la distanza tra i punti di vista è piccola e costante - pari alla distanza tra le pupille. Ma con una "finestra sul mondo", la testa si sposta di decine di centimetri in varie direzioni, quindi lo spostamento relativo del punto di vista è molte volte maggiore di quello naturale, e i buchi e le sbavature diventano più grandi. Funziona così: resta fermo e non ci sono quasi artefatti, ma anche l'effetto 3D è debole; muoviti molto e l'effetto c'è, ma tutto lungo i bordi degli oggetti è sfocato e fluttuante.

La grafica si basa sulla mappa di profondità
Il programma ha bisogno di informazioni corrette sulla distanza di ogni punto della scena. Il gioco non sempre le fornisce, o non tutte. Le superfici trasparenti - acqua, vetro, fumo, fuoco, fogliame - di solito non hanno una profondità dettagliata, o il motore non la crea affatto. Di conseguenza, gli oggetti finiscono alla distanza sbagliata: l'acqua si incolla nel posto sbagliato, il fumo si sdoppia, le particelle restano sospese in aria in punti diversi. Inoltre, non tutti i giochi restituiscono un depth buffer compatibile - in alcuni è invertito, in altri è protetto e non può essere letto.

Riflessi e highlights si rompono di più
Specchi, acqua, asfalto bagnato e metallo sono definiti dalla profondità della loro stessa superficie, non da l'immagine riflessa in essi. Quando il punto di vista si sposta, il riflesso va alla deriva chissà dove. Se un highlight è "dipinto" sulla superficie, non si comporta come dovrebbe nel mondo reale. È proprio il contenuto lucido più appariscente che appare piatto e sbagliato in stereo.

Interfaccia, mirino e HUD
Gli elementi bidimensionali sopra il fotogramma - barre della salute, menu, il mirino - sono disegnati a profondità zero, quindi dopo l'elaborazione finiscono alla distanza stereo sbagliata. L'interfaccia o si incastra nello schermo o penzola davanti alla scena. Il mirino è un problema a sé; la sua posizione di profondità quasi sempre deve essere regolata a mano.

Un fotogramma per entrambi gli occhi
Entrambi gli occhi vedono la stessa immagine, solo spostata. Con un rendering stereo onesto ogni occhio riceve i propri highlights, ombre e rifrazioni corretti; qui questo non accadrà. Per questo, gli oggetti appaiono come strati piatti ritagliati dal compensato e disposti per profondità, piuttosto che come corpi volumetrici. Nel materiale in lingua inglese questo effetto è chiamato effetto "cardboard cutout".

Regolazione per gioco
Il campo visivo, l'intervallo di profondità e la convergenza sono impostati a mano per ogni gioco separatamente. Un errore dà o affaticamento degli occhi per convergenza eccessiva, o la scala sbagliata, dove il mondo sembra giocattoloso o gigantesco, o persino profondità invertita del tutto. Questa è una soluzione "regolala e capiscila", non una "installala e gioca".

Latenza e fotogrammi irregolari
Il gioco renderizza i fotogrammi in modo irregolare, e il client li adatta agli fps stabili del display ripetendo fotogrammi già pronti. La ripetizione in sé non introduce distorsione, ma la latenza tra azione e immagine si accumula: cattura del fotogramma, elaborazione, output. Per il head tracking, qualsiasi latenza di questo tipo si avverte come un "fluttuare" della scena. Game Config ha un parametro Frame Capture Delay per questo, per regolare il momento di cattura.

Cross-talk residuo e requisiti elevati del monitor
Tecniche software - inserimento di fotogrammi neri e la modalità 60/120/240 - sopprimono il ghosting, ma non lo eliminano completamente, perché la diafonia è determinata da molti fattori: la fisica del pannello del display e degli occhiali stessi. Dipende dal tempo di risposta dei pixel, dalla velocità di commutazione, dal contrasto delle lenti degli occhiali e dalla frequenza di aggiornamento verticale dello schermo. Inoltre, la modalità più aggressiva richiede un pannello veloce a 240 Hz con breve persistenza dei pixel, cosa che non tutti gli utenti hanno. A differenza di NVIDIA 3D Vision, ReShade non riproduce un volume già pronto ma lo sintetizza da un fotogramma piatto. Ecco perché i buchi lungo i contorni, i riflessi errati e i bordi fluttuanti sono artefatti stabili del metodo, non un difetto temporaneo.

La geometria stereo qui è onesta, e nessuno degli artefatti di sintesi dell'immagine - disocclusione, "cartone", riflessi rotti - è presente qui. Ma anche questo metodo ha il suo costo, ed è diverso.

Il gioco deve supportare la VR
Questa è la limitazione principale. Il metodo non funziona con un gioco arbitrario: richiede o un supporto VR integrato o una mod VR. Se non esiste una mod pronta, il percorso OpenVR non funzionerà, e rimane solo ReShade con tutti i suoi artefatti. In altre parole, l'ampia compatibilità per cui esiste il primo percorso qui è completamente persa.

Doppio carico sulla scheda grafica
La scena viene davvero renderizzata due volte, da due telecamere. Non c'è nessun risparmio che la riproiezione di una singola vista fornisce: le prestazioni calano proprio come nella VR reale. Questo è in parte compensato dall'impostazione Risoluzione in VR Config - la risoluzione per occhio può essere abbassata, e WibbleWobble scalerà l'immagine alla risoluzione del display.

Installazione complessa
SteamVR deve essere installato. Il driver viene registrato tramite Install.bat con diritti di amministratore, dopodiché due righe devono essere aggiunte manualmente al file config\steamvr.vrsettings: "forcedDriver": "WibbleWobbleVR" e "activateMultipleDrivers": "true". Poi completa Room Setup in modalità STANDING ONLY. Un errore in qualsiasi passaggio e, invece dello stereo, ottieni uno schermo nero senza un messaggio chiaro sulla causa.

Limitazioni di OpenVR stesso
Alcune impostazioni non possono essere modificate al volo. Se cambi la risoluzione o la frequenza di output, è necessario un riavvio di SteamVR. Questa è una limitazione della piattaforma, non del programma, ma rallenta notevolmente la messa a punto dei giochi.

L'ottimizzazione del rendering rompe alcuni giochi
VR Config ha un parametro Optimise Single Eye che consente di renderizzare solo un occhio o entrambi a metà FOV. L'autore del progetto avverte direttamente: la modalità "Both" è la più problematica - sono possibili vignettatura e desincronizzazione degli occhi, e l'immagine può "spostarsi". In alcuni giochi l'ottimizzazione dovrà essere disattivata completamente.

Lotta per il focus della finestra
Alcuni giochi non cedono il focus all'interfaccia di WibbleWobble: la combinazione di tasti SHIFT + END non si attiva, o l'interfaccia utente viene disegnata ma non può essere controllata. Devi passare manualmente tramite ALT + TAB. Un problema separato: la finestra di WibbleWobble non deve essere chiusa - il programma non si riprende dopo, e il gioco dovrà essere riavviato.

Ricentralizzazione a ogni avvio
Il tracking deve essere centrato manualmente (SHIFT + .) ogni volta all'avvio, posizionato esattamente al centro dell'area di lavoro davanti agli schermi. Se la testa non era lì durante la centratura, la riproiezione inizia a comportarsi in modo strano e la scala "va alla deriva". Per ammissione dello stesso autore, centrare la posizione corretta richiede pratica. Questo potrà essere risolto in seguito utilizzando un software di tracking più intelligente.

Particolarità delle singole applicazioni
Alcuni programmi funzionano solo con determinate marche di visore. Per essi, VR Config ha un parametro di Identificazione Visore che fa sì che WibbleWobble si presenti come un dispositivo diverso - Vive, per esempio - senza il quale il tracking della testa non funziona in DEOVR. In altre parole, la compatibilità in alcuni casi si basa su espedienti come questi.

Punti in comune con il primo percorso
Tutto ciò che riguarda l'hardware vale per entrambi i metodi: il cross-talk residuo, la necessità di un pannello veloce, l'esigenza di una sincronizzazione precisa degli occhiali. L'output stereo, gli emettitori, il BFI e CRT Sim funzionano allo stesso modo indipendentemente da dove provenga la coppia stereo.