HFR – UHD-teknologien som man sjældent hører om
Hvis du har fulgt med i udviklingen af Ultra HD TV-teknologi, så husker du måske, at der grundlæggende er seks søjler:Mange af ovenstående teknologier er nået ud på markedet. Tager man ud i en elektronikbutik vil man finde 4K TV med HDR, WCG (større farverum), deep color (10-bit farver) og Dolby Atmos-soundbar (eller Atmos via ekstern receiver). Produkterne er ikke engang specielt dyre længere. Den manglende brik? HFR, eller høj billedfrekvens. Det er formentlig det aspekt af Ultra HD, som der er mindst klarhed omkring hvad angår fordele og teknisk virkemåde - af forbrugere såvel som den kreative branche. Selv forskning på området er mangelfuldt. Det er sandsynligvis også den mest kontroversielle af de seks UHD-teknologier. Mange misforståelser florerer, så hermed et forsøgt på at kaste lys over emnet; hvad vi ved og hvad vi ikke ved.
- UHD eller Ultra HD opløsning – 4K eller 8K
- HDR eller High Dynamic Range
- WCG eller Wide Color Gamut
- Deep color
- HFR eller High-Frame Rate
- NGA eller Next-Generation Audio
HFR til film
Hvad menes med HFR? Det afhænger af, hvem man taler med. Når emnet omhandler film, så bliver alt over 24fps (billeder per sekund) kaldet HFR. Det er ikke særligt udbredt. Antallet af højprofilerede film med HFR kan tælles på en eller to hænder. Først fik vi Peter Jacksons Hobbitten-trilogi, som er optaget i 3D ved dobbelt billedfrekvens på 48fps. Sidenhen har instruktør Ang Lee taget næste skridt med Billy Lynn’s Long Halftime Walk, der er optaget i 120fps, og Gemini Man med Will Smith, som er optaget i 120fps og 3D. Sidstnævnte film blev fremvist på forskellige måder: 2D-biografer fremviste den i 24fps; 3D-biografer i 60 eller 120fps, afhængigt af deres udstyr. Det er der en årsag til. Ang Lee tog high frame rate i brug for at overvinde udfordringer, der relaterer sig direkte til projektion af 3D-billeder ved 24fps - lysblink og flimmer, ligesom Peter Jackson gjorde det. James Cameron har en lidt anden tilgang til emnet og foretrækker at benytte 120fps i visse scener af 3D-film for at undgå hakkende bevægelser i de scener, hvor der panoreres eller hvor der er sidelæns bevægelse. HFR til film er en teknik, som skiller vandene. Nogle elsker det, mens majoriteten af seere (jeg har ikke konkrete tal) lader til at hade det. 24fps er hellig.Men hvorfor egentligt? Tjo, en del af forklaringen er nok tilvænning. Denne video forklarer på simpel vis, hvorfor billedfrekvens i film blev fastsat til 24fps og hvorfor det har hængt ved. Men hvis flere pixels og flere farver og flere bits per farve og flere lydkanaler er godt, hvorfor er flere billeder per sekund så dårligt? Fører det ikke til øget realisme? Jo, det gør det, og det er netop derfor, at det kan være dårligt for film. Realisme er sjældent pointen - tværtimod. Emnet drager paralleller til analoge, kemiske filmkorn i billedet. Visse seere bryder sig ikke om det, men ligesom 24fps billedfrekvens så er det noget, som vores hjerner er blevet eksponeret for i næsten 100 år. Selvom de fleste af os ikke bevidst bemærker det, så registrerer vores hjerner det underbevidst og forbinder det med at se en film, eller en episk fortælling. Det bidrager til vores 'suspension of disbelief' og sætter vores hjerne i 'filmtilstand'. Det kan være med til at trække os ind i en fortælling. Nogen omtaler 24fps som ‘dream-like cadence’ - drømmeagtig kadence. Øget realisme kan bryde denne trylleformular. Som en biografgænger kortfattet sagde: “I didn't see Gandalf et al - instead I saw a load of actors dressed up in some odd costumes.” Billy Lynn og Gemini Man fremtvang mange lignende reaktioner på sociale medier. Nogle seere sammenligner det med hjemmevideo skudt på et GoPro-kamera eller en smartphone, eller “like a videogame”. Andre kalder det 'Soap Opera'-effekten (dog lidt misvisende) med henvisning til den ofte kritiserede motion smoothing - bevægelsesudglattende - effekt, som kan aktiveres på TV-skærme.
Instruktør Ang Lee filmer ‘Gemini Man’. Billede: Paramount
Der er imidlertid stadig mange ubekendte ift. hvordan vores hjerner opfatter billedfrekvens og bevægelse. Mere videnskabelig forskning på området vil givetvis have berettigelse.
Ian McKellen som Gandalf i ‘The Hobbit: The Battle of The Five Armies’. Billede: Warner Brothers
- Hvordan kan det være, at vi (i hvert fald mange af os) beskuer 24fps billedfrekvens uden at blive generet af 'judder' (billedhak)?
- Er vores hjerner blevet trænet til at opfatte 24fps som 'episk', hvorimod 50/60i eller 50/60p nedbryder forestillingen og sætter os i 'soap opera' tilstand?
- Omvendt har vi videospil, der i stigende grad underbygges af historiefortælling, hvor High Frame Rate tydeligvis giver fordele, som brugere tilsyneladende sætter pris på. Så oplever folk, der spiller videospil i HFR (120fps eller højere) billedfrekvens i film på en anden måde end andre personer?
- Forudsat at 'soap opera'-effekten findes, så må der også findes en omvendt soap opera-effekt, hvor tv-indhold konverteret fra 60fps til 24fps pludselig begynder at fremstå mere episk? Hvad der synes at støtte op om dette er, at en hyppigt anvendt teknik i dækning af sportsudsendelser er at beskære billedfrekvensen til 24, 25 eller 30fps, beskære billedet til bredformat (sorte bjælker i top og bund) og bruge dramatisk musik, når man vil have et sammendrag til at fremstå mere episk.
- Har billedfrekvens betydning for traditionel cel-animationsfilm, og i så fald hvorfor?
- Ved hvilken billedfrekvens over 24fps begynder magien at falme? 25? 30? 48? 60? Anekdotiske beretninger (de tre Hobbitten-film) synes at indikere, at 48fps ændrer på, hvordan vi opfatter billedet, men hvor går grænsen?
- Selvom sæbeoperaen aldrig er i 3D, så lader 3D ikke til at bidrage til 'suspension of disbelief' eller til at få noget til at fremstå mere episk. Måske tværtimod. Er det fordi 3D øger realismen, ligesom HFR eller fraværet af filmkorn i billedet kan gøre det?
- Tillæres dette? Ville en person fra en anden kultur, som aldrig har været i biografen, eksempelvis opleve billedfrekvens på en anden måde?
Konvergerende teknologier
Det er vigtigt at huske på, at Hollywood-film stadig laves og optimeres til biografen. Det tekniske fundament under biografer guider filmproduktionen og således vil mange af "sandhederne" i Hollywood have udspring heri. Arbejdsgange og holdninger kan ændre sig, hvis hjemmeunderholdning - 'home entertainment'-segmentet - pludselig vokser sig langt større end biografsegmentet, hvilket faktisk allerede begyndte at ske i 2018 og 2019 - og nok i mere dramatisk grad i 2020. Filmproduktion optimeret til TV-fremvisning vil givetvis se anderledes ud end filmproduktion optimeret til biograf-fremvisning. Det, der fungerer godt i biografen, fungerer ikke nødvendigvis godt på en TV-skærm. Forskning fra Dolby Labs viser, at højere lysstyrke gør judder - hakkende video - mere udpræget. Det samme gør højere kontrast. Hvad der fremstår velfungerende i SDR (Standard Dynamic Range) hakker for meget i HDR, så kolorister ender med at gøre HDR-film mørkere for at modvirke effekten, hvilket ikke er formålstjenligt. Undersøgelsen viser også, at ved 50 nits - den typiske lysstyrke ved traditionel biografprojektion - er 24fps en velfungerende billedfrekvens hvorimod ved 1000 nits - hvilket nu er muligt på selv relativt billigere HDR TV - ville 32fps være foretrukket. Selvom tv-sening først er kommet til flere årtier efter biografen, så har de to segmenter udviklet sig parallelt med hinanden, og gennemgået mange af de samme innovationer. Film gik fra stumfilm til tonefilm, fra sort/hvid til farve, fra mono til stereo til digital surround sound (Dolby, DTS, SDDS, til at starte med alle på optisk film) med et stadigt stigende antal lydkanaler. Disse ændringer har være åbenlyse, men har fulgt en evolutionær sti. I senere tid har man i biografsegmentet set nyskabelser, der er store teknologiske ændringer, men som foregår bag lærredet og kun er ganske subtile fra seerens synspunkt; fra kemisk film til digital projektion, med film distribueret på harddiske i patroner og sandsynligvis også via onlinedistribution inden længe. Det næste store skridt for biografer bliver formentlig også det mest drastiske i et århundrede: fra projektion på et sølvlærred til 'direct view' skærme. Der er naturligvis ikke tale om billedrør, LCD eller OLED men derimod ægte LED-skærme. Disse vil muliggøre langt højere lysstyrke, kontrast og dynamik i biografer. I praksis vil det bringe biografer op på siden af moderne TV-skærme - biografer er i dag er bagud på opløsning, dynamikområde og lysstyrke - men naturligvis i langt større format. Det vil også give biografer fleksibilitet til at anvende højere billedfrekvens, men om det vil finde bred anvendelse er tvivlsomt med ovenstående overvejelser in mente kombineret med en generelt konservativ filmbranche. Læs også: HDR i biografen kan kræve opgør med traditioner Skiftet vil også åbne døren for nye deltagere. Samsung, der aldrig har engageret sig i biografprojektion, har lanceret sin ‘Onyx Cinema LED’ teknologi – 10 meter store skærme med ægte 4K 4096x2160 opløsning. De første biografer blev installeret i 2017 med Lotte Cinema World Tower i Seoul, Paragon Cineplex Theatre i Bangkok, Pacific Theatres Winnetka i Chatsworth, Californien, lige nord for Los Angeles, Pathé Beaugrenelle i Paris, Sambil Leganés i Madrid, og Shoudu Cinema i Beijing. Samsungs Onyx Cinema LED-skærm
Muligheder med Samsungs ‘The Wall’ MicroLED TV
HFR til tv-indhold
Hvis det kun er manuskriptdrevet, skuespilsbaseret indhold, at lav billedfrekvens har betydning, er høje billedfrekvenser så bedre, når realisme har betydning, f.eks. til naturdokumentarer og live-sport? Meget peger i den retning. HFR løfter her oplevelsen af 'tilstedeværelse' på en god måde. Men inden vi kommer nærmere ind på det, så lad os lige vende tilbage til definitionen af HFR. Transmitteret live-tv, eller broadcast tv, leveres i en række opløsninger i dag. Tendensen peger opad, men ikke meget. En relateret tendens er, at vi langsomt men taktfast er ved at få interlaced video udfaset, hvor 'fields' (halve frames med kun de ulige eller lige billedlinjer) vises på skift. Der er bestemt stadig en del 50i eller 60i indhold i 1080p HD-opløsning, men i Ultra HD er kun progressiv (p'et i f.eks. 2160p) video tilladt. Forskellige niveauer af billedfrekvens er tilladt (inklusive brøkdele af billedfrekvenser), men 50p og 60p betragtes ikke som HFR - blot Standard Frame Rate (SFR). Når organisationer som Ultra HD Forum taler om High Frame Rate så mener de som minimum det dobbelte - 100 eller 120fps og derover. Hvad driver den (meget langsomme) overgang mod højere billedfrekvens? Er det et fjollet kapløb, ligesom nogen vil mene, at opløsning (4K, 8K) er blevet? Ikke helt. Selv hvis seerne ikke ønsker HFR i film, så giver det helt afgjort fordele andre steder. Først og fremmest kan man spørge, hvorfor vi rykker mod højere skærmopløsning? Blot fordi TV-producenter kan og fordi opløsning kan være med til at presse prisen på TV-skærme opad? Nej, der ligger mere bag tendensen end blot at skubbe ny teknologi ud. I årtier har tendensen været, at forbrugere køber større og større TV. Det er en temmelig konstant tendens, og den gennemsnitlige diameter vokser med 1 tomme per år på tværs af alle territorier, om end gennemsnittet varierer fra region til region. Afstanden til TV'et ændrer sig derimod ikke synderligt. Stuer (hvor der også er variationer geografisk) er ikke blevet markant større i perioden. Det er derfor, at vi har brug for flere pixels. Med højere opløsning stiger risikoen for sløret bevægelse i video. Med 8K er bevægelsesslør i særdeleshed synligt. Til sport i 8K-opløsning, f.eks. OL, vil det næppe være formålstjenligt at fremvise indholdet i billedfrekvenser på under 100fps. Den japanske public service-pendant til Danmarks Radio, NHK, har sagt, at de vil transmittere dele af OL i 8K, men de ikke kommenteret på, hvilke sportsgrene, der er omfattet.Udfordringerne med HFR
Mens optagelse, indspilning og transmittering af video i HFR er relativt ligetil (mere ligetil end HDR) så er der en komplikation: Hvordan sikrer man bagudkompatibilitet med Standard Frame Rate TV-skærme og transmissionssystemer? På nuværende tidspunkt er der to tilgange, som omfattes af hhv. DVB og ATSC tunerstandarderne. I Europa bruger vi DVB, mens USA bruger ATSC. Her bliver det mere teknisk. De to fremgangsmåder har et aspekt til fælles: Begge bruger en teknik kaldet temporal sublayering til bagudkompatibilitet fra HFR til SDR. ATSC har valgfri temporal filtering til at forbedre billedet i SDR, når temporal sublayering tages i anvendelse. Den tekniske forklaring fremgår af tabellen (på engelsk).HFR: DVB and ATSC - temporal sublayering
How does this work? In ATSC and DVB both, PID (program ID) = 0 is the SFR version, and PID = 1 is the HFR enhancement element, to be used along with PID 0 to reproduce the HFR version. In DVB, it actually wouldn’t matter which PID you viewed, they are just the odd and even frames, so each represents a half-frame rate feed, with just a slight timing offset. In ATSC, the frames are a bit different. The frames in PID 0 are a weighted sum of the odd and even frames of the HFR signal. The result is that the PID 0 content has an artificial motion blur. The HFR camera needs a 360 degree shutter (i.e., photons are being captured essentially 100% of the time; the camera doesn’t blink). The contents of the PID 1 frames are the weighted difference between the two signals. The trick here occurs in the receiver: As in DVB, if you don’t know better, show PID 0, you’ll get a usable SFR signal with full motion blur (depending on the weightings). If you do know better, you recover consecutive HFR frames by summing and differencing the two PIDs frames to reconstitute the original odd & even frames of the HFR. |
High Frame Rate er særligt gavnligt til sportsindhold. Billede: Ultra HD Forum
HFR i praksis
Så kan man gå ud i en butik og købe en HFR-skærm i dag? Et område, hvor HFR kan blive en fordel er indenfor videospil. Nuværende high-end gaming-PC'er samt de kommende PlayStation 5 og Xbox Series X, niende generation af spilkonsoller, er (eller vil være) i stand til at udsende HFR. PC-monitorer kan allerede modtage videosignaler i HFR. High Frame Rate er et af de få tilbageværende områder, hvor monitorer stadig har et forspring til TV-skærme. De fleste PC-monitorer formår derimod ikke at præsentere HDR, god kontrast, kraftigt højlys, bredt farverum eller høj opløsning. Så selvom TV-skærme som regel ikke overstiger 60fps (påstande om 120Hz, 240Hz osv. er ofte overdrevet marketing), så kan PC-monitorer til gaming efterhånden snildt håndtere 144fps, 165fps eller sågar 240fps. Udviklingen på monitorområdet er et talræs, hvor producenterne forsøge at holde trit med grafikkort. Hvorvidt det menneskelige øje kan registrere forskellen på 144fps og 240fps er et åbent spørgsmål. Mark Rejhon, grundlægger af Blurbusters, argumenterer dog for "retina refresh rate" på over 1000fps baseret på forholdsvis omfattende forskning, som han har foretaget. HFR demonstration (med HLG HDR) af LG / EBU / 4EVER Project under IFA 2016
4K HFR spil på 2020 LG OLED TV
Billy Lynn’s Long Halftime Walk. Billede: 20th Century Fox
Yderligere læsning
Du kan finde flere fakta og læse indtryk af Hobbitten her på siden. Du kan også læse om efterspillet. Der er skrevet mange artikler om Ang Lees film og længe før internettet udførte Douglas Trumbull – den ansvarlige for visuelle effekter i klassiske film som 2001: A Space Odyssey, Close Encounters of the Third Kind, Star Trek og Blade Runner – mange eksperimenter med HFR. Denne artikel om hans film Brainstorm giver et godt indblik i sagen. Trumbull og Cameron var begge foredragsholdere ved 2012-udgaven af Siggraph under en seance om HFR i biografen. Det kan du læse mere om her.Standarder refereret
Yoeri Geutskens dimitterede i Industrial Engineering & Management Science med en afhandling om videospilsindustrien. Han har været Philips’ interne observatør for spilindustrien i over et årti samt arbejdet hos Philips Optical Storage og Philips Consumer Electronics med produktudvikling af DVD-optagere og Super Audio Cd-afspillere. I den rolle samarbejdede han med Sony i forbindelse med standardiseringen af Blu-ray Disc formatet. Hos NXP Semiconductors var han Business Creation Manager for videospilsindustrien. Yoeri er også forfatteren af PS3 SACD FAQ samt de to 4K/UHD og Ultra HD Blu-ray twitter-brugere. Han har spillet videospil siden første generation af spilkonsoller. Den første konsol, som han ejede, var Odyssey 2100.