Rasmus Larsen skrev: ↑7. sep 2023, 07:14I praksis indebærer, at skærmen kører udenom sine videodedikerede kredsløb. Dvs. at zonestyring så godt som deaktiveres på LCD TV.
Ahh, ja det giver mening - min blinde vinkel da jeg som reglen skyer den slags TV som pesten og generelt helst går uden om enhver slags unødvendig videoprocessing i skærmen.
Hvis I er nysgerrige på selv at læse de lækkede dokumenter (der er mange...), så sig til. Det kræver et krumspring, men de ligger offentligt tilgængelige.
Det bliver enten x86 (x64) eller ARM. De to CPU-instruktionssæt kan ikke kombineres, og reelt er x86-baserede processorer jo i praksis et sammensurium af flere ting, for at sikre bagudkompatibilitet. Samme bagudkompatibilitet gør dem lidt tungere end de kunne være.
Deres tanker vedr. NPU er også interessante. Jeg har nævnt NPU'er før i forumdebatten, og jeg tror, at NPU'en kommer til at spille en væsentlig større rolle ift. spilbrug i fremtiden. Der kan afvikles nogle AI-modeller på dem, som kan løfte spillets 'virkelighedssans' markant, men allerede nu ser jo så småt NPU'en anvendt til opskalering i spilmotoren.
Rasmus Larsen skrev: ↑19. sep 2023, 12:20Det bliver enten x86 (x64) eller ARM.
Ja, og det bliver næppe heller en Zen 6 hvis de overhovedet fortsætter med x86-64, da man jo regner med Zen5 inden for det næste halve års tid og Zen 6 omkring 1 til max 2 år derefter. Så tænker at "Zen 6" må være et placeholder-navn hvis konsollen først skal udkomme i 2028.
Rasmus Larsen skrev: ↑19. sep 2023, 12:20Deres tanker vedr. NPU er også interessante. Jeg har nævnt NPU'er før i forumdebatten, og jeg tror, at NPU'en kommer til at spille en væsentlig større rolle ift. spilbrug i fremtiden. Der kan afvikles nogle AI-modeller på dem, som kan løfte spillets 'virkelighedssans' markant, men allerede nu ser jo så småt NPU'en anvendt til opskalering i spilmotoren.
Enig - Forventningerne helt generelt til AMD er at de fra RDNA5 og op (her er der også noget skævt mht 2028) reelt begynder at konkurrere med Nvidia på NPU accellererede AI-funktioner - f.eks. opnå samme kvalitet på opskaleringen som DLSS og XeSS. Det virker også HELT oplagt at næste konsolgeneration sådan for alvor skulle begynde at inddrage mere omfattende raytracing i forhold til det delvise og oftest meget tynde og næsten ligegyldige lag der kan implementeres i dag, formentlig ligefrem full-RayTracing/pathtracing, som så på det seneste er blevet vist at man kan få voldsomt op i niveau og kvalitet via AI algotimer, ifbm hvad Nvidia har døbt DLSS 3.5. (Jævnfør DLSS 3.5 videoerne af Alan Wake 2 og Cyberpunk).
Pathtracing i spillenes afvikling på på næste konsolgeneration, vil så også samtidig kun gøre AI opskalering fra lavere-end-outputopløsning endnu mere relevant. Til den tid vil AI-baserede NPC efter alt at dømme også spille en større rolle. Så det er på flere måder imho næsten svært at forestille sig next-gen konsollerne uden NPUer i arkitekturen.
AI's rolle i forhold til Full-raytracing/Pathtracing har man for nogle uger siden allerede set eksempler på i forhold til bl.a. Alan Wake:
...Og så så sent som for blot få timer siden, er der i dag yderligere kommet disse 2 videoer om det med AI og Pathtracing:
Inkl denne som kun 2 timer gamle video (jeg har endnu ikke haft chancen for at set den selv - Endnu!) men for dem der har interesse i sagen har Alex fra DF samlet et round-table, med bl.a. både CD projekt reds art-director og Nvidia's Vice Precident of deep learning reachearch til drøftelser om hvad AI har af rolle i forhold til pathtracing og hvad man ser i horisonten i forhold til AI's retning i fremtiden angående dens rolle i forhold til spil. Selv om jeg i skrivende stund endnu ikke selv har set videoen, kan jeg ikke forestille mig andet en at det er en interessant snak for alle med interesse i de aktuelle tanker angående både status og fremtid og indirekte deraf, hvad vi også vil kunne forvente i den forbindelse på næste konsol-generation, som det imho er svært at forestille sig ikke skulle have NPU's.
Rasmus Larsen skrev: ↑19. sep 2023, 12:14
Hvis I er nysgerrige på selv at læse de lækkede dokumenter (der er mange...), så sig til. Det kræver et krumspring, men de ligger offentligt tilgængelige.
Dokumenterne er fjernet fra rettens hjemmeside igen. FTC har til gengæld været ude og sige, at det er Microsoft selv, som har stået for at uploade de pågældende dokumenter. Av.
Torben: Jeg vil prøve at finde tid til at se videoerne. Takker.
Steadi: Det var en ret skør situation. Der lå en hoved-PDF med flere overstregede tekstpassager. Jeg var faktisk ikke klar over, at man kunne, men det er åbenbart muligt at vedhæfte dokumenter i en PDF. Der lå knap 20 ekstra PDF'er som vedhæftninger med alt fra interne præsentationer og planer til emailudvekslinger mellem de øverste bosser. Ingen af disse vedhæftede filer var låst eller på anden måde gjort ulæselige for udenforstående.
At åbne de vedhæftede filer kræver, at man bruger f.eks. Adobe Acrobat Reader eller PDF Expert.
Rasmus Larsen skrev: ↑20. sep 2023, 06:45Torben: Jeg vil prøve at finde tid til at se videoerne. Takker.
Nu fik jeg selv set den lange af dem, så der kan jeg måske spare dig lidt. Det var primært fortællingen om Nvidia's rejse med AI i forhold til spil frem til og med det primære fokus på det seneste skridt med AI Ray-Reconstrucktion (a.k.a. DLSS 3.5) og så CD Project Red's rejse og erfaringer udviklingen med Cyberpunk i relation der til. Der var bred konsensus om at træningen af neurale AI netværk, inden for alle felter det har været taget i brug har kunnet give bedre og mere effektive resultater end mennesker selv er i stand til at konstruere og tweake sig til. Man ser traditionel rendering og AI kommer til at komplementere følge hinanden hånd i hånd mange mange år frem, men at AI i den forbindelse vil få en større og større rolle at spille - ikke blot mht grafik, men i forbindelse med både spils rendering, textures, NPC's og reaktioner på spilleren. Man ser i spilbrancen ikke AI som en krykke der gør udviklerne for dovne til at optimere, men lige som andre etablerede teknikker og værktøjer (hvor man i kunne gøre nøjagtig samme anklage) som et værktøj der giver muligheder man ikke i praksis ville have haft uden (aktuelt, spil i real-time med pathtracing)
Mht fremtiden forventer man at AI får større rolle at spille mht rendering, der blev bl.a. fremhævet et eksempel fra 2018 hvor en model havde lagt grafik og teksturer ind på en eksisterende meget grov/simpel bil-navigering, hvor bygninger, biler mv slet ikke havde nogle texturer, som et eksempel på hvordan AI kunne både skabe og forbedre texture kvalitet. Der var også eksempel på hvor dan texture kvalitet kunne løftes radikalt igennem en grundlæggende arikitekturs identiske hardwarekræfter via AI texturekompression) og fyren fra Nvidia mente ligefrem at der med integreringen af AI til at give mere troværdigt liv til karakterer mv i spillene ville opstå en ny type media som lag oven på hvad vi i dag forstår som spil, i den længere række af medieudviklinger set i takt med den teknologiske udvikling fra bog, radio, TV/film og spil hvor de efterfølgende medier til en vis grad hviler på og arver noget fra de foregående.
Så mens den lange video er hyggelig for folk med tilstrækkelig tid og interesse til at hygge med at se en panel-samtale om emnet, er den ikke at regne som "essentiel" - Man kan i hvert fald spare meget tid ved bare at se de to første 'demo-videoer', ovenfor hvis man alene bare se spil-status i praksis anno 2023 ifbm. Pathtracingen der muliggøres af AI og så i stedet for at se den lange om AI modellers progression og fremtidsspekulationerne, kan man i stedet se nedenstående, hvis man alene vil høre om hvad man har trænet AI'en til vedrørende den seneste offentligt tilkomne Ray-Reconstruction, til løft af lyskvaliteten i spil
Ift. NPU og gaming så sad jeg også lige med en artikel om Apple TV. Her bruges NPU'en i Apple TV 4K (2022) til at genkende mennesker foran skærmen (via iPhone-kamera) og udskifte baggrunden (til karaoke) samt til at genkende håndtegn såsom thumb up.
Det er bare et gæt, men mon ikke det også har en gaming-vinkel i nær fremtid: Spil der kan styres kun vha. af hænderne og kropsbevægelser. En slags mere avanceret Wii uden controllere. Tilsvarende scenarier kan man forestille sig mht. stemme-input/output, hvor personens egen stemme kan ændres i chatten og på lang sigt måske endda indgå i selve spillet sammen med spillets AI-styrede karakterer.
Rasmus Larsen skrev: ↑20. sep 2023, 11:39Det er bare et gæt, men mon ikke det også har en gaming-vinkel i nær fremtid: Spil der kan styres kun vha. af hænderne og kropsbevægelser. En slags mere avanceret Wii uden controllere. Tilsvarende scenarier kan man forestille sig mht. stemme-input/output, hvor personens egen stemme kan ændres i chatten og på lang sigt måske endda indgå i selve spillet sammen med spillets AI-styrede karakterer.
Det er også en retning jeg tror man på sigt vil begynde at se integreret i spil, måske lidt længere ude i fremtiden end f.eks. tiden der skal til før pathtracing slår igennem - jeg tror dog mere på en slags kombination til at starte med - hvor vi en rum tid endnu vil se at spillet stadig styres af mus, keyboard [vr]controllere, et rat, flight-sticks mv af den slags, men at spil gradvist og ud i fremtiden vil begynde at genkende og respondere på gestik, stemmekommandoer, ansigtudtryk, kropssprog, pupilstørrelse, åndredræt, puls, microexpressions mv - der er alt sammen noget der ville kunne integreres og dynamisk responderes på via AI algoritmer.
Jeg tror dog det især bliver igennem VR og VR spil at vi kommer til at se den slags først. Jeg kan selv huske for flere år siden at have spillet Star Trek Bridge Crew i VR, hvor man f.eks. kunne give kommandoer via stemmen (Drevet IBM's Watson) som det var sværere og langt omstændigt at aktivere med VR-controllere. Jævnfør både Meta's VR sæt og Apples kommende Vision så responderer de allerede på og kan styres med hand-gestures - og bl.a HTC's og Sony's eksisterende VR sæt benytter også for længst eye-tracking, noget som i der i fremtiden også ville kunne udbygges på i spil, både i forhold til at spillet vil kunne reagere ihht hvor spilleren kigger hen og hvordan spilleren ubevidst responderer med pubilstørrelse mv.
De to udfordringer jeg ser i forbindelse med udbredningen er 1: Etableringen af trackende infrastruktur ud over VR i forhold til spil uden for VR og 2. Mht tracking, en tracking der er mm-præcis nok til at man f.eks. kan bruge f.eks. et virtuelt tastatur på skærmen eller samle en knappenål op i et spil, som vil kræve større præcision end bare at styre et interface, bladre og og flytte vinduer mv - Det kan sagtens lade sig gøre ifbm VR, der eksisterer teknologien for så vidt allerede, men uden for VR vil det både kræve en ny infrastruktur samt en installation af en sådan via peripherals der er præcise nok til måske i relativ mørke og uden f.eks. handsker der gør det lettere at tracke hænder præcist nok via udsendt lys, hvis man ville kunne undvære keyboard, mus og controllere til mere præcise bevægelser i non-vr spillene. Men man kan sagtens forestille sig at det også vil komme - sikker sideløbende eller lidt efter at NPC's bliver gjort mere realistiske og dynamisk responsive via AI, selv om selve registreringen af bevægelser og diverse autonome funktioner egentligt har mere med traditionel teknologi at gøre.
__________________________
Edit 21.09.2023
Mht den tidligere omtalte AI-Rayreconstruction er der kommet denne Cyberpunk relaterede artikel https://wccftech.com/nvidia-dlss-3-5-ra ... ing-on-pc/ , hvor der nederst i kommentarerne også er fastgjort nogle linkst til sammenligningbilleder ...Man skal bare manuelt selv sætte drop-down til "RayReconstruction".
Man har virkeligt ramt nogle substantielle forbedringer med den AI-baserede Rayreconstruction
Yderligere et par eksempeler, hvor det er pathtracing vs pathtracing med Ray-Reconstruction:
EDIT 23/09-2023:
FSR 3 udkom til PC i går og er på vej til konsollerne. Særligt ifht XBox er implementeringene ligetil. I praksis betyder det at man kan forvente flere 120 fps titler på konsollen, idet 60 fps modes hurtigt kan frameinterpoleres til 120 fps på skærmen.
Frameinterpolation på det spilafviklende medie er bedre end i TV'et - ikke alene fordi latencypenalty er bedre, men også fordi det kan gøres bedre med adgangen til at kunne gøre brug af temporale spildata såsom bevægelsesvektorer https://community.amd.com/t5/gaming/fir ... a-p/626581 - bevægelsesvektorer er de data der repræsenterer forskellen mellem den nuværende og den forrige frames visningspositioner, hvilket er af betydning for en mere nøjagtig repræsentation af objektbevægelser og positioner. FSR3 gør dog ikke brug af z-buffer (dybdebuffer - anvendes i computergrafik til at repræsentere dybdeinformation om objekter i 3D-rum fra et bestemt perspektiv) som f.eks. DLSS gør det. FSR-algoritmen er heller ikke AI-baseret, men en mindre kompleks og mindre hardwarekrævende heuristik opnået menneskeskabt algoritme uden behov for specialiseret hardwareaccelleration, hvilket så også er det aspekt der gør det muligt at den kan komme til konsollerne og alle slags GPUer. Kvalitetmæssigt befinder FSR sig (både mht opskalering og frameinterpolation) dermed på niveau over hvad man kan opnå eksternt på et TV men under hvad man kan opnå med AI løsninger som DLSS, MetalFX og XeSS. https://a.disquscdn.com/get?url=https%3 ... =800&h=338
Så helt tosset er det ikke. Det er jo også værd at bemærke at det inkluderer FSR AA også under opskalering - Det er nok en implementering med opskaleringsfaktor i retning af denne man kommer til at se på konsol:
