Seminar om sfæriske medier

UH-nett Vest sitt forskernettverk for IKT og medier arrangerte et seminar om sfæriske medier. Seminaret samlet forskere fra UH-nett Vest, inviterte bidragytere og flere masterstudenter med relevante prosjekter. Sfæriske medier er et felt som utvikler seg raskt, og en kan derfor oppleve at de siste og mest innovative løsningene kommer frem gjennom arbeid gjort gjennom masterstudier.

Med sfæriske medier forstår vi både lyd- og bildemedier som kan representere omgivelser i en form som omslutter brukeren. Dette inkluderer Virtual Reality (VR), dvs grafikk skapt kun med datamaskiner og denne grafikken blir vist i hele brukerens synsfelt. Videre inkluderer sfæriske medier Augmented Reality (AR), dvs representsjonsformer som kombinerer datagrafikk med synsinntrykk fra det stedet brukeren befinner seg. Sfæriske medier inkluderer også sfæriske- / 360-bilder og -video, dvs fotografier og video som inkluderer bildeinformasjon i alle retninger. Miljøene på Vestlandet har samlet sett svært omfattende kompetanse på dette feltet, i skjæringspunktet mellom medier og IKT.

Å forstå immersiv journalsitikk

Ana Laws fra Høgskolen i Volda åpnet serien av innlegg med å fortelle fra erfaringer gjort gjennom et VRI-prosjekt om VR og 360. I dette prosjektet er lokalavisen Sunnmørsposten næringspartneren, og de ønsker å utforske hvordan en utnytter teknologien fortellermessig og hvordan dette mottas av publikum. Noen av spørsmålene som diskuteres i dette prosjektete er hvordan en som produsent forholder seg til at kameraet “forsvinner”, dvs at det ikke er noe som automatisk leder brukeren i forhold til hvor vedkommende retter blikket.

Laws presenterte videre funn fra artikkelen Can Immersive Journalism Enhance Empathy? Mye av retorikken rundt sfæriske medier er knyttet til at dette er “mediet som skal redde bransjen”. Hva er denne optimismen basert på? For å finne mer ut av dette har Laws sett på Guardians “6X9” og  NY Times “The displaced”, Nonny de la Peña IPSRESS og “Hunger in Los Angeles”.

Mange talspersoner for VR-journalistikken som taler for empati som en viktig faktor, men dette er også et potensielt farlig virkemiddel som kan styre innlevelsen i uheldig grad.

Auditive perspektiver på sfæriske medier

Svein Høier viser hvordan ambisonisk lyd kan manipuleres i ulike programvareløsninger

Svein Høier, fra NTNU, introduserte forskjellige måter å jobbe med sfærisk lyd, med utgangspunkt i egen erfaringer og forsøk med surround (5:1 og 7:1),  Dolby Atmos og ambisonisk lyd.

Facebook Spatial workstation er et gratisverktøy, men lager Facebooks versjon av ambisonic. Waves og Audioease er noenlunde tilsvarende betalingsløsninger som kommuniserer med lydprogrammer, som f eks Reaper. Til Reaper får en imidlertid også Ambisonic Toolkit. Til sfæriske medier ønsker en å arbeide med romlighet. Facebook har her enkle parametre, mens Audioease har en avansert løsning for å gjenskape klang fra ulike rom.

Film og fjernsyn har valgt å prioritere tydelighet, fremfor en realisme knyttet til visuell avstand. Dette handler dels om at mye av lyden ettersynkroniseres  en kan dermed benytte studioopptak. På kino er en vant til at det ikke er en nær sammenheng mellom det visuelle og lydlig retning. Her kan man tenke helt annerledes når man jobber opp mot hodetelefoner. Hvordan kan en gi slike lytteopplevelser et løft? Hvilken strategi skal en velge for sfæriske medier? Avveining mellom styring av fokus og en friere opplevelse.

 

Capsule FM

Espen Systad demonstrerer Capsule.FM

Utviklingen av den lokative lydappen Capsule.FM begynte med en ide om en applikasjon som viser hva som er på bakken når en er ute og flyr. Espen Systad og Tor Langballe endte i stedet med en “reisekompanjong” som gir opplevelsen via lydsiden.

I Bergen har teamet jobbet med prosjektet Vidden. Dette er en lydguide som skal tilby spesialisert auditiv informasjon, men skal også kunne gjenta lydlig det som er visuelt presentert i andre systemer: Gi brukerne råd, veiledning og historier som hjelper dem å finne veien, beregne tidsbruk, ankomsttid, banetid, få værmelding, lære om fauna/dyreliv/geologi/historie, og om spesielle utkikksposter eller serveringssteder. Innholdet skal være fleksibelt, og kunne påvirkes av område (GPS), nærlokasjon (beacons), fart, tid, vær, og andre omgivelsesfaktorer.

Kan se for seg en åpen standard for denne typen sfærisk medieinnhold. De ser også på mulighetene for å lage et åpent templateformat.

 

Perspektiv på Virtual Reality i en 20 års periode

Tor Langeland fra CMR med en versjon av CAVE-systemet

Tor Langeland fra CMR har jobbet med CAD og visualisering siden 1980-tallet, og han jobbet med Norsk Hydro og CMRs CAVE-prosjekt 1996-2008. CMR sammen med Hydro begynte tidlig å se på eventuell bruk av cave-løsninger og VR i oljebransjen.

CAVE ble utviklet ved CMR gjennom en årrekke og de kunne etter hvert vise veldig mange forskjellige datatyper. Mot slutten av prosjektet hadde de et sted mellom 30 og 40 ulike verktøy for visualisering og samarbeid. Kunne dermed bruke caven på tvers av faggrupper og på den måten øke hastigheten på vurderinger og beslutninger. Reduserte tiden fra 3-4 uker ned til 2-3 dager for å planlegge boringen av en brønn. Eksperimenterte med haptic feedback, der en ingeniør møtte motstand dersom en forsøkte å lage en brønnbane som ikke var borbar.

Se A Decade of Increased Oil Recovery in VR

Daniel Patel forklarer noen av fordelene og ulempene ved ulike systemer.

I fortsettelsens av Langelands tilbakeblikk fortalte Daniel Patel (CMR og HVL) om utviklingen i forlengelsen av cave-løsningene. CMR utviklet VRSafety i 2004 ut fra et ønske om å lage et verktøy for å visualisere scenarier for eksplosjoner og brann.

CMR programmerte først 3D-motoren fra bunnen av i C++ og Open GL, men endte etter hvert opp med å benytte kommersielt tilgjengelige løsninger. Dagens spillmotorer har veldig gode redigeringsmuligheter og visuelle editorer.

Visualiseringssystemene har på flere områder blitt overtatt av høyoppløselige monitorer. Bruken av VR var imidlertid med på å legge til rette for kryssdisplinære arbeidsmåter, som man i dag implementerer på andre måter. Samarbeid i CAVE gjorde at de ulike faggruppene fikk innsikt i hverandres suksesskriterier og hvilke problemer de var avhengig av å løse.

 

Pedagogiske og kunstneriske perspektiver på sfæriske medier

Jon Hoem, HVL, begynte med å se på noen historiske paralleller til tidligere forsøk med sfæriske medier.

Hoem viste også eksempler fra egen undervisning, dels knyttet til prosjektet Interaktivt virtuelt feltarbeid, der studenter har eksperimentert med ulike måter å benytte sfærisk fotografering sammen med forskjellige modeller. Til slutt kom vi i denne sesjonen innom mobilappliksjonen Fotspor.mobi som er utviklet ved Senter for nye medier, HVL. Denne utvikles for lokativ bruk av sfæriske medier.

Masterprosjekter

Joakim Vindenes, som arbeider med en phd ved UiBs SLATE-senter, presenterte sitt masterprosjekt A Virtual Mind Palace: Adapting the Method of Loci to Virtual Reality, fra våren 2017. Prosjektet utforsker Loki-metoden gjennom å plassere informasjon i forhold til geografiske lokasjoner i VR. Det sentrale funnet i masteroppgaven var knyttet til at brukere med høy romlig resonneringsevne hadde generelt høyere score, men gjorde seg også mer nytte av applikasjonen.

Thomas Larsen, master i programutvikling ved HVL, jobber med et VR-prosjekt knyttet til fysikalsk rehabilitering. Pasienter med smerter i rygg er et stort samfunnsproblem, men fysioterapi i tradisjonell form er dyrt. Dermed vanskelig å hjelpe mange. VR kan være et virkemiddel der en gamifisierer ulike øvelser. Larsen skal i gang med en klinisk studie i samarbeid med andre fagmiljøer der de tester tre VR-opplevelser med opp mot et tyvetalls respondenter. Det er første gang dette gjennomføres i Norge.

Runar Tistel, master i programutvikling ved HVL, ser på hvordan en kan lage og rekonstruere kunst ved hjelp av verktøy som Unreal Engine, en spillmotor som gir alt en behøver for å utvikle et tredimensjonalt spill. Et grunnleggende spørsmål er hvordan en kan beskrive kunst med tanke på at en datamaskin skal kunne forstå og benytte denne beskrivelsen. Tistel vil ta tre ulike malerier i forskjellige stiler og gjenskape disse i VR. Målet er å bevise at dette fungerer, og den første prototypen virket absolutt lovende i så måte. Prosjektet går på mange måter inn i en tradisjon av generativ kunst.

Til slutt viste Audun Gulbrandsen (UiB) et prosjekt der han har benyttet Hololens, en enhet som inneholder en rekke sensorer (tilsvarende Kinect) som skanner omgivelsene.Gulbrandsen lagde en prototype knyttet til et redigeringsprogram – Vimond IO, sammen med studentene Fredrik Jensen og Johanne Ågotnes. HoloLens-prosjektet var en del av bacheloroppgave, våren 2017. Det har vært en rekke presentasjoner av dette prosjektet også i løpet av høsten.

Videre arbeid med sfæriske medier

Seminaret ble avsluttet med en diskusjon om mulige felles prosjekter. Fellestrekk for ideene som ble diskutert er lokative / sfæriske applikasjoner rettet mot ulike målgrupper. Det er forsket ganske mye på lokative grensesnitt, men vi vet mindre om hvordan en spesiallager lokativt innhold. Det kan i denne sammenhengen være interessant å utvikle et generelt, åpent format for å formidle lokativ informasjon inneholde. Videre er nettverket godt posisjonert i forhold til å utvikle og teste ulike fortellerkonvensjoner for lokative og sfæriske fortellerformer. En kan også se for seg å utvikle løsninger der en jobber med å orientere ulike medietyper på en gitt lokasjon – ambisonisk lyd, styring av AR, plassering av en visuell sfære etc.

Mediumdesign-seminar – Stockholm 2015

En gruppe bestående av femten personer fra UH-nett Vests faggruppe for IKT og medier var i desember på studietur til Stockholm. Svenskene slår Norge grundig når det gjelder innovasjon på feltet IKT og medier. Årsakene er selvsagt sammensatte, og dette handler ikke nødvendigvis at forskningen i Sverige er lenger fremme. I Sverige har man imidlertid lykkes bedre med å omsette forskning til prosjekter som drives videre fremover gjennom næringslivet.

Mobile Life

Foto: Jon Hoem

Bydelen Kista er på mange måter blitt selve symbolet på forbindelsene mellom akademia og næringsliv. Her finner vi forskningssenteret Mobile Life, som springer ut av Stockholms Universitet. Ideen var å koble teknisk forskning med andre vitenskapsdispliner. Senterleder Maria Holm fortalte at oppdrag for næringslivet er en sentral del av senterets virksomhet, samtidig som de har et mål om å bidra til oppstartsbedrifter. Senteret skal samtidig være langt fremme i akademiske sammenhenger, dvs med krav til publisering på høyt internasjonalt nivå.

Foto: Jon Hoem

Holm understreket at bedriftspartnerne skal bidra i prosjektene med konkrete arbeidsoppgaver. De personene som involveres er ikke inne i prosjektene som bedriftens representant, men inngår i prosjektene på mer generelt grunnlag. Mobile Life jobber ikke med oppdragsforskning, men forsøker å se fremover med en tidshorisont på mellom 5-10 år. Dette er lenger enn det som i dag kan omsettes til konkrete produkter.

Et eksempel er prosjektet Live Nature, der Mobile Life jobber med IKEA med utgangspunkt i barns situasjon er i store byer, der de ikke har tilgang til naturen. De gjør her forsøk med live video inn i en leilighet. En litt fremmed tanke for de fleste nordmenn, men det arter seg åpenbart annerledes i mange av verdens storbyer.

LIVEling

Foto: Jon Hoem

En av de som jobber med live overføring av video er Arvid Engström og selskapet LIVEling. Allerede i 2007, på et tidspunkt da det ikke fantes noen mobile enheter som kunne streame video, begynte de å se på om noe det som skjer i en flerkamera TV-produksjon kunne overføres til mobiler.  De begynte med å gjøre etnografiske studier knytte til OB-produksjoner (Outdoor Broadcasting), samt hvordan video DJs jobbet med video live. De undersøkte hvordan profesjonelle videofotografer jobber. Har det et “redaktørblikk” i forhold til hvilke bilder de søker etter og tilbyr til den som mikser sendingen?

Engström og kollegene begynte å lage funksjonelle prototyper, der de sendte videosignalene over mobilnettet – det Engström kaller Instant Broadcasting System. I dag har de en mer moden teknisk løsning, selv om det fremdeles er en rekke tekniske utfordringer, særlig knyttet til å synkronisere videostrømmene og uforutsigbare forsinkelser.

Liveling retter seg mot aktører som allerede har et publikum som de kan nå ut til. Lenge var det små endringer i markedssituasjonen. Det var lenge fokus på enbruker livefeeder. Meekat endret imidlertid dette ved å knytte video til Twitterstømmen. Periscope kom deretter raskt om Twitters eget svar og Facebook melder seg på med sin egen livetjeneste. Facebook er imidlertid ikke like realtime som Twitter, noe som Engström mener kan ha betydning i denne sammenhengen.

Enjoying Machines

Foto: Ana Luisa Sanchez Laws

Professor Oscar Juhlin presenterte boken Enjoying Machines, skrevet sammen med Barry Brown. Her benyttes etnografiske metoder for å forstå hvordan teknologi endrer sosiale situasjoner i ulike sammenhenger. Juhlin påpekte at det aller meste av driverne for Internetteknologi er knyttet til ulike former for underholdning og “hedonic pleasures”.  Ifølge Juhlin er det et ganske utbredt syn blant sosiologer at “enjoyment” ikke er følelser som betyr noe på ekte. Det blir snarere sett på som et uttrykk for en forenklet reaksjon på omgivelsene. En må imidlertid forstå disse bruksmåtene og hvordan engasjement og innlevelse skapes, dersom en skal kunne utvikle konsepter som faktisk har mulighet til å finne et kommersielt grunnlag.

Situated Simulation

Foto: Dag Roland

Professor Gunnar Liestøl fra UiO var invitert med for å snakke om sitt arbeid med det han kaller situerte simuleringer. Liestøl har i en årrekke jobbet med den svenske utvikleren Tomas Stenarson, og de snakket om sin arbeidsmetode for innovasjon knyttet til det som kan betegnes som humanistisk informert mediumdesign. Liestøl tar her utgangspunkt i retorikken: dvs en designer med verbalt materiale, og utvikler en mer generell metode der utvikling, testing og evaluering av digitale prototyper ligger i bunn.

Liestøl og Stenarson var begge opptatt av betydningen av raskt å komme fram til en brukbar prototype. Først når en kan prøve noe konkret er det mulig å ta stilling til alle sider ved prototypen, evaluere og så komme videre i utviklingen.

Global Science Opera

Foto: Ana Luisa Sanchez Laws

Den første dagen ble avsluttet av Oded Ben-Horin fra HSH. han har jobbet med et globalt kreativt klasserom, sammen med partnere i 35 land.

Prosjektet “Write a science opera” endte med en live fremføring av en opera med femten scener, der hver scene er skrevet av en gruppe i ett land, fremførst av en gruppe fra et annet land.

Kungliga Tekniska Högskolan

Foto: Jon Hoem

Den andre dagen besøkte gruppen Kungliga Tekniska Högskolan. Dette er et universitet som i hovedsak utdanner sivilingeniører. KTH er i ferd med å etablere et senter som en paraply for ulike prosjekter får å skape et miljø der innovative prosjekter kan oppstå. Utfordringen er snarere å få eksisterende prosjekter til å samarbeide, snarere enn å skape nye prosjekter. Senteret vil ha sterkt fokus på det kryssdisiplinære med forbilder fra blant annet ved Georgia Tech og IRCAM i Paris.

Foto: Ana Luisa Sanchez Laws

Professor Leif Dahlberg introduserte oss for instituttet, Media technology and interaction design. Dahlberg snakket blant annet om betydningen av hvordan de ulike displinene former aktørene. KTH er en polyteknisk skole, men har også mange undervisere med ikke-teknisk bakgrunn. Ulike tradisjoner kan gjøre det vanskeligere å samarbeide, noe Dahlberg diskuterer i artikkelen “Det akademiska samtalet” i boken Universitetet som medium.

Ansiktsgjenkjenning på mobilen

Foto: Jon Hoem

Professor Haibo Li jobber blant annet med et prosjekt der de ønsker å kunne skille mellom 27 ulike frihetsgrader som kan utføres med hendene. De løser dette ved å gjøre et realtime søk i en tabell med to millioner gestures. Arbeidet reiser problemstillinger knyttet til at egne -*firma og applikasjoner har sine egne gestures. Behov for å knesette et sett med felles gestures på tvers av ulike applikasjoner og leverandører.

Informasjonsformidling som lyd

Foto: Dag Roland

Professor Roberto Bresin jobber mye ulike former for sonification. Han viste innledningsvis til Kramer et al Sonification (1999) og Sonification Handbook (2011) som sentrale kilder på dette området.

Nebula: An interactive garment

Mot slutten diskuterte vi litt omkring begrepet “guiding sounds”. Bresin viste til hvordan det er mye enklere å justere seg inn dersom en får auditiv feedback som korrigerer feil. Viste her konkret til hvordan en fiolinist hele tiden justerer tonene. Raske korreksjoner av feil er mye enklere å gjennomføre enn dersom en baserer seg på “guiding sounds” i forkant av en ønsket (bruker)handling.

SLATE

Foto: Ana Luisa Sanchez Laws

Professor Barbara Wasson, UiB, fortalte om det nye Centre for The Science of Learning and Technology. (SLATE). Målet er å se på alle sider ved læring gjennom alle aldertrinn og ulike læringsarenaer. Senteret vil årlig motta 5 millioner fra staten, og UIB må matche denne summer. Senteret nå et totalt budsjett på 65 millioner for de første fem årene.

Wasson fortalte om prosessen med søknaden. Et viktig grep var å skrive en kort redegjørelse der de klargjorde begrepsbruken og skillet mellom learning analysis og learning analytics.

På sikt er målet å utvikle senteret i retning av et Centre of Learning Sciences

Tre prosjektgrupper

1. Assessment Innovation for Learning
– Bygger videre på eksisterende prosjekter
– Ett prosjekt ser på pedagogisk praksis og teknologi

  • Vil jobbe en god del med hvordan en visualiserer læring

2. Big and small data in eduaction

  • e-infrastructure
  • bruke UiB som case studie, kommer en egen postdoc-stilling
  • Nasjonal dugnad – diskusjon om hva vil ønsker å gjøre med “big data”, inviterer partnere

3. Research Futures

  • “Creative Knowledge Processes” – vil gi såkornsmidler til prosjekter for å få frem forslag til tverrfaglige forskningsprosjekter

Promo Mediadesign (2015 – 2017)

Gunnar Liestøl fortalte om arbeidet med å påvirke fremtidige utlysninger innenfor Horizon 2020. Prosjektet fikk støtte helt på tampen av VERDIKT, da det kom en utlysning om posisjoneringsmidler, nettopp i forhold til Horizon 2020.

Hensikten med prosjektet er promotere humanistisk mediedesign i forhold til kommende utlysninger. Posisjonere feltet i forhold til arbeidsprogrammet som kommer for 2017-19, gjennom å skape en felles plattform for uttalelser fra aktører i mange land.

Liestøl understreket at kreativitet er noe som kommer sterkt inn i de nye programutlysningene – her kommer blant annet spillbransjen sterkt inn. Få prosjekter som forbinder forskningsinstitusjoner og industri. Stort fokus på “arts”, som gjerne må dreies mot medier og humanistiske fag. En ønsker generelt kommersialisering. Samtidig må vi som forskere være varsom med hvem en velger å ta med fra industrien.

Endringer i faggruppens ledelse

Lars Nyre har hatt en betydelig rolle ved opprettelsen av faggruppen, og i flere år ledet gruppens arbeid. Under møtet i Stockholm leverte Nyre staffettpinnen videre til Jon Hoem (HiB) og Ana Luisa Sanchez Laws (HiVolva). I lys av SAKS-prosessene går institusjonene i regionen inn i omskiftelige tider, neo som også kan komme til å prege det videre arbeidet i nettverket. Samtidig har det under Nyres ledelse blitt bygget opp et robust nettverk der deltakerne har funnet faglig tilhørighet, et fundament det kan bygges videre på.