Kirurgi med virtuelt røntgensyn

Foto: Hanne Kristine Fjellheim, SopraSteria

I 2016 lanserte Microsoft en brille de kaller HoloLens. Dette er langt fra en ordinær brille, men en trådløs datamaskin som gir brukeren mulighet til å se en «utvidet virkelighet». Det kan være et hologram av leveren som vises på rett sted i  kroppen til pasienten, eller et annet organ som tilsynelatende svever i omgivelsene, og kan snus og vendes på, eller deles opp og sees fra innsiden.

Disse brillene spiller i dag en stor rolle, men ikke hovedrollen, i hele ni prosjekter i porteføljen til Inven2. Prosjektene spenner fra å utvikle bedre verktøy for kirurger som til daglig operer bort kreft, eller utfører kompliserte hjerteoperasjoner til hoftleddsoperasjoner. Og hovedrollene innehar en rekke dyktige fagfolk.

En av disse er Ola Wiig, ortoped ved Rikshospitalet. Han forklarer at HoloLens-teknologien kan gi kirurgene en form for virtuelt røntgensyn:

– Får vi dette til, vil det være den største innovasjonen innen medisin siden røntgenstråling ble oppdaget tilbake i 1895. Og Norge er verdensledende innen utvikling av bruk av teknologien, sier Wiig.

HoloLens-teknologien gjør det blant annet mulig for kirurger å se tredimensjonale hologrammer av de enkelte organene til pasienten som skal opereres. Før kompliserte operasjoner kan flere kirurger planlegge operasjonen sammen ved å se på det samme hologrammet, og dermed oppnå en helt annen felles romlig forståelse av hva de skal gjøre, hvor snittet skal settes, enn ved å se på todimensjonale CT-bilder.

Men hvordan kom vi hit?

Fra kikkhullskirurgi til hologrammer

La oss ta en reise litt tilbake i tid. Til 1996. Intervensjonssenteret ved Rikshospitalet i Oslo blir etablert og skal bidra til å utvikle nye behandlinger og behandlingsstrategier. Kirurg Bjørn Edwin er en av de andre hovedrolleinnehaverne her. Han trenger bedre verktøy for å operere bort kreftsvulster på lever. Siden vi bare har én lever, er det viktig å ikke skjære bort for mye friskt vev rundt svulsten, dersom man må inn én gang til for å fjerne en ny svulst. Samtidig er det viktig å ta nok, slik at ikke kreftceller er igjen og kan lage en ny svulst.

På denne tiden var kikkhullskirurgi i startgropen, og ennå svært eksperimentelt. Hvordan skulle kirurgen kunne se hva de gjorde inne i kroppen uten å åpne opp? Være sikre på at de ikke kuttet over vitale blodårer slik at pasienten fikk en stor blødning?

Ole Jakob Elle, også en av hovedrolleinnehaverne, starter da ved Intervensjonssenteret. Han har bakgrunn fra robotikk og navigasjon, og sammen med Edwin og andre kollegaer utvikler de stadig bedre modeller for kroppens organer, med særlig fokus på lever.

– Formålet har hele tiden vært å lage et så komplett anatomisk kart over den enkelte pasients indre som mulig, men det må være helt presist, hvis ikke kan det gå fryktelig galt, forklarer Elle. Han leder i dag Seksjon for Medisinsk Kybernetikk og Bildebehandling på Intervensjonssenteret.

I 2004- 2008 får Intervensjonssenteret og andre et prestisjetungt EU-prosjekt. Det heter ARISER som er kort for «Augmented reality in surgery», eller «Utvidet virkelighet i kirurgi». I prosjektet eksperimenterer de med flere ulike hodemonterte skjermer som viser 3D-modeller av lever, men det fungerer ikke godt nok.

Så står arbeidet litt stille en periode, før det får ny giv, støtte fra Helse Sør-Øst i flere runder og flere EU-prosjekter. Et av disse er HiPerNav «High Performance soft-tissue Navigation», som er et pågående EU-prosjekt som Intervensjonssenteret koordinerer.

– Rett før HoloLens-brillen ble en realitet, hadde vi allerede utviklet en 3D-modell for bruk i leverkirugi, forteller Elle.

Da utviklerne hans får nyss om brillen får de likevel ikke tak i den. Den er ikke tilgjengelig i markedet. Vi skriver nå 2015. I 2016 tar Sopra Steria kontakt. Som nær samarbeidspartner med Microsoft har de fått tilgang til den nye HoloLens-brillen, og de ønsker et samarbeid med Intervensjonssenteret. Et nytt kapittel tar fatt, og nå går ting fort.

Internasjonal innovasjonspris

Sopra Steria er teknologikonsulenter og blant de første i Europa som får HoloLens-brillene til bruk.

– Vi kontaktet Intervensjonssenteret etter tips fra Norway Health Tech om at de hadde jobbet med teknologien lenge. Bare 48 timer etter var vi i gang med det første prosjektet på leverkreft, sier John Berland, innovasjonsdirektør i Sopria Steria Scandinavia.

Og prosjektet går på skinner. Utviklerne fra Sopra Steria nærmest flytter inn hos Intervensjonssenteret og jobber tett sammen med klinikere og teknologer her. Kort tid etter presenterer de leverprosjektet på en global konferanse i USA. Her får det tverrfaglige, privat-offentlige teamet en innovasjonspris, massiv internasjonal oppmerksomhet og skryt av Microsoft sin medisinske direktør fra åpen scene.

I 2018, kun to år etter, har altså Inven2 hele ni prosjekter i gang som alle benytter Hololens på ulike måter innen medisinsk behandling. En rekke av disse prosjektene samarbeider under paraplyen «HoloCare».

– HoloCare er verdens første innovasjonssenter for bruk av «Mixed Reality», en blanding av virtuell og virkelig verden, innen helse. Det er etablert på Intervensjonssenteret.

Kan se barnehjertene før operasjon

Møt en annen av hovedrolleinnehaverne i utviklingen av bruk av HoloLens: Henrik Brun. Henrik Brun er barnekardiolog og har spesialisert seg på planlegging av operasjoner på barn med alvorlige hjertelidelser.

– Vi har jobbet lenge med 3D-modellering. Barn som trenger hjerteoperasjon har ofte så alvorlige feil i hjertet at det er komplekst å vite hvor du skal begynne. Når vi bruker HoloLens i planlegging av operasjonene, kan vi på en måte gå inn i hjertet sammen med kirurgene som skal operere, og vi kan peke og forklare og få en ordentlig felles forståelse av hva vi må gjøre for at hjertet skal kunne fungere optimalt, sier Brun.

Han forteller om en fantastisk oppstart med bruk av HoloLens, siden de var godt kjent med 3D-modellering og 3D printing fra før.

– Bruken av hologrammer har revolusjonert bruken av 3D i planleggingsfasen. Neste skritt for oss er å bruke dette under operasjoner og ikke bare til planlegging, så det blir spennende, sier Brun.

Han har presentert teknologien på en rekke internasjonale hjertekongresser og får mye oppmerksomhet når han snakker.

– Mange sperrer øynene opp når de får se hva vi gjør, selv de som er eksperter innen imaging, dvs avansert og digital billedbruk innen medisin, så det viser at vi er langt framme på dette i Norge, sier Brun.

Han er klar på at denne teknologien kan gjøre hjerteoperasjonene bedre og sikrere av den enkle grunn at hologrammene likner mer på virkeligheten enn bilder man ser på en skjerm eller papir.

– Hologrammene overlater mindre til forestillingsevnen og språklig gjengivelse av patologi. Alle involverte ser det samme og kan være sikre på at man har en felles forståelse av hvordan hjertefeilen ser ut og hva som skal gjøres, sier Brun.

Må gavne helsenæring

John Berland i Sopra Steria mener  Norge må utnytte det fortrinnet vi har innen HoloLens-teknologien kommersielt.

– Vi har et forsprang nå på resten av verden, og det bør vi være smarte og utnytte både kommersielt og forskningsmessig. Dette har vært et teamarbeid blant tverrfaglige yrkesgrupper siden starten, og potensialet er enormt, sier Berland.

Elin Melby er ansvarlig for teknologiprosjekter ved Inven2. Hun er prosjektleder for alle kommersialiseringsprosjektene som involverer HoloLens hos Oslo universitetssykehus og Akershus universitetssykehus, og er helt enig med Berland i at det kommersielle må utnyttes.

– Vi ser for tiden på muligheten for å starte et selskap som omfavner alle applikasjoner som utvikles av forskerne og klinikerne opp mot HoloLens. Her er det et stort potensial. Det er spennende at vi i Norge ligger så langt fremme på et område som kan revolusjonere kirurgisk praksis, sier Melby. Hun samarbeider tett med Bjarne Tvete som er forretningsutvikler i Inven2, på dette.

HoloLens-prosjektene har fått betydelig støtte fra Helse Sør-Øst og OUS i arbeidet, noe som har vært helt avgjørende i utviklingen av bruk. I tillegg går prosjektene nå ut av Norge og søker om internasjonal støtte og samarbeidspartnere fra EU.

Ole Jakob Elle synes det er fantastisk å se hvordan videreutviklingen av bruken av HoloLens har eksplodert på bare få år, og støtter Berland og Melby i at Norge har et unikt fortrinn nå.

– Spennet i bruken vi og andre ser på nå er stort. HoloLens testes ut for bruk for alt fra sårheling på Sunnaas Sykehus, tykktarmskreft på Ahus til behandling av svært psykisk syke mennesker på Ullevål sykehus. Per i dag vet jeg ikke om noen andre teknologier for den type visualisering og dybdesyn som dette gir, og spranget fra bruk i planlegging til bruk under operasjoner, blir spennende å ta del i, sier Elle.

Revolusjonerer kirurgien

Tilbake til Ola Wiig. Ola Wiig er ortoped ved Rikshospitalet og jobber primært med ledd og hofter hos barn. Han jobber intenst med å utvikle HoloLens for bruk på denne pasientgruppen.

– HoloLens-teknologien er svært godt egnet for skjelettetoperasjoner, og jeg tror det vil være enkelt å utvikle bruk, sier Ola Wiig.

Han tror de kan ta i bruk HoloLens i operasjon av hofter allerede om ett år, men de er avhengig av midler til å utvikle en del software-applikasjoner, som er nødvendige for optimal bruk.

Han har tidligere benyttet 3D-printing av pasientens skjelett, men gjentar og gjentar at HoloLens vil revolusjonere måten kirurgene jobber på og vil få store ringvirkninger.

– Det vil bli gjort færre feil, resultatene vil bli bedre og liggetiden for pasientene kan reduseres betraktelig. For kirurgene blir det som å ha et virtuelt røntgensyn, noe som vil være den største innovasjonen innen medisinen siden røntgenstråling ble oppdaget tilbake i 1895. Dette er stort, det er det ingen tvil om. Og Norge er verdensledende innen utvikling av bruk av teknologien, sier Wiig.