Eljöhet az idő, amikor a sebészek már nem is lesznek hajlandók a HoloLens holografikus képmegjelenítője nélkül műtét végrehajtani – ezt a jövőt vetíti elénk a francia Thomas Gregory, a párizsi Avicenne kórház orvosa, aki az elmúlt három évben a Microsofttal együttműködésben tesztelte a kevert valóságot alkalmazó szemüveget sebészeti beavatkozások közben.

A szakember 2017-ben végzett először ortopédiai műtétet a HoloLens első változatával. Azóta öt kontinensen, 13 ország sebészei csatlakoztak a Microsoft által felkarolt projekthez, amelyben már a Microsoft Teams-el összekötött HoloLens 2-t alkalmazzák, így lehetővé vált az országokon és kontinenseken átívelő konzílium is.

A sebészek nem használhatnak okostelefont vagy számítógépet egy steril műtőben, ráadásul a kezeikkel sem érinthetnek meg ilyen tárgyakat műtét közben. 2017-ben hajtotta végre Dr. Thomas Gregory, a párizsi Avicenne kórház orvosa az első olyan ortopédiai műtétet, amelyhez a levegőben elvégzett kézmozdulatokkal és hangutasításokkal irányítható és holografikus, térbeli képet megjelenítő HoloLenst szemüveget alkalmaztak.

Az elmúlt években, a Microsoft által támogatott és Dr. Gregory által vezetett nemzetközi projektben a HoloLens, majd a 2019 óta elérhető HoloLens 2 bebizonyította, hogy használatuk igazi áttörést hozhat az operációk és orvosi konzultációk, valamint a medikusok képzésében.

A HoloLens a páciensek szerveiről készült röntgent-felvételekből, vagy komputertomográfiával készült képekből előállított holografikus képeket jelenít meg a valós térben. Az orvosok ezeket a térbeli képeket a hasonló készülékeket használó kollégáikkal is meg tudják ma már osztani a Microsoft Dynamics 365 Remote Assist applikáció segítségével, amely a HoloLens-t összeköti a Microsoft Teams alkalmazással. A különböző országokban, vagy kontinenseken tartózkodó orvosok így operáció előtt, vagy közben is tudnak konzultálni egy adott műtéti problémáról. Utóbbi esetben a műtétet végző orvosnak nem kell feltekintgetni egy kijelzőre ahhoz, hogy nyomon követhesse kollégája vagy kollégái üzeneteit: a holografikus képet, amely pontos másolata a műtét alatt álló szervnek, egyszerűen „ráhelyezi” a műtéti területre és így, egy helyre összpontosítva a tekintetét, vehet igénybe szakmai segítséget. Akár olyan 3D videót is futtathat az operáció közben, amely lépésről és lépésre ad útmutatót a műtét végrehajtásához. Ashish Babhulkar, az indiai Pune-i Deenanath Mangeshkar Kórház és Kutatóközpont váll- és sportsérülések osztályának vezetője, a projekt egyik résztvevője, már végzett el ilyen módon vállprotézis műtétet, amely során Dr. Gregory és egy Angliában tartózkodó orvoskollégája segítségét vette igénybe.

Ha valódi operációk közben is bevethető, adja magát az ötlet, hogy a HoloLens-szel fel is lehet készülni műtétekre. A pontos, élethű, és megfelelően részletgazdag térbeli, holografikus képeket maga elé vetítve a sebész elgyakorolhatja a műtét minden egyes mozdulatát. A HoloLens nélkülözhetetlen eszköz lehet a jövőben az orvostanhallgatók betanítása, az orvosok továbbképzése során is, hiszen így bármilyen műtéti kockázat nélkül, annyiszor próbálhatnak a medikusok ki egy-egy műtéti eljárást, ahányszor csak akarnak.

2020 januárjában a Microsoft Dr. Gregory-val és más orvosokkal közösen elindította az Institut Moveo nevű kutató- és oktató központot, ahol már a mesterséges intelligenciának a sebészeti beavatkozások során való alkalmazhatóságát vizsgálják. A Sorbonne-Paris-Nord Egyetemen található központban informatikusok, matematikusok és sebészek dolgoznak együtt és képeznek tovább medikusokat a HoloLens műtét közbeni alkalmazására. Terveik között szerepel a műtétek során elmentett adatok összegyűjtése és azok felhasználása algoritmusok kifejlesztéséhez, amelyekkel továbbfejlesztők a műtéti eljárások, sőt, az orvos szemmozgását kielemezve, akár az operáció közben felmerülő nehézségek is gyorsabban azonosíthatóak lesznek.

A HoloLens ezzel elérhetővé tenné a mesterséges intelligenciára alapuló technológiát még a bonyolultabb műtétek végrehajtásához is, jóval olcsóbban, mint a sok millió dollárért beszerezhető orvosi robotok révén. Dr. Thomas Gregory szerint, költéséghatékonyságának köszönhetően, a HoloLens az orvoslás digitális átalakulását a világ minden tájára képes lesz eljuttatni, és eljöhet az idő, amikor egy sebész már nem is lesz képes végrehajtani egy műtétet HoloLens nélkül.