Chirurgie: Hoe Augmented Reality levens zal redden
Stel je een wereld voor waarin chirurgen met uiterste precisie door complexe operaties navigeren, geleid door een augmented reality (AR) die zich letterlijk voor hun ogen ontvouwt. Wat ooit sciencefiction leek, wordt nu snel werkelijkheid in operatiekamers. Met behulp van headsets die 3D-hologrammen projecteren, biedt AR chirurgen ongekende nauwkeurigheid. Dit vermindert niet alleen de risico’s voor patiënten, maar verkort ook de hersteltijd aanzienlijk. Binnen enkele jaren zou deze technologie de norm kunnen worden in ziekenhuizen, wat de manier waarop operaties worden uitgevoerd radicaal zal veranderen.
Wouter is chirurg en staat vandaag voor de meest uitdagende operatie van zijn carrière: het verwijderen van een tumor uit de kaak van een patiënt. Terwijl hij zich voorbereidt, drukt de spanning op hem—elke millimeter is van levensbelang, en fouten kunnen fatale gevolgen hebben. De druk is immens. Wat als hij toch maar extra begeleiding had?
Stel je nu een headset voor die een 3D-hologram projecteert over de anatomie van de patiënt en Wouter bij elke stap van de operatie ondersteunt met chirurgische precisie. Deze scenario's zijn geen toekomstmuziek meer; AR wordt al toegepast in chirurgie, vooral bij ingrepen waar precisie van cruciaal belang is. Maar voor Wouters operatie is dit helaas nog niet beschikbaar.
Maxillofaciale chirurgie: precisie tot op de millimeter
Maxillofaciale reconstructieve chirurgie, vaak noodzakelijk na trauma’s, tumoren of aangeboren afwijkingen, vereist een chirurgische precisie van het hoogste niveau. Bij ingrepen aan de kaak moet niet alleen het zieke bot worden verwijderd, maar ook de kaak worden gereconstrueerd met segmenten van het kuitbeen van de patiënt. Deze operaties zijn complex: het vermogen van de patiënt om te spreken en te eten hangt af van de nauwkeurigheid van elke handeling.
Traditioneel gebruiken chirurgen 3D-geprinte gidsen – vergelijkbaar met een sjabloon – om precisie te garanderen. Hoewel effectief, zijn deze gidsen duur, tijdrovend en beperken ze de flexibiliteit. AR biedt een oplossing door virtuele gidsen in real-time op de patiënt te projecteren, waardoor chirurgen zich volledig kunnen concentreren op de operatie.
Door de ogen van de chirurg: Hoe AR het spel verandert
Ons AR-systeem revolutioneert de chirurgie door fysieke gidsen te vervangen door virtuele overlays die direct op de anatomie van de patiënt worden geprojecteerd. Headsets zoals de Microsoft HoloLens 2 en Apple Vision Pro stellen chirurgen in staat om in real-time snijvlakken en cruciale informatie op de kaak van de patiënt te zien. Deze technologie maakt een dynamisch en precies navigatiesysteem mogelijk dat zich aanpast aan veranderingen in de operatieve omgeving, zonder de noodzaak van onhandige fysieke markeringen.
Vóór de operatie gebruiken chirurgen CT-scans om een gedetailleerd 3D-model van de kaak te maken. Hiermee plannen ze nauwkeurige sneden voor het verwijderen van de tumor en de reconstructie van het gezicht. Tijdens de operatie helpen sensoren in de headset de belangrijke anatomische structuren van de patiënt te herkennen, zodat het 3D-model perfect overeenkomt met de werkelijkheid. Dit ondersteunt de chirurg stap voor stap tijdens de procedure.
De impact op chirurgen en patiënten
De echte kracht van deze technologie ligt niet alleen in de technische verfijning, maar ook in de impact die het heeft op zowel chirurgen als patiënten.
Voor chirurgen zoals Wouter vermindert AR de mentale en fysieke belasting bij complexe operaties. Met de zekerheid die AR biedt, kunnen ze zich meer richten op het welzijn van de patiënt.
Voor patiënten zijn de voordelen duidelijk. Minder complicaties, snellere hersteltijden en nauwkeurigere resultaten zijn slechts enkele van de voordelen. Voor degenen die een kaakreconstructie ondergaan, waar uiterlijk en functie nauw met elkaar verbonden zijn, is de mogelijkheid om beide met precisie te herstellen levensveranderend.
Wat is het verschil met de huidige technologieën? AR herdefinieert precisie
In tegenstelling tot traditionele methoden:
- Uit onze studie, die werd uitgevoerd met chirurgen, bleek dat AR een precisie van 1,08 mm opleverde. Dit nauwkeurigheidsniveau is essentieel voor procedures waarbij zelfs de kleinste afwijking grote complicaties kan veroorzaken.
- Het AR-systeem is onmiddellijk klaar voor gebruik en vereist geen extra setup op de dag van de operatie, wat tijd en kosten bespaart.
- Ons AR-systeem biedt real-time aanpassingsvermogen. Chirurgen kunnen vrij bewegen rond de patiënt, en het AR-systeem past het hologram dienovereenkomstig aan. Deze flexibiliteit is van cruciaal belang in een operatiekamer, waar lichtveranderingen, bewegingen of bloed de procedure kunnen beïnvloeden.
- AR stelt chirurgen in staat efficiënter te werken, met een scherpere focus op hun techniek, zonder afgeleid te worden door onhandige fysieke hulpmiddelen.
Hoe AR andere operaties zal transformeren
Hoewel het huidige onderzoek zich richt op maxillofaciale chirurgie, heeft AR-technologie het potentieel om andere chirurgische specialismen te revolutioneren. Denk aan orthopedie, wervelkolomchirurgie, of zelfs hart- en hersenchirurgie, waar nauwkeurige navigatie essentieel is.
De veelzijdigheid van AR opent nieuwe mogelijkheden om de resultaten in verschillende chirurgische disciplines te verbeteren. Naarmate AR-systemen verder worden verfijnd, zullen hun toepassingen blijven groeien en de grenzen van wat mogelijk is verder verleggen. AR helpt chirurgen niet alleen om betere resultaten te behalen, maar verandert ook de manier waarop operaties worden uitgevoerd, waardoor ze sneller, veiliger en toegankelijker worden.
Binnen een paar jaar is de kans groot dat, als jij of iemand die je kent een operatie nodig heeft, jouw chirurg een AR-headset draagt. Wat nu nog revolutionair lijkt, kan dan alledaagse praktijk zijn. Stel je voor: operaties waarbij elke snede wordt geleid door hologrammen in real-time, waardoor menselijke fouten worden verminderd en patiënten de best mogelijke resultaten krijgen. Het is geen sciencefiction meer—dit is de toekomst van de gezondheidszorg.
Bibliografie
Ahn, J., Choi, H., Hong, J., and Hong, J. (2019). Tracking accuracy of a stereo camera-based augmented reality navigation system for orthognathic surgery. Journal of Oral and Maxillofacial Surgery, 77(5):1070–1070.
Badiali, G., Cercenelli, L., Battaglia, S., Marcelli, E., Marchetti, C., Ferrari, V., and Cutolo, F. (2020). Review on augmented reality in oral and cranio-maxillofacial surgery: Toward surgery-specific head-up displays. IEEE Access, 8:59015–59028.
Battaglia, S., Ricotta, F., Maiolo, V., Savastio, G., Contedini, F., Cipriani, R., Bortolani, B., Cercenelli, L., Marcelli, E., Marchetti, C., and Tarsitano, A. (2019). Computer-assisted surgery for reconstruction of complex mandibular defects using osteomyocutaneous microvascular fibular free flaps: Use of a skin paddle-outlining guide for soft-tissue reconstruction. A technical report. Journal of Cranio-Maxillofacial Surgery, 47(2):293–299.
Breeland, G., Aktar, A., and Patel, B. C. (2023). Anatomy, Head and Neck, Mandible - PubMed. https://pubmed.ncbi.nlm.nih.gov/30335325/. [Accessed 19-11-2023].
Brown, J., Lowe, D., Kanatas, A., and Schache, A. (2017). Mandibular reconstruction with vascularised bone flaps: A systematic review over 25 years. British Journal of Oral and Maxillofacial Surgery, 55(2):113–126.
Byers, J., Bittner, A., and Hill, S. (1989). Advances in Industrial Ergonomics and Safety, chapter Proceedings of the Annual International Industrial Ergonomics and Safety Conference Held in Cincinnati, Ohio, U.S.A., 5-9 June 1989, the Official Conference of the International Foundation for Industrial Ergonomics and Safety Research, Volume 1, pages 481–485. Taylor & Francis.
Casari, F. A., Navab, N., Hruby, L. A., Kriechling, P., Nakamura, R., Tori, R., de Lourdes dos Santos Nunes, F., Queiroz, M. C., Fürnstahl, P., and Farshad, M. (2021). Augmented reality in orthopedic surgery is emerging from proof of concept towards clinical studies: a literature review explaining the technology and current state of the art. Current Reviews in Musculoskeletal Medicine, 14(2):192–203.
Ceccariglia, F., Cercenelli, L., Badiali, G., Marcelli, E., and Tarsitano, A. (2022). Application of augmented reality to maxillary resections: A three-dimensional approach to maxillofacial oncologic surgery. Journal of Personalized Medicine, 12(12):2047.
Cercenelli, L., Babini, F., Badiali, G., Battaglia, S., Tarsitano, A., Marchetti, C., and Marcelli, E. (2022). Augmented reality to assist skin paddle harvesting in osteomyocutaneous fibular flap reconstructive surgery: A pilot evaluation on a 3D-printed leg phantom. Frontiers in Oncology, 11.
Chegini, S., Edwards, E., McGurk, M., Clarkson, M., and Schilling, C. (2023). Systematic review of techniques used to validate the registration of augmented-reality images using a head-mounted device to navigate surgery. British Journal of Oral and Maxillofacial Surgery, 61(1):19–27.
Chu, Y., Yang, J., Ma, S., Ai, D., Li, W., Song, H., Li, L., Chen, D., Chen, L., and Wang, Y. (2017). Registration and fusion quantification of augmented reality based nasal endoscopic surgery. Medical Image Analysis, 42:241–256.
Cleveland (2022). Osteotomy (Bone Cutting): What It Is, Procedure & Recovery—https://my.clevelandclinic.org/health/articles/22688-osteotomy. [Accessed 16-11-2023].
Condino, S., Turini, G., Parchi, P. D., Viglialoro, R. M., Piolanti, N., Gesi, M., Ferrari, M., and Ferrari, V. (2018). How to build a patient-specific hybrid simulator for orthopedic open surgery: Benefits and limits of mixed-reality using the Microsoft HoloLens. Journal of Healthcare Engineering, 2018:1–12.
De Ketele, A., Meeus, J., Shaheen, E., Verstraete, L., and Politis, C. (2023). The usefulness of cutting guides for resection or biopsy of mandibular lesions: A technical note and case report. Journal of Stomatology, Oral and Maxillofacial Surgery, 124(1):101272.
Dewitz, B., Bibo, R., Moazemi, S., Kalkhoff, S., Recker, S., Liebrecht, A., Lichtenberg, A., Geiger, C., Steinicke, F., Aubin, H., and Schmid, F. (2022). Real-time 3D scans of cardiac surgery using a single optical-see-through head-mounted display in a mobile setup. Frontiers in Virtual Reality, 3.
Dong, S., Du, C., He, B., Zhu, Z., Han, D., Jin, W., Lin, H., and Shi, B. (2023). Application of an effective markerless augmented reality image guidance method in dental implant surgery. The International Journal of Medical Robotics and Computer Assisted Surgery, 19(4):2523.
Dong, Z., Li, B., Xie, R., Wu, Q., Zhang, L., and Bai, S. (2017). Comparative study of three kinds of fibula cutting guides in reshaping fibula for the reconstruction of mandible: An accuracy simulation study in-vitro. Journal of Cranio-Maxillofacial Surgery, 45(8):1227–1235.
Eckardt, C. and Paulo, E. B. (2016). Heads-up surgery for vitreoretinal procedures: An experimental and clinical study. Retina, 36(1):137–147.
Estrada, J., Paheding, S., Yang, X., and Niyaz, Q. (2022). Deep-learning-incorporated augmented reality application for engineering lab training. Applied Sciences, 12(10):5159.
Frantz, T., Jansen, B., Duerinck, J., and Vandemeulebroucke, J. (2018). Augmenting Microsoft's HoloLens with vuforia tracking for neuronavigation. Healthcare Technology Letters, 5(5):221–225.
Goormans, F., Sun, Y., Bila, M., Schoenaers, J., Geusens, J., Lübbers, H.-T., Coucke, W., and Politis, C. (2019). Accuracy of computer-assisted mandibular reconstructions with free fibula flap: Results of a single-center series. Oral Oncology, 97:69–75.
Häcker, A. and Michel, M. (2019). Perkutane nephrolitholapaxie (pcnl). Aktuelle Urologie, 50(02):203–212.
Hussain, R., Lalande, A., Guigou, C., and Bozorg-Grayeli, A. (2020). Contribution of augmented reality to minimally invasive computer-assisted cranial base surgery. IEEE Journal of Biomedical and Health Informatics, 24(7):2093–2106.
Incekara, F., Smits, M., Dirven, C., and Vincent, A. (2018). Clinical feasibility of a wearable mixed-reality device in neurosurgery. World Neurosurgery, 118:422–427.
Kavitha, A., Kumar, S. P., Darsana, G., and Sudhir, G. (2023). Enhancing visualization of surgical tool through integrated motion tracking system. In Extended Reality, pages 395–404. Springer Nature Switzerland.
Ke, S., Xiang, F., Zhang, Z., and Zuo, Y. (2019). A enhanced interaction framework based on VR, AR and MR in digital twin. Procedia CIRP, 83:753–758.
Kim, Y. C., Lee, S. J., Park, C.-U., Jeong, W. S., Na, S. W., and Choi, J. W. (2023). Application of augmented reality using automatic markerless registration for facial plastic and reconstructive surgery. Journal of Cranio-Maxillofacial Surgery.
Kunz, C., Maurer, P., Kees, F., Henrich, P., Marzi, C., Hlaváč, M., Schneider, M., and Mathis-Ullrich, F. (2020). Infrared marker tracking with the HoloLens for neurosurgical interventions. Current Directions in Biomedical Engineering, 6(1).
Lee, D., Yi, J. W., Hong, J., Chai, Y. J., Kim, H. C., and Kong, H.-J. (2018). Augmented reality to localize individual organ in surgical procedure. Healthcare Informatics Research, 24(4):394.
Liebmann, F., Roner, S., von Atzigen, M., Scaramuzza, D., Sutter, R., Snedeker, J., Farshad, M., and Fürnstahl, P. (2019). Pedicle screw navigation using surface digitization on the Microsoft HoloLens. International Journal of Computer Assisted Radiology and Surgery, 14(7):1157–1165.
Liu, H., Auvinet, E., Giles, J., and Rodriguez y Baena, F. (2018). Augmented reality based navigation for computer assisted hip resurfacing: A proof of concept study. Annals of Biomedical Engineering, 46(10):1595–1605.
Liu, H. and Baena, F. R. Y. (2020). Automatic markerless registration and tracking of the bone for computer-assisted orthopaedic surgery. IEEE Access, 8:42010–42020.
Mai, H.-N., Dam, V. V., and Lee, D.-H. (2023). Accuracy of augmented reality-assisted navigation in dental implant surgery: Systematic review and meta-analysis. Journal of Medical Internet Research, 25:42040.
Martin-Gomez, A., Li, H., Song, T., Yang, S., Wang, G., Ding, H., Navab, N., Zhao, Z., and Armand, M. (2022). STTAR: Surgical tool tracking using off-the-shelf augmented reality head-mounted displays. https://arxiv.org/abs/2208.08880. [Online; accessed October 14, 2023].
McCloskey, K., Turlip, R., Ahmad, H. S., Ghenbot, Y. G., Chauhan, D., and Yoon, J. W. (2023). Virtual and augmented reality in spine surgery: A systematic review. World Neurosurgery, 173:96–107.
MedlinePlus (2020). Anastomosis: MedlinePlus Medical Encyclopedia — https://medlineplus.gov/ency/article/002231.htm. [Accessed 16-11-2023].
Microsoft (2023a). Documentation du développeur MRTK2-Unity - MRTK 2. https://learn.microsoft.com/fr-fr/windows/mixed-reality/mrtk-unity/mrtk2/?view=mrtkunity-2022-05. [Accessed 11-11-2023].
Microsoft (2023b). Microsoft HoloLens — Mixed Reality Technology for Business. https://www.microsoft.com/en-us/hololens. [Accessed 30-12-2023].
Mischkowski, R. A., Zinser, M. J., Kübler, A. C., Krug, B., Seifert, U., and Zöller, J. E. (2006). Application of an augmented reality tool for maxillary positioning in orthognathic surgery – a feasibility study. Journal of Cranio-Maxillofacial Surgery, 34(8):478–483.
NASA (2020). NASA TLX Task Load Index. https://humansystems.arc.nasa.gov/groups/tlx/index.php. [Accessed 29-11-2023].
Palumbo, M. C., Morchi, L., Corbetta, V., Menciassi, A., De Momi, E., Votta, E., and Redaelli, A. (2022). An easy and user independent augmented reality based navigation system for radiation-free interventional procedure. In 2022 International Symposium on Medical Robotics (ISMR). IEEE.
Patel, S. Y., Kim, D. D., and Ghali, G. E. (2019). Maxillofacial reconstruction using vascularized fibula free flaps and endosseous implants. Oral and Maxillofacial Surgery Clinics of North America, 31(2):259–284.
Pepe, A., Trotta, G. F., Mohr-Ziak, P., Gsaxner, C., Wallner, J., Bevilacqua, V., and Egger, J. (2019). A marker-less registration approach for mixed reality-aided maxillofacial surgery: a pilot evaluation. Journal of Digital Imaging, 32(6):1008–1018.
Pham Dang, N., Chandelon, K., Barthelemy, I., Devoize, L., and Bartoli, A. (2021). A proof-of-concept augmented reality system in oral and maxillofacial surgery. Journal of Stomatology, Oral and Maxillofacial Surgery, 122(4):338–342.
Pietruski, P., Majak, M., Swiatek-Najwer, E., Zuk, M., Popek, M., Jaworowski, J., and Mazurek, M. (2019). Supporting fibula free flap harvest with augmented reality: A proof-of-concept study. The Laryngoscope, 130(5):1173–1179.
Piramide, C., Ulrich, L., Piazzolla, P., and Vezzetti, E. (2022). Toward supporting maxillo-facial surgical guides positioning with mixed reality—a preliminary study. Applied Sciences, 12(16):8154.
PTC (2023). Vuforia, market-leading enterprise AR. https://www.ptc.com/en/products/vuforia. [Accessed 17-11-2023].
Qian, L., Barthel, A., Johnson, A., Osgood, G., Kazanzides, P., Navab, N., and Fuerst, B. (2017). Comparison of optical see-through head-mounted displays for surgical interventions with object-anchored 2D-display. International Journal of Computer Assisted Radiology and Surgery, 12(6):901–910.
Sadeghi-Niaraki, A. and Choi, S.-M. (2020). A survey of marker-less tracking and registration techniques for health & environmental applications to augmented reality and ubiquitous geospatial information systems. Sensors, 20(10):2997.
Scolozzi, P. and Bijlenga, P. (2017). Removal of recurrent intraorbital tumour using a system of augmented reality. British Journal of Oral and Maxillofacial Surgery, 55(9):962–964.
Shibata, T., Kim, J., Hoffman, D. M., and Banks, M. S. (2011). The zone of comfort: Predicting visual discomfort with stereo displays. Journal of Vision, 11(8):11–12.
Spirig, J. M., Roner, S., Liebmann, F., Fürnstahl, P., and Farshad, M. (2021). Augmented reality-navigated pedicle screw placement: A cadaveric pilot study. European Spine Journal, 30(12):3731–3737.
Stucki, J., Dastgir, R., Baur, D. A., and Quereshy, F. A. (2023). The use of virtual reality and augmented reality in oral and maxillofacial surgery: A narrative review. Oral Surgery, Oral Medicine, Oral Pathology and Oral Radiology.
Succo, G., Berrone, M., Battiston, B., Tos, P., Goia, F., Appendino, P., and Crosetti, E. (2014). Step-by-step surgical technique for mandibular reconstruction with fibular free flap: application of digital technology in virtual surgical planning. European Archives of Oto-Rhino-Laryngology, 272(6):1491–1501.
Suenaga, H., Tran, H. H., Liao, H., Masamune, K., Dohi, T., Hoshi, K., and Takato, T. (2015). Vision-based markerless registration using stereo vision and an augmented reality surgical navigation system: a pilot study. BMC Medical Imaging, 15(1).
Tarsitano, A., Mazzoni, S., Cipriani, R., Scotti, R., Marchetti, C., and Ciocca, L. (2014). The CAD-CAM technique for mandibular reconstruction: An 18 patients oncological case-series. Journal of Cranio-Maxillofacial Surgery, 42(7):1460–1464.
Tremosa, L. (2023). Beyond AR vs. VR: What is the difference between AR vs MR vs VR vs XR? Interaction design foundation. https://www.interaction-design.org/literature/article/beyond-ar-vs-vr-what-is-the-difference-between-ar-vs-mr-vs-vr-vs-xr. [Accessed 29-12-2023].
Trotta, G. F., Pellicciari, R., Boccaccio, A., Brunetti, A., Cascarano, G. D., Manghisi, V. M., Fiorentino, M., Uva, A. E., Defazio, G., and Bevilacqua, V. (2019). A neural network-based software to recognise blepharospasm symptoms and to measure eye closure time. Computers in Biology and Medicine, 112:103376.
Unity (2023). Plateforme de développement en temps réel Unity — Moteur 3D, 2D, RV et RA. https://unity.com/fr. [Accessed 11-11-2023].
Verhey, J. T., Haglin, J. M., Verhey, E. M., and Hartigan, D. E. (2020). Virtual, augmented, and mixed reality applications in orthopedic surgery. The International Journal of Medical Robotics and Computer Assisted Surgery, 16(2).
Vuforia (2023). Vuforia Engine Overview — Vuforia Library. https://developer.vuforia.com/library/getting-started/vuforia-features. [Accessed 17-11-2023].
VuforiaMTG (2023). Advanced Model Target Databases — Vuforia Library — developer.vuforia.com. https://developer.vuforia.com/library/model-targets/advanced-model-target-databases. [Accessed 19-11-2023].
Wang, J., Shen, Y., and Yang, S. (2019). A practical marker-less image registration method for augmented reality oral and maxillofacial surgery. International Journal of Computer Assisted Radiology and Surgery, 14(5):763–773.
Wang, J., Suenaga, H., Hoshi, K., Yang, L., Kobayashi, E., Sakuma, I., and Liao, H. (2014). Augmented reality navigation with automatic marker-free image registration using 3D image overlay for dental surgery. IEEE Transactions on Biomedical Engineering, 61(4):1295–1304.
Wijbenga, J. G., Schepers, R. H., Werker, P. M., Witjes, M. J., and Dijkstra, P. U. (2016). A systematic review of functional outcome and quality of life following reconstruction of maxillofacial defects using vascularized free fibula flaps and dental rehabilitation reveals poor data quality. Journal of Plastic, Reconstructive & Aesthetic Surgery, 69(8):1024–1036.
Wybaillie, G. (2022). Developments towards an augmented reality application for maxillofacial surgery. Master’s thesis, Katholieke Universiteit Leuven (KUL), Leuven, Belgium. Unpublished master’s thesis.
Yadav, N. (2018). Understanding display techniques in Augmented Reality. https://blog.prototypr.io/understanding-display-techniques-in-augmented-reality. [Accessed 31-12-2023].
Zhu, M., Liu, F., Chai, G., Pan, J. J., Jiang, T., Lin, L., Xin, Y., Zhang, Y., and Li, Q. (2017). A novel augmented reality system for displaying inferior alveolar nerve bundles in maxillofacial surgery. Scientific Reports, 7(1).
Zinser, M. J., Mischkowski, R. A., Dreiseidler, T., Thamm, O. C., Rothamel, D., and Zöller, J. E. (2013). Computer-assisted orthognathic surgery: Waferless maxillary positioning, versatility, and accuracy of an image-guided visualization display. British Journal of Oral and Maxillofacial Surgery, 51(8):827–833.
