De toekomst voelen: virtual reality die je kunt aanraken
- MartaRozycka
Stel je voor dat je naar 2075 bent getransporteerd en op het oppervlak van Mars staat. Na een hele dag werken aan de gewassen om je Mars-kolonie te voeden, heb je een beetje honger. Gelukkig staat er een middagsnack op de tafel voor je klaar. Een appel, vers geplukt uit je Marsboomgaard. Je strekt je arm uit, pakt het fruit en brengt het naar je mond om er een sappige hap van te nemen. Wat als we je zouden vertellen dat het apparaat dat we hebben ontwikkeld deze fantasie dichter bij de werkelijkheid brengt...?
Meer dan beeld en geluid
Virtual reality is booming, van entertainment tot industrie en wetenschap. De meesten van ons zijn bekend met het idee dat je een headset opzet en naar een andere wereld wordt getransporteerd. Maar heb je je ooit afgevraagd hoe het zou zijn om de virtuele omgeving niet alleen te zien of te horen, maar ook te voelen? Om het gewicht van een voorwerp te voelen, ook al houd je het niet echt vast? Dat is waar ons masterproefproject om de hoek komt kijken.
Een exoskelet voor zwaartekracht
Om de virtuele objecten echt te laten aanvoelen, hebben we een exoskelet ontworpen en gebouwd – een draagbaar apparaat voor de arm dat bewegingen kan weerstaan of ondersteunen. De krachten die het genereert bootsen de zwaartekracht na, waardoor gebruikers het gewicht van objecten in verschillende zwaartekrachtvelden kunnen voelen. Met dit apparaat kun je vanuit je comfortabele woonkamer de lichtheid van een appel op Mars voelen of moeite hebben om hem op Jupiter op te tillen.
Hoe werkt het? Wanneer je de virtuele appel vastpakt en optilt, duwt de motor in het apparaat tegen je beweging in. Je hersenen interpreteren deze weerstand als gewicht, waardoor je denkt dat je de appel echt vasthoudt.
In tegenstelling tot de meeste exoskeletten, die zwaar zijn en alleen in een laboratoriumomgeving kunnen worden gebruikt, is dit apparaat compact, draadloos en gebouwd met standaardonderdelen. Het is ontworpen met het oog op toegankelijkheid, zodat het op grote schaal kan worden toegepast in verschillende domeinen en buiten het laboratorium.
Een appel voor elke planeet
Om het apparaat te testen, hebben we ook een VR-applicatie gebouwd. Gebruikers kunnen verschillende planeten verkennen en voelen hoe de zwaartekracht het gewicht van de appel verandert. Waarom een appel? Het is een eerbetoon aan Isaac Newton en de vallende vrucht die hem inspireerde tot zijn wet van de universele zwaartekracht.
Van prototype naar mensen
We hebben eerst systeemtests uitgevoerd om er zeker van te zijn dat het apparaat veilig was en betrouwbaar functioneerde. Vervolgens hebben 12 gebruikers het uitgeprobeerd. Hun feedback? Het apparaat voelde comfortabel, draagbaar en overtuigend aan. Opmerkelijk genoeg meldden 11 van de 12 gebruikers het gevoel dat ze een voorwerp vasthielden. Dit zijn allemaal bemoedigende tekenen voor toekomstige toepassingen van het apparaat in VR.
Van de ruimte naar chirurgie
We hadden ons apparaat in eerste instantie bedoeld voor de training van astronauten, om toekomstige ontdekkingsreizigers te helpen zich voor te bereiden op missies in verschillende zwaartekrachtomstandigheden. Maar het potentieel ervan reikt veel verder dan de ruimte. Door realistische een realistisch gevoel van tast toe te voegen aan virtual reality, zou de technologie vele andere gebieden kunnen transformeren waar aanraking, kracht en gewicht van belang zijn. Hier volgen enkele voorbeelden:
· Astronautentraining: een astronaut kan voor vertrek van de aarde oefenen met het optillen van gereedschap of het uitvoeren van dagelijkse taken onder de zwaartekracht van Mars of de maan.
· Geneeskunde: een chirurg in Brussel kan een patiënt in Madrid opereren en elk instrument voelen alsof hij het zelf in zijn hand heeft.
· Opleiding van personeel: een ingenieur kan in VR oefenen met het repareren van hoogspannings- of delicate machines, waarbij hij het werkelijke gewicht van de gereedschappen ervaart, maar zonder risico.
· Onderwijs: een student kan virtuele laboratoriumapparatuur bedienen en scheikundige experimenten uitvoeren wanneer de middelen beperkt zijn.
· Entertainment: Een gamer kan het gewicht van een zwaard voelen, waardoor de gameplay meeslepender is dan ooit.
Op weg naar een tastbare toekomst
Met onze technologie vervaagt de grens tussen realiteit en virtualiteit. Echte immersie vereist meer dan alleen beeld, het vereist ook aanraking. Dit werk is een stap om de immersie te verbeteren. Zoals de computerwetenschapper Alan Kay ooit zei: "De beste manier om de toekomst te voorspellen, is door die te verzinnen." We hopen die toekomst een beetje dichterbij te brengen, zodat u misschien op een dag zelfs die Marsappel kunt proeven!
Bibliografie
[1] S. Zhang and W. Li, “Applying extended reality(xr) technology in commerce, management, and business applications: A survey,” in 2024 4th International Conference on Computer, Control and Robotics (ICCCR), pp. 108–113, 2024.
[2] M. Holly, J. Pirker, S. Resch, S. Brettschuh, and C. Gutl, “Designing vr experiences – expectations for ¨ teaching and learning in vr,” Educational Technology Society, vol. 24, no. 2, pp. 107–119, 2021.
[3] M. C. Howard, M. B. Gutworth, and R. R. Jacobs, “A meta-analysis of virtual reality training programs,” Computers in Human Behavior, vol. 121, p. 106808, 2021.
[4] V. Garg, V. Singh, and L. Soni, “Preparing for space: How virtual reality is revolutionizing astronaut training,” in 2024 IEEE International Conference for Women in Innovation, Technology Entrepreneurship (ICWITE), 2024.
[5] D. Martin, S. Malpica, D. Gutierrez, B. Masia, and A. Serrano, “Multimodality in vr: A survey,” ACM Comput. Surv., vol. 54, 2022.
[6] J. Huang, T. Tanino, K. Wada, and N. Tomokuni, “Measurement of the relationship between weight perception and upper limb movement,” in 2012 IEEE International Conference on Robotics and Biomimetics (ROBIO), pp. 1123–1128, 2012.
[7] D. Pinto, M. Garnier, J. Barbas, S. H. Chang, S. Charlifue, E. Field-Fote, C. Furbish, C. Tefertiller, C. K. Mummidisetty, H. Taylor, A. Jayaraman, and A. W. Heinemann, “Budget impact analysis of robotic exoskeleton use for locomotor training following spinal cord injury in four sci model systems,” Journal of NeuroEngineering and Rehabilitation, vol. 17, no. 1, pp. 1–10, 2020. Accessed: May 19, 2025.
[8] A. D. Andre and P. Martins, “Exo supportive de- ´ vices: Summary of technical aspects,” Bioengineering, vol. 10, no. 11, 2023.
[9] S. Massardi, D. Rodriguez-Cianca, D. Pinto Fernandez, J. C. Moreno, M. Lancini, and D. Torricelli, “Characterization and evaluation of human–exoskeleton interaction dynamics: A review,” Sensors, vol. 22, no. 11, 2022.
[10] A. Baldassarre, L. G. Lulli, F. Cavallo, L. Fiorini, A. Mariniello, N. Mucci, and G. Arcangeli, “Industrial exoskeletons from bench to field: Human-machine interface and user experience in occupational settings and tasks,” Frontiers in Public Health, vol. Volume 10 - 2022, 2022.
[11] T. Muender, M. Bonfert, A. V. Reinschluessel, R. Malaka, and T. Doring, “Haptic fidelity framework: ¨ Defining the factors of realistic haptic feedback for virtual reality,” in Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems, CHI ’22, (New York, NY, USA), Association for Computing Machinery, 2022.
[12] A. Geris, B. Cukurbasi, M. Kilinc, and O. Teke, “Balancing performance and comfort in virtual reality: A study of fps, latency, and batch values,” Software: Practice and Experience, vol. 54, no. 12, pp. 2336– 2348, 2024.
[13] H. Oh and W. Son, “Cybersickness and its severity arising from virtual reality content: A comprehensive study,” Sensors, vol. 22, no. 4, 2022.
[14] “A touch of virtual reality,” Nature Machine Intelligence, vol. 5, no. 6, pp. 557–557, 2023.
[15] Y. Shi and G. Shen, “Haptic sensing and feedback techniques toward virtual reality,” Research, vol. 7, p. 0333, 2024.
[16] E. Pezent, A. Israr, M. Samad, S. Robinson, P. Agarwal, H. Benko, and N. Colonnese, “Tasbi: Multisensory squeeze and vibrotactile wrist haptics for augmented and virtual reality,” in 2019 IEEE World Haptics Conference (WHC), pp. 1–6, 2019.
[17] P. Strohmeier and K. Hornbæk, “Generating haptic textures with a vibrotactile actuator,” in Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, CHI ’17, (New York, NY, USA), p. 4994–5005, Association for Computing Machinery, 2017.
[18] W. N. Lim, K. M. Yap, Y. Lee, C. Wee, and C. C. Yen, “A systematic review of weight perception in virtual reality: Techniques, challenges, and road ahead,” IEEE Access, vol. 9, pp. 163253–163283, 2021.
[19] A. Adilkhanov, M. Rubagotti, and Z. Kappassov, “Haptic devices: Wearability-based taxonomy and literature review,” IEEE Access, vol. 10, pp. 91923– 91947, 2022.
[20] D. Monteiro, H.-N. Liang, X. Wang, W. Xu, and H. Tu, “Design and development of a low-cost device for weight and center of gravity simulation in virtual reality,” in Proceedings of the 2021 International Conference on Multimodal Interaction, ICMI ’21, (New York, NY, USA), p. 453–460, Association for Computing Machinery, 2021.
[21] A. M. Okamura, “Lecture 7: Kinesthetic haptic devices: Design and kinematics.” https://web.stanford.edu/class/me327/ lectures/lecture07-prerecorded.pdf, 2020. ME 327: Design and Control of Haptic Systems, Stanford University.
[22] D. Verdel, S. Bastide, F. Geffard, O. Bruneau, N. Vignais, and B. Berret, “Reoptimization of single-joint motor patterns to non-earth gravity torques induced by a robotic exoskeleton,” iScience, vol. 26, no. 11, p. 108350, 2023.
[23] National Aeronautics and Space Administration, “Training for space: Astronaut training and mission preparation.” https://www.nasa.gov/centers/ johnson, 2006. Fact Sheet FS-2006-03-011-JSC, Johnson Space Center.
[24] C. Liang, F. Jiang, D. Kawaguchi, and X. Chen, “A biomechanical simulation of forearm flexion using the finite element approach,” Bioengineering, vol. 11, 12 2023.
[25] T. Proietti, E. Ambrosini, A. Pedrocchi, and S. Micera, “Wearable robotics for impaired upper-limb assistance and rehabilitation: State of the art and future perspectives,” IEEE Access, vol. PP, pp. 1–1, 01 2022.
[26] S. Lee, G. Park, D. Cho, H. Kim, J.-Y. Lee, K. Suyoung, S.-B. Park, and J.-H. Shin, “Comparisons between end-effector and exoskeleton rehabilitation robots regarding upper extremity function among chronic stroke patients with moderate-to-severe upper limb impairment,” Scientific Reports, vol. 10, 02 2020.
[27] H. S. Lo and S. Q. Xie, “Exoskeleton robots for upper-limb rehabilitation: State of the art and future prospects,” Medical Engineering Physics, vol. 34, no. 3, pp. 261–268, 2012.
[28] P. Maciejasz, J. Eschweiler, K. Gerlach-Hahn, A. Jansen-Troy, and S. Leonhardt, “A survey on robotic devices for upper limb rehabilitation,” Journal of NeuroEngineering and Rehabilitation, vol. 11, no. 1, p. 3, 2014.
[29] D. Chiaradia, M. Xiloyannis, M. Solazzi, L. Masia, and A. Frisoli, Comparison of a Soft Exosuit and a Rigid Exoskeleton in an Assistive Task: Proceedings of the 4th International Symposium on Wearable Robotics, WeRob2018, October 16-20, 2018, Pisa, Italy, pp. 415–419. 01 2019.
[30] A. D. Andre and P. Martins, “Exo supportive de- ´ vices: Summary of technical aspects,” Bioengineering (Basel, Switzerland), vol. 10, no. 11, p. 1328, 2023.
[31] A. Voilque, J. Masood, J. Fauroux, L. Sabourin, and ´ O. Guezet, “Industrial exoskeleton technology: Classification, structural analysis, and structural complexity indicator,” in 2019 Wearable Robotics Association Conference (WearRAcon), pp. 13–20, 2019.
[32] K. Rykaczewski, “Thermophysiological aspects of wearable robotics: Challenges and opportunities,” Temperature, vol. 10, no. 3, pp. 313–325, 2023.
[33] D. M. G. Preethichandra, L. Piyathilaka, J. H. Sul, U. Izhar, R. Samarasinghe, S. D. Arachchige, and L. C. de Silva, “Passive and active exoskeleton solutions: Sensors, actuators, applications, and recent trends,” Sensors (Basel, Switzerland), vol. 24, no. 21, p. 7095, 2024.
[34] M. Tiboni, A. Borboni, F. Verit ´ e, C. Bregoli, and ´ C. Amici, “Sensors and actuation technologies in exoskeletons: A review,” Sensors, vol. 22, no. 3, 2022.
[35] M. Sun, X. Ouyang, J. Mattila, H. Yang, and G. Hou, “One novel hydraulic actuating system for the lowerbody exoskeleton,” Chinese Journal of Mechanical Engineering, vol. 34, no. 1, p. 31, 2021.
[36] T. Ridremont, I. Singh, B. Bruzek, A. Jamieson, Y. Gu, R. Merzouki, and M. B. J. Wijesundara, “Pneumatically actuated soft robotic hand and wrist exoskeleton for motion assistance in rehabilitation,” Actuators, vol. 13, no. 5, p. 180, 2024.
[37] R. Gopura, D. Bandara, K. Kiguchi, and G. Mann, “Developments in hardware systems of active upperlimb exoskeleton robots: A review,” Robotics and Autonomous Systems, vol. 75, pp. 203–220, 2016.
[38] Myomo Inc., “Myomo – myopro powered arm brace.” https://myomo.com/, 2024. Accessed: May 20, 2025.
[39] M. A. Gull, S. Bai, and T. Bak, “A review on design of upper limb exoskeletons,” Robotics, vol. 9, no. 1, 2020.
[40] R. A. Serway and J. W. Jewett, Physics for Scientists and Engineers. Cengage Learning, 10 ed., 2018.
[41] ODrive Robotics, “Odrive gui interface documentation.” https://docs.odriverobotics.com/ v/latest/interfaces/gui.html, 2025. Accessed 14 May 2025.
[42] ODrive Robotics, “Odrive s1 datasheet.” https://docs.odriverobotics.com/v/latest/ hardware/s1-datasheet.html, 2025. Accessed 14 May 2025.
[43] Arduino AG, “Arduino uno rev3 smd.” https://store.arduino.cc/products/ arduino-uno-rev3-smd, 2025. Accessed 14 May 2025.
[44] Ai-Thinker, “Esp8266 serial esp-01 wi-fi module datasheet.” https://components101.com/ sites/default/files/component_datasheet/ ESP8266%20Datasheet.pdf, 2018. Accessed: May 16, 2025.
[45] U. Technologies, “Unity engine.” https://unity. com/products/unity-engine, 2025. Accessed 14 May 2025.
[46] B. K. and C. B., “Height estimation of an individual from forearm length in medical students,” Asian Journal of Medical Sciences, vol. 13, no. 5, pp. 90–93, 2022.
[47] NASA Goddard Space Flight Center, “Nasa planetary fact sheet.” https://nssdc.gsfc.nasa.gov/ planetary/factsheet/, 2025. Accessed 14 May 2025.
[48] ODrive Robotics, “D5312S 330KV Motor Specifications,” 2024. Accessed: 2025-05-14.
[49] CUI Devices, “AMT212B-V Absolute Rotary Encoder.” https://www. digikey.co.uk/en/products/detail/ same-sky-formerly-cui-devices/AMT212B-V/ 8537386, 2025. Accessed: May 15, 2025.
[50] ODrive Robotics, “Arduino uart communication guide.” https://docs.odriverobotics.com/ v/latest/guides/arduino-uart-guide.html, 2025. Accessed 14 May 2025.
[51] Rohde & Schwarz GmbH & Co. KG, “Understanding uart communication.” https://www.rohde-schwarz.com/nl/ products/test-and-measurement/ essentials-test-equipment/ digital-oscilloscopes/ understanding-uart_254524.html, 2025. Accessed 14 May 2025.
[52] H. A. Rahman, Y. C. Fai, and E. L. M. Su, “Analysis of human hand kinematics: Forearm pronation and supination,” Journal of Medical Imaging and Health Informatics, vol. 4, no. 2, pp. 245–249, 2014.
[53] H. V. Rahul, R. Rachana, L. G. Vaishnavi, V. Nesara, G. K. Savyasachi, and A. V. D’Souza, “Electronic speed controllers: A review,” International Journal of Engineering Research & Technology (IJERT), vol. 10, Nov. 2022. ICEI – 2022.
[54] M. Paterna, S. Magnetti Gisolo, C. De Benedictis, G. G. Muscolo, and C. Ferraresi, “A passive upperlimb exoskeleton for industrial application based on pneumatic artificial muscles,” Mechanical Sciences, vol. 13, no. 1, pp. 387–398, 2022.
[55] Desmos Inc., “Torque-speed curve visualization.” https://www.desmos.com/calculator/ 1bw85mchnu, 2025. Accessed 14 May 2025.
[56] Arduino Team, “Altsoftserial - arduino documentation.” https://docs.arduino.cc/libraries/ altsoftserial/, 2025. Accessed: May 21, 2025.
[57] Arduino Team, “Softwareserial - arduino documentation.” https://docs.arduino.cc/learn/ built-in-libraries/software-serial/, 2025. Accessed: May 21, 2025.
[58] ScienceDirect Topics, “Hyper-text transfer protocol - an overview.” https://www.sciencedirect. com/topics/computer-science/ hyper-text-transfer-protocol, 2025. Accessed: May 16, 2025.
[59] P. Blazek, J. Bydzovsky, R. Griffin, K. Mls, and B. Peterson, Obstacle Awareness Subsystem for Higher Exoskeleton Safety, pp. 59–71. 01 2021. [60] R. Dizor, A. Raj, and B. Gonzalez, “Deep reinforcement learning control of an avatar and exoskeleton,” in 2024 IEEE Research and Applications of Photonics in Defense Conference (RAPID), pp. 1–2, 2024.
[61] M. P. Inc., “Meta quest — mr & vr headsets & accessories.” https://www.meta.com/be/en/ quest/, 2025. Accessed 14 May 2025.
[62] U. Technologies, “Monobehaviour class — unity manual.” https://docs.unity3d. com/6000.1/Documentation/Manual/ class-MonoBehaviour.html, 2025. Accessed 14 May 2025.
[63] U. Technologies, “Unity asset store.” https:// assetstore.unity.com/, 2025. Accessed 14 May 2025.
[64] U. Technologies, “Unitywebrequest class — unity scripting api.” https://docs. unity3d.com/ScriptReference/Networking. UnityWebRequest.html, 2025. Accessed 14 May 2025.
[65] D. M. G. Preethichandra, L. Piyathilaka, J. H. Sul, U. Izhar, R. Samarasinghe, S. D. Arachchige, and L. C. de Silva, “Passive and active exoskeleton solutions: Sensors, actuators, applications, and recent trends,” Sensors (Basel, Switzerland), vol. 24, no. 21, p. 7095, 2024.
[66] Auxivo AG, “About auxivo.” https://www.auxivo. com/about, 2024. Accessed: 2025-05-04.
[67] Auxivo AG, “Eduexo maker.” https://www.auxivo. com/eduexo-maker, 2024. Accessed: 2025-05-04.
[68] Auxivo AG, EduExo – The Robotic Exoskeleton Kit. Handbook and Tutorial Maker Edition. Schwerzenbach, Switzerland: Auxivo AG, 2022. For educational use only. Contact: info@auxivo.com.
[69] O. Inc., “Onshape — product development platform.” https://www.onshape.com/en/, 2025. Accessed 14 May 2025.
[70] M. B. Naf, K. Junius, M. Rossini, C. Rodriguez- ¨ Guerrero, B. Vanderborght, and D. Lefeber, “Misalignment compensation for full human-exoskeleton kinematic compatibility: State of the art and evaluation,” Applied Mechanics Reviews, vol. 70, p. 050802, 02 2019.
[71] Onshape Inc., “Onshape - product development platform.” https://www.onshape.com/en/, 2024. Accessed: 2025-05-18.
[72] R. Cano-de-la Cuerda, A. Blazquez-Fern ´ andez, ´ S. Marcos-Anton, P. S ´ anchez-Herrera-Baeza, ´ P. Fernandez-Gonz ´ alez, S. Collado-V ´ azquez, ´ C. Jimenez-Antona, and S. Laguarta-Val, “Economic ´ cost of rehabilitation with robotic and virtual reality systems in people with neurological disorders: A systematic review,” vol. 13, no. 6, p. 1531, 2024. Accessed: May 19, 2025.
[73] ODrive Robotics, “Odrive hardware configuration documentation.” https://docs.odriverobotics. com/v/latest/manual/hardware-config.html, 2025. Accessed: May 18, 2025.
[74] A. Sattar, “Hardware design and development for an upper-body exoskeleton framework,” Master’s thesis, California State University, Northridge, January 2025. Accessed: May 16, 2025.
[75] A. Gonzalez-Mendoza, I. Qui ´ nones-Uri ˜ ostegui, ´ S. Salazar-Cruz, et al., “Design and implementation of a rehabilitation upper-limb exoskeleton robot controlled by cognitive and physical interfaces,” Journal of Bionic Engineering, vol. 19, pp. 1374–1391, 2022. Accessed: May 16, 2025.
[76] A. Tyagi, “Design and development of a low-cost upper limb exoskeleton for rehabilitation and strength augmentation: A portable, arduino-controlled system with emg integration for assistive motion and human augmentation,” April 2025. Accessed: May 16, 2025.
