Immersive Virtual Reality Methods in Cognitive Neuroscience and Neuropsychology - HAL-SHS - Sciences de l'Homme et de la Société Accéder directement au contenu
Thèse Année : 2020

Immersive Virtual Reality Methods in Cognitive Neuroscience and Neuropsychology

Méthodes de réalité virtuelle immersives dans les neurosciences cognitives et la neuropsychologie

Panagiotis Kourtesis

Résumé

In cognitive neuroscience and neuropsychology, the collection of cognitive and behavioural data is predominantly achieved by implementing paper-and-pencil and computerized (i.e., 2D and 3D applications) assessments. However, these psychometric tools in clinics and/or laboratories display several limitations and discrepancies between the observed performance in the laboratory/clinic and the actual performance of individuals in everyday life. The functional and predictive association between an individual's performance on a set of neuropsychological tests and the individual's performance in various everyday life settings is called ecological validity. Ecological validity is considered an important issue that cannot be resolved by the currently available assessment tools. Virtual reality head-mounted displays (HMD) appear to be effective research tools, which may address the problem of ecological validity in neuropsychological testing. However, their widespread implementation is hindered by virtual reality induced symptoms and effects (VRISE) and the lack of skills in virtual reality software development. In this PhD, a technological systematic literature review of the reasons for adverse symptomatology was conducted and suggestions and technological knowledge for the implementation of virtual reality HMD systems in cognitive neuroscience provided. The review indicated features pertinent to display, sound, motion tracking, navigation, ergonomic interactions, user experience, and computer hardware that should be considered by researchers. Subsequently, a meta-analysis of 44 neuroscientific or neuropsychological studies involving virtual reality HMD systems was performed. The meta-analysis of the virtual reality studies demonstrated that new generation HMDs induce significantly less VRISE and marginally fewer dropouts. Importantly, the commercial versions of the new generation HMDs with ergonomic interactions had zero incidents of adverse symptomatology and dropouts. HMDs equivalent to or greater than the commercial versions of contemporary HMDs accompanied with ergonomic interactions are suitable for implementation in cognitive neuroscience. Another aim of this PhD was to devise a brief tool to appraise and report both the quality of software features and VRISE intensity quantitatively; such a tool does not currently exist. The Virtual Reality Neuroscience Questionnaire (VRNQ; Kourtesis et al., 2019) was developed to assess the quality of virtual reality software in terms of user experience, game mechanics, in-game assistance, and VRISE. Forty participants aged between 28 and 43 years were recruited (18 gamers and 22 non-gamers) for the study. They participated in 3 different virtual reality sessions until they felt weary or discomfort and subsequently filled in the VRNQ. The results demonstrated that VRNQ is a valid tool for assessing virtual reality software as it has good convergent, discriminant, and construct validity. The maximum duration of virtual reality sessions should be between 55 and 70 min when the virtual reality software meets or exceeds the parsimonious cut-offs of the VRNQ, and the users are familiarized with the virtual reality system. Also, gaming experience does not affect how long virtual reality sessions should last. Furthermore, while the quality of virtual reality software substantially modulates the maximum duration of virtual reality sessions, age and education do not. Finally, deeper immersion, better quality of graphics and sound, and more helpful in-game instructions and prompts were found to reduce VRISE intensity. The VRNQ facilitates the brief assessment and reporting of the quality of virtual reality software features and/or the intensity of VRISE, while its minimum and parsimonious cut-offs may appraise the suitability of virtual reality software for implementation in research and clinical settings. However, the development of virtual reality software is predominantly dependent on third parties (e.g., freelancers or companies) with programming and software development skills. A solution that will promote the adoption of immersive virtual reality as a research and clinical tool might be the in-house development of virtual reality research/clinical software by computer science literate cognitive scientists or research software engineers. In Chapter 4, guidelines are offered for the development of virtual reality software in cognitive neuroscience and neuropsychology, by describing and discussing the stages of the development of Virtual Reality Everyday Assessment Lab (VR-EAL), the first neuropsychological battery in immersive virtual reality. Techniques for evaluating cognitive functions within a realistic storyline are discussed. The utility of various assets in Unity, software development kits, and other software are described so that cognitive scientists can overcome challenges pertinent to VRISE and the quality of the virtual reality software. In addition, VR-EAL is evaluated in accordance with the necessary criteria for virtual reality software for research purposes. The virtual reality neuroscience questionnaire (VRNQ) was implemented to appraise the quality of the three versions of VR-EAL in terms of user experience, game mechanics, in-game assistance, and VRISE. Twenty-five participants aged between 20 and 45 years with 12-16 years of full-time education evaluated various versions of VR-EAL. The final version of VR-EAL achieved high scores in every sub-score of the VRNQ and exceeded its parsimonious cut-offs. It also appeared to have better in-game assistance and game mechanics, while its improved graphics substantially increased the quality of the user experience and almost eradicated VRISE. The results substantially support the feasibility of the development of effective virtual reality research and clinical software without the presence of VRISE during a 60-min virtual reality session. In Chapter 5, validation of VR-EAL as an assessment of prospective memory, episodic memory, attention, and executive functions using an ecologically valid approach is examined. Performance on the VR-EAL, an immersive virtual reality neuropsychological battery, is examined against an extensive paper-and-pencil neuropsychological battery. Forty-one participants (21 females) were recruited: 18 gamers and 23 non-gamers who attended both an immersive virtual reality and a paper-and-pencil testing session. Bayesian Pearson correlation analyses were conducted to assess construct and convergent validity of the VR-EAL. Bayesian t-tests were performed to compare virtual reality and paper-and-pencil testing in terms of administration time, similarity to real life tasks (i.e., ecological validity), and pleasantness. VR-EAL scores were significantly correlated with their equivalent scores on the paper-and-pencil tests. The participants' reports indicated that the VR-EAL tasks were considered significantly more ecologically valid and pleasant than the paper-and-pencil neuropsychological battery. The VR-EAL battery also had a shorter administration time. The VR-EAL appears to be an effective neuropsychological tool for the assessment of everyday cognitive functions, and has enhanced ecological validity, a highly pleasant testing experience, and does not induce cybersickness. In the final part of this thesis, the preparatory attentional and memory (PAM) and the multiprocess theories of prospective memory are examined by attempting to identify the cognitive functions which may predict the individual's performance on ecologically valid prospective memory tasks in the same group of participants described in Chapter 5. Bayesian t-tests were conducted to explore the differences among different prospective memory tasks (e.g., event-based and time-based) and prospective memory tasks with varying delays between encoding and the recall of the intended action (e.g., short-delay versus long-delay). Bayesian linear regression analyses were performed to examine the predictors of VR-EAL scores. The results revealed that the type of prospective memory task does not play a significant role in everyday prospective memory functioning, but instead the length of delay between encoding and retrieving the prospective memory intention plays a central role. Support for the PAM and MP frameworks was found in non-focal and focal event-based tasks respectively. However, the findings, inferring a dynamic interplay between automatic and intentional monitoring and retrieval processes, agree with the inclusive approach of the multiprocess framework. Also, the role of executive functions appears crucial in everyday PM. Finally, everyday PM is predominantly facilitated by episodic memory, visuospatial attention, auditory attention, and executive functions. In conclusion, this PhD thesis attempted to show how immersive virtual reality research methods may be implemented efficiently without the confounding effect of cybersickness symptomatology in order to enhance the ecological validity of neuropsychological testing and contribute to our understanding of everyday cognitive ability.
En neurosciences cognitives et en neuropsychologie, la collecte de données cognitives et comportementales est principalement réalisée en mettant en œuvre des évaluations papier-crayon et informatisées (c'est-à-dire des applications 2D et 3D). Cependant, ces outils psychométriques en clinique et/ou laboratoire présentent plusieurs limites et écarts entre les performances observées en laboratoire/clinique et les performances réelles des individus dans la vie de tous les jours. L'association fonctionnelle et prédictive entre la performance d'un individu à un ensemble de tests neuropsychologiques et la performance de l'individu dans divers contextes de la vie quotidienne est appelée validité écologique. La validité écologique est considérée comme une question importante qui ne peut être résolue par les outils d'évaluation actuellement disponibles. Les casques de réalité virtuelle (HMD) semblent être des outils de recherche efficaces, qui peuvent résoudre le problème de la validité écologique des tests neuropsychologiques. Cependant, leur mise en œuvre généralisée est entravée par les symptômes et effets induits par la réalité virtuelle (VRISE) et le manque de compétences dans le développement de logiciels de réalité virtuelle. Dans cette thèse, une revue systématique de la littérature technologique des raisons de la symptomatologie indésirable a été menée et des suggestions et des connaissances technologiques pour la mise en œuvre de systèmes HMD de réalité virtuelle en neurosciences cognitives ont été fournies. L'examen a indiqué des caractéristiques pertinentes pour l'affichage, le son, le suivi des mouvements, la navigation, les interactions ergonomiques, l'expérience utilisateur et le matériel informatique qui devraient être prises en compte par les chercheurs. Par la suite, une méta-analyse de 44 études neuroscientifiques ou neuropsychologiques impliquant des systèmes HMD de réalité virtuelle a été réalisée. La méta-analyse des études de réalité virtuelle a démontré que les HMD de nouvelle génération induisent significativement moins de VRISE et légèrement moins d'abandons. Il est important de noter que les versions commerciales des HMD de nouvelle génération avec interactions ergonomiques n'ont eu aucun incident de symptômes indésirables et d'abandons. Les HMD équivalents ou supérieurs aux versions commerciales des HMD contemporains accompagnés d'interactions ergonomiques conviennent à une mise en œuvre en neurosciences cognitives. Un autre objectif de cette thèse était de concevoir un bref outil pour évaluer et rapporter à la fois la qualité des fonctionnalités logicielles et l'intensité VRISE de manière quantitative ; un tel outil n'existe pas actuellement. Le Virtual Reality Neuroscience Questionnaire (VRNQ ; Kourtesis et al., 2019) a été développé pour évaluer la qualité des logiciels de réalité virtuelle en termes d'expérience utilisateur, de mécanismes de jeu, d'assistance dans le jeu et de VRISE. Quarante participants âgés de 28 à 43 ans ont été recrutés (18 joueurs et 22 non-joueurs) pour l'étude. Ils ont participé à 3 sessions de réalité virtuelle différentes jusqu'à ce qu'ils se sentent fatigués ou mal à l'aise et ont ensuite rempli le VRNQ. Les résultats ont démontré que VRNQ est un outil valide pour évaluer les logiciels de réalité virtuelle car il a une bonne validité convergente, discriminante et de construction. La durée maximale des séances de réalité virtuelle doit être comprise entre 55 et 70 min lorsque le logiciel de réalité virtuelle atteint ou dépasse les seuils parcimonieux du VRNQ, et que les utilisateurs sont familiarisés avec le système de réalité virtuelle. De plus, l'expérience de jeu n'affecte pas la durée des sessions de réalité virtuelle. De plus, si la qualité des logiciels de réalité virtuelle module sensiblement la durée maximale des séances de réalité virtuelle, l'âge et l'éducation ne le font pas. Enfin, une immersion plus profonde, une meilleure qualité des graphismes et du son, ainsi que des instructions et des invites de jeu plus utiles ont permis de réduire l'intensité de VRISE. Le VRNQ facilite la brève évaluation et le rapport de la qualité des fonctionnalités des logiciels de réalité virtuelle et/ou de l'intensité de VRISE, tandis que ses seuils minimums et parcimonieux peuvent évaluer l'adéquation des logiciels de réalité virtuelle à la mise en œuvre dans les environnements de recherche et cliniques. Cependant, le développement de logiciels de réalité virtuelle dépend principalement de tiers (par exemple, des indépendants ou des entreprises) ayant des compétences en programmation et en développement de logiciels. Une solution qui favorisera l'adoption de la réalité virtuelle immersive en tant qu'outil de recherche et clinique pourrait être le développement en interne de logiciels de recherche/cliniques en réalité virtuelle par des scientifiques cognitifs ou des ingénieurs en logiciel de recherche compétents en informatique. Dans le chapitre 4, des lignes directrices sont proposées pour le développement de logiciels de réalité virtuelle en neurosciences cognitives et en neuropsychologie, en décrivant et en discutant les étapes du développement de Virtual Reality Everyday Assessment Lab (VR-EAL), la première batterie neuropsychologique en réalité virtuelle immersive. Les techniques d'évaluation des fonctions cognitives dans un scénario réaliste sont discutées. L'utilité de divers actifs dans Unity, des kits de développement de logiciels et d'autres logiciels est décrite afin que les scientifiques cognitifs puissent surmonter les défis liés à VRISE et à la qualité du logiciel de réalité virtuelle. De plus, VR-EAL est évalué conformément aux critères nécessaires pour les logiciels de réalité virtuelle à des fins de recherche. Le questionnaire de neurosciences en réalité virtuelle (VRNQ) a été mis en place pour évaluer la qualité des trois versions de VR-EAL en termes d'expérience utilisateur, de mécanique de jeu, d'assistance dans le jeu et de VRISE. Vingt-cinq participants âgés de 20 à 45 ans avec 12 à 16 ans d'études à temps plein ont évalué différentes versions de VR-EAL. La version finale de VR-EAL a obtenu des scores élevés dans chaque sous-score du VRNQ et a dépassé ses seuils parcimonieux. Il semblait également avoir une meilleure assistance dans le jeu et une meilleure mécanique de jeu, tandis que ses graphismes améliorés augmentaient considérablement la qualité de l'expérience utilisateur et éradiquaient presque VRISE. Les résultats soutiennent considérablement la faisabilité du développement d'un logiciel clinique et de recherche en réalité virtuelle efficace sans la présence de VRISE pendant une session de réalité virtuelle de 60 minutes. Dans le chapitre 5, la validation de VR-EAL en tant qu'évaluation de la mémoire prospective, de la mémoire épisodique, de l'attention et des fonctions exécutives à l'aide d'une approche écologiquement valide est examinée. Les performances sur le VR-EAL, une batterie neuropsychologique de réalité virtuelle immersive, sont examinées par rapport à une vaste batterie neuropsychologique papier-crayon. Quarante et un participants (21 femmes) ont été recrutés : 18 joueurs et 23 non-joueurs qui ont assisté à la fois à une réalité virtuelle immersive et à une session de test papier-crayon. Des analyses de corrélation bayésiennes de Pearson ont été menées pour évaluer la validité conceptuelle et convergente du VR-EAL. Des tests t bayésiens ont été effectués pour comparer la réalité virtuelle et les tests papier-crayon en termes de temps d'administration, de similitude avec les tâches de la vie réelle (c'est-à-dire la validité écologique) et d'agrément. Les scores VR-EAL étaient significativement corrélés avec leurs scores équivalents aux tests papier-crayon. Les rapports des participants ont indiqué que les tâches VR-EAL étaient considérées comme significativement plus valides et agréables sur le plan écologique que la batterie neuropsychologique papier-crayon. La batterie VR-EAL avait également un temps d'administration plus court. Le VR-EAL semble être un outil neuropsychologique efficace pour l'évaluation des fonctions cognitives quotidiennes, et a une validité écologique améliorée, une expérience de test très agréable et n'induit pas de cybermalaises. Dans la dernière partie de cette thèse, les théories préparatoires de l'attention et de la mémoire (PAM) et les théories multiprocessus de la mémoire prospective sont examinées en tentant d'identifier les fonctions cognitives qui peuvent prédire la performance de l'individu sur des tâches de mémoire prospective écologiquement valides dans le même groupe de participants. décrites au chapitre 5. Des tests t bayésiens ont été effectués pour explorer les différences entre différentes tâches de mémoire prospective (par exemple, basées sur les événements et basées sur le temps) et les tâches de mémoire prospective avec des délais variables entre l'encodage et le rappel de l'action prévue (par exemple, délai court versus délai long). Des analyses de régression linéaire bayésienne ont été effectuées pour examiner les prédicteurs des scores VR-EAL. Les résultats ont révélé que le type de tâche de mémoire prospective ne joue pas un rôle significatif dans le fonctionnement quotidien de la mémoire prospective, mais que la durée du délai entre l'encodage et la récupération de l'intention de mémoire prospective joue un rôle central. La prise en charge des frameworks PAM et MP a été trouvée respectivement dans les tâches non focales et focales basées sur les événements. Cependant, les résultats, inférant une interaction dynamique entre les processus de surveillance et de récupération automatiques et intentionnels, sont en accord avec l'approche inclusive du cadre multiprocessus. Aussi, le rôle des fonctions exécutives apparaît crucial dans la PM quotidienne. Enfin, la PM quotidienne est principalement facilitée par la mémoire épisodique, l'attention visuospatiale, l'attention auditive et les fonctions exécutives. En conclusion, cette thèse de doctorat a tenté de montrer comment les méthodes de recherche en réalité virtuelle immersive peuvent être mises en œuvre efficacement sans l'effet confondant de la symptomatologie des cybermalaises afin d'améliorer la validité écologique des tests neuropsychologiques et de contribuer à notre compréhension de la capacité cognitive quotidienne.
Fichier principal
Vignette du fichier
Kourtesis2020 (4).pdf (11.61 Mo) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

tel-03563411 , version 1 (09-02-2022)

Identifiants

  • HAL Id : tel-03563411 , version 1

Citer

Panagiotis Kourtesis. Immersive Virtual Reality Methods in Cognitive Neuroscience and Neuropsychology: The Virtual Reality Everyday Assessment Lab (VR-EAL), An Immersive Neuropsychological Test Battery of Everyday Cognitive Functions.. Human-Computer Interaction [cs.HC]. University of Edinburgh, 2020. English. ⟨NNT : ⟩. ⟨tel-03563411⟩

Collections

RISC_THESE_HDR
211 Consultations
177 Téléchargements

Partager

Gmail Facebook X LinkedIn More