Para conseguir crear una herramienta de realidad virtual capaz de enseñar a hablar en público, en ComunicArte estamos investigando las siguientes áreas:

  • Herramientas existentes para enseñar a hablar en público
  • Uso de videojuegos para mejorar competencias transversales
  • Uso de la realidad virtual para la enseñanza
  • Comunicación verbal y no verbal

Herramientas existentes para enseñar a hablar en público

Para entrenar las habilidades de hablar en público, existen en el mercado algunas aplicaciones que tienen acercamientos similares a nuestro proyecto. Para probar estas herramientas se organizó una jornada (Jornada “de lo que hay”) en la que participaron todos los miembros del equipo (5 de Abril de 2018). En esta jornada se hicieron pruebas con casi todas las herramientas disponibles, valorando sus aspectos positivos y negativos, y extrayendo ideas que pudiesen ser de aplicación para este proyecto.

Uso de la realidad virtual para la enseñanza

Hemos investigado algunas herramientas en el mercado planteadas para el aprendizaje y perfeccionamiento de diversas habilidades. Aunque las aplicaciones pioneras en entrenamiento usando la realidad virtual son los simuladores, existen muchos otros tipos de aplicaciones dedicadas al entrenamiento y aprendizaje. Esto se debe a que la tecnología permite simular entornos seguros en los cuales la persona con una determinada fobia puede enfrentarse a ella, sabiendo que la simulación está bajo su absoluto control y que en cualquier momento la puede parar. Esto puede resultar muy útil en el caso de las personas con discapacidad cognitiva, como se puede ver en el proyecto CicerOn, que pretende entrenar a estudiantes universitarios con Síndrome de Asperger para que venzan sus reticencias a hablar en público, o el  proyecto Lancelot, cuyo objetivo es facilitar el tratamiento de fobias en personas con TEA utilizando además técnicas de bio-feedback.

Comunicación verbal

Los dos parámetros que se han decidido analizar en el primer prototipo son la señal de la voz y el contenido del mensaje.
Para medir la señal de la voz se ha hecho una investigación previa de las herramientas disponibles en el mercado para este propósito. Existen muchas herramientas disponibles a este efecto, y dado que no dependen del idioma hablado, sino solamente de la señal de voz, muchas de ellas eran válidas para utilizarlas en el primer prototipo. Finalmente, se ha elegido la herramienta de BeyondVerbal  (http://www.beyondverbal.com/) por dos motivos principales: proporciona un análisis muy completo de emociones en la voz y ofrece una API que permite usarla sin la necesidad de instalar nada más.
 BeyondVerbal es una herramienta desarrollada por la compañía Beyond Verbal Communication que ofrece una API online que hace análisis de emociones a partir de las variaciones del tono de la voz sin tener en cuenta el contenido del discurso. En la propia compañía usan su herramienta para extraer marcadores en la voz de los individuos que permitan detectar ciertas enfermedades como depresión, esquizofrenia o autismo. También se usa para detectar el estado emocional del individuo en ciertas situaciones en las que este estado emocional puede tener un efecto negativo (por ejemplo, conduciendo un coche).
Todo el procesamiento se hace en su entorno Cloud. Desde el cliente es necesario mandar peticiones separadas por intervalos con los segmentos de audio a analizar. La respuesta que devuelve la API contiene valores de la valencia, temperamento y excitación de la voz analizada, así como el grupo de emociones en el que se ha clasificado (Enfado / Disgusto / Estrés, Tristeza / Inseguridad / Aburrimiento, Neutral, Felicidad / Entusiasmo / Simpatía o Calidez / Calma).
Este análisis de emociones a partir de la voz nos permite saber la emoción que está transmitiendo el orador a su audiencia y evaluar la efectividad de su discurso.

Comunicación no verbal

Los investigadores se han centrado en el estudio de libros del campo de psicología de expertos en la materia de comunicación no verbal. La principal fuente de datos hasta ahora ha sido el libro Non Verbal Communication, del reputado psicólogo Albert Mehrabian. Para el desarrollo de esta parte del proyecto, se ha considerado imprescindible la formación de los investigadores en comunicación no verbal, por lo que se se contrataron tres  jornadas de formación en el método BODYSYSTEMICS, impartidos por Naara Borao. La página oficial lo define como “una disciplina cuyo objetivo específico es estudiar y comprender el funcionamiento del pensamiento, notablemente, a través del estudio de los comportamientos no verbales. Se inscribe una gran parte dentro del campo paradigmático de los constructivistas sociales y se llena de constataciones propias del movimiento de Palo Alto. Más ampliamente, este método intenta en el seno de estos criterios, comprender la cognición y los comportamientos humanos que se encarnan en el cuerpo a través de los comportamientos no verbales. Dentro de esta óptica, Bodysystemicss integra la relación que un individuo tiene con su contexto para comprender mejor sus intenciones, sus emociones y sus motivaciones. La cultura y la comunicación verbal son, entonces, igualmente tenidas en cuenta, puesto que forman parte del contexto de interacción”.
Cómo medir los gestos hace referencia a la parte más tecnológica de la herramienta, en donde los investigadores encargados del desarrollo de la herramienta tienen ya una experiencia más amplia. En los precedentes a este trabajo, se ha trabajado mano a mano junto al Ballet Nacional de España en la captura de movimiento de bailarines y bailarinas de la compañía que dio fruto al primer videojuego de danza española. Estos antecedentes ofrecen un buen punto de partida para la consecución de esta parte del proyecto.
Pese a este trabajo previo, la captura de movimientos en tiempo real, y su posterior análisis y evaluación en un entorno virtual, es un paso más en el desarrollo de este tipo de herramientas. Dentro de este punto,se está realizando una prospección de los dispositivos que mejor se adaptan al proyecto para proceder a su adquisición. Hasta ahora se han investigado y usado las herramientas de realidad virtual más potentes del mercado como las HTC VIVE o las Oculus Rift. Actualmente, se baraja la posibilidad de incorporar a estas herramientas (que nos ofrecen el entorno inmersivo), un traje de captura de movimientos para que la captura y el procesamiento de los movimientos sea lo más efectiva y eficiente posible.