Desde la aparición de los primeros juegos basados en el sonido a finales de la década de los setenta, el genero de los conocidos como audio games ha experimentado una notable evolución, con altibajos, a lo largo de las tres últimas décadas.
La aparición en la actualidad de nuevos soportes y posibilidades tecnológicas para la industria ha dado una nueva dimensión a estas experiencias, lo que ha desembocado en una nueva forma de entender el audio juego.
Dentro de esta evolución, y enmarcada en el colectivo ArsGames, ha nacido una experiencia que cabría señalar como la más importante de España dentro de los actuales formatos de audio games.
Audiogames 3.0. es un proyecto en el que se produce la interacción del jugador con un entorno sonoro aumentado, lo que representa una novedosa y apasionante experiencia tanto para jugadores con limitaciones visuales como para cualquier perfil de jugador.
Su funcionamiento podría definirse como un sistema de realidad aumentada a través del sonido. Eurídice Cabañes, impulsora y coordinadora del proyecto (junto con Luca Carrubba y Carlos Padial) y especializada en filosofía de la tecnología, explica a Omnium Games que «no es como otros audio juegos en los que te puedes mover a través de flechas y controladores como cualquier juego convencional, sino que el controlador es tu propio cuerpo moviéndose en el espacio. El usuario experimenta la sensación de entrar en un espacio poblado de objetos sonoros, que no puede tocar ni ver, peroque te rodean y con los que sí puede interactuar».
El esquema de jugabilidad de Audiogames 3.0. parte de una idea simple de gameplay basado en el PacMan, donde hay objetos sonoros «malvados» de los que hay que huir, objetos neutros con los que se puede interactuar y bonus que hay que tocar para eliminar el resto de objetos sonoros y pasar al siguiente nivel.
Así, el campo de juego está poblado de objetos virtuales que se convierten en objetos de sonido en el espacio de juego. Estos objetos son intangibles e invisibles, pero en el mundo virtual tienen una masa específica y peso y su comportamiento físico. Cuando el jugador entra en colisión con ellos, se mueven y rebotan en el espacio del juego, generando una composición de sonido en tiempo real.
Así, al tocar un objeto neutro, estos rebotan por todo el espacio de juego haciendo una composición musical, ya que cada objeto emite una nota. El objeto «malvado» emite un sonido muy grave, para identificarlo, y que, al entrar en contacto con él, te «mata». El bonus emite una nota muy aguda. Al tocarlo duplica la cadencia de las notas musicales que representan a los objetos neutros, a los que ahora te puedes «comer» dentro del límite temporal propio del estado «bonus» para pasar a la siguiente fase.
Audiogames 3.0. ofrece incluso una experiencia colectiva a los espectadores del mismo, ya que mientras el usuario juega, quienes están esperando su turno pueden ver la interacción del usuario con el mundo sonoro y los objetos que lo pueblan a través de una visualización 3D fuera del marco de visión del usuario.
Tecnología
En Audiogames 3.0. el usuario se desplaza en por un espacio vacía de seis metros cuadrados, Eurídice Cabañes explica que «necesitábamos saber los datos del usuario» para lo que se han empleado dos herramientas disponibles diferentes, la primera detecta la posición del usuario en el espacio a través de un sistema de traking creado empleando la tecnología de Kinect de Xbox.
Pero la instalación requiere también los datos de la orientación del usuario, es decir, hacia dónde está mirando, para lo que el juego recurre aquí a la brújula de Android, un elemento fundamental para que el sistema de generación del sonido binaural a timpo real reproduzca el sonido en función de si el objeto se encuentra delante, a alguno de los lados del jugador o a su espalda.
«Consideramos muy importante el utilizar herramientas que ya existen en lugar de crear otras nuevas», señala Eurídice Cabañes, que ha participado del desarrollo del proyecto junto a Luca Carubba y Antonio Padial.
El siguiente paso era aplicar una tecnología de reproducción sonora lo más fiel posible a la realidad, para crear una experiencia intensa en el jugador. Para ello, Audiogame 3.0. ha recurrido al sonido binaural, una técnica hiper-realista de grabación que reproduce la percepción exacta que del sonido hace el oído humano.
Para ello se utiliza un procedimiento denominado la Cabeza de Dummy, que es una réplica de los canales auditivos humanos, donde se alojan los micrófonos, recreando el comportamiento de las ondas sonoras en nuestros oídos y replicando las mismas diferencias de amplitud y fase que se darían en la escucha real.
Este es el método más sencillo por el que se generan grabaciones de sonido binaural, pero en AudioGames 3.0., al no contar en el contexto espacial con objetos sonoros con los que interactuar, todo el sonido binaural se ha desarrollado mediante algoritmos en Pure Data.
Una vez que se tiene plasmada toda la tecnología de captura de movimiento y voz, el siguiente paso era traducirlo en un proceso que permitiera aplicarlo a un juego. Los desarrolladores de Audiogame 3.0. decidieron, en este paso, pasar toda esa información a Blender, que es un programa de programación 3D de software libre, que se utilizaba inicialmente para animación y modelado pero que también tiene un motor de juego, que es donde se plasma la ejecución de las dinámicas de juego y las interacciones una vez se ha generado previamente el mundo 3D y sus reglas.
Este motor permite la interactuación del jugador con el universo del juego. Una vez logrado esto, los desarrolladores optaron por pasar la información de Blender a Pure Data, un programa de programación visual a tiempo real creado inicialmente para la programación musical y que Audiogames 3.0. ha usado para generar todos los sonidos a tiempo real, los cuales son enviados a los cascos wifi que lleva el usuario.
La filosofía que inspira el soporte tecnológico de Audiogame 3.0. es la sinestesia, una corriente que busca nuevas formas de investigar las relaciones personales y colectivas entre el sonido y la visión. El llamado efecto Synaesthesia se basa en la transcodificación de la visualización del juego en un sonido significativo.
«Creemos que este es un interesante campo de experimentación que puede dar lugar a una nueva relación con el espacio y la tecnología a través del sonido», señalan sus creadores.
Antecedentes
El campo de los audio juegos, como concepto general, cuenta en realidad con una trayectoria que cabría definir casi de tradicional. De hecho, la primera experiencia que se tradujo como audio game la encontramos en 1974, cuando Atari lanzó Touch Me. El juego consistía en una serie de colores que parpadeaban acompañadas de un sonido propio.
El jugador tenía que reproducir la secuencia de sonido presionando una secuencia de botones correspondientes, después de lo cual se añadí un nuevo color/sonido a la secuencia de forma creciente, para probar continuamente la memoria del jugador.
Tras el éxito de Touch Me, Milton Bradley Company lanzó en 1978 el popularísimo Simon, un juego electrónico en forma de disco que reproducía su éxito en base a cuadrantes de colores y sonidos.
La entrada del concepto de audio game en el terreno del videojuego no tardaría en aparecer. En 1984, se hizo una adaptación del exitoso Colossal Cave Adventure, que en 1976 se convirtió en el primer juego de aventuras para ordenador con programación basada en texto.
Este tipo de programación lo hacía relativamente accesible para los usuarios con discapacidad visual, ya que sólo requería del uso adicional de software de texto a voz (TTS). Por la misma razón, tras el desarrollo de software TTS, sxe produjo un desarrollo temprano de la adaptación a la voz de los juegos programados en base a texto.
La disponibilidad de este tipo de software no fue de acceso común hasta la inclusión del programa MacinTalk de Apple Computers en 1984, lo que permitió la primera adaptación a voz de un juego programado en base a texto (Colossal Cave Adventure).
Esta diversificación hizo que se popularizaran en la década de los noventa las adaptaciones a voz de muchos videojuegos, cuando no la creación directamente de juegos que permitían la interacción a través del sonido.
Sin embargo, el posterior desarrollo de la industria con la aparición de los primeros PC y las posteriores consolas, derivó el desarrollo hacia técnicas cada vez más tendentes a lo visual, lo que relegó la creación de videojuegos para personas con problemas de visión a títulos de menor entidad.
La nueva era ha llegado a partir del 2000, con el desarrollo de la técnica de sonido binaural, que permite reproducir de forma fiel el sonido tal y como se produce en nuestro oído. El estudio y la aplicación de esta técnicas, unida a los nuevos soportes, ha permitido el relanzamiento del género, con la aparición de títulos de referencia como BBBeat.
BBBeat es un juego de audio diseñado para discapacitados visuales que, como tal, no tiene pantalla de vídeo. El jugador lleva un par de auriculares y debe guiarse por el sonido para localizar una abeja y luego aplastarla. Uos sensores conectados a su muñeca le indican si a la «abeja» se dio el manotazo.
El juego, desarrollado en la Universidad de Tohoku Fukushi en Japón, está diseñado para escuelas y centros de rehabilitación para personas ciegas, para ayudar con la localización de sonido y aprender a navegar en base a la fuente de sonido, y no para el entretenimiento personal.
Esta tecnología ha permitido el desarrollo de otros géneros dentro de este redimensionamiento del audio game, tales como scrollers laterales, aventuras de acción en 3D, tiradores o juegos de estilo arcade.
Actualmente, el desarrollo de audio juegos se encuentra muy en auge, lo que ha permitido su penetración en España. La iniciativa llevada a cabo ahora desde Arsgames supone un nuevo paso en su evolución muy a tener en cuenta, como es el de la combinación del audio juego con la realidad aumentada.
Desarrollo
AudioGames 3.0. parte de un ambicioso proyecto que buscaba dar un paso más allá en el concepto de audio juego. Según explica Eurídice Cabañes a Omnium Games, «este proyecto empieza como una locura maravillosa en un play lab, un laboratorio de creación de juegos experimentales organizado por ArsGames en MediaLab Prado, donde pretendía generar una realidad aumentada a través del sonido, una propuesta un poco loca, porque entonces yo no tenía ni idea de programación, por suerte se unieron al grupo Luca Carrubba, Óscar Martín, Carlos y Antonio Padial y juntos definimos mejor el proyecto y empezamos a aprender mucho juntos sobre algo de lo que a penas había información disponible».
A partir del primer prototipo desarrollado allí, el equipo siguió compuesto por Luca, Carlos y Eurídice desarrollando diferentes versiones. «En 2010 ya teníamos el prototipo, pero era en realidad muy diferente, porque entonces no estaban disponibles muchas de las tecnologías que usamos ahora, como la tecnología de Kinect. El traking funcionaba con cámaras de infrarrojos, y el sonido era cuadrafónico en lugar de binaural, ahora gracias a las nuevas tecnologías se ha simplificado la programación de muchos de los procesos, lo que nos permite experimentar de un modo menos condicionado con la jugabilidad», explica.
El proyecto vivió un nuevo impulso en 2012, cuando se convirtió en uno de los seleccionados en la llamada prueba de esfuerzo para las propuestas de proyectos organizado por Espacio Trapecio. Igualmente, fue seleccionado entre una gran cantidad de proyectos de 22 países distintos en el Festival Insonora y estuvo también en una residencia de creación artística laboral y en el festival Game On, El Arte en Juego , en Argentina.
«Ahora tenemos una versión totalmente jugable y automatizada. De momento, sólo funciona como instalación», explica Eurídice Cabañes, que aclara que cualquier colectivo puede contar con el audio juego contactando previamente por email a la dirección [email protected] y aclarando dónde se quiere usar, con qué objetivo y durante cuánto tiempo.
«Ahora mismo funciona más como pieza artística que como videojuego, porque requiere de la instalación. No lo podemos vender. Ahora mismo se puede descargar y ponerlo a funcionar pero es muy complejo. Nosotros contamos con todo el dispositivo. Tenemos la Kinect, el ordenador con el sistema operativo audiogame, el teléfono, el casco…», afirma.
El objetivo final es que AudioGame 3.0. se convierta en «una plataforma que se abra a que otras personas puedan hacer distintos juegos para la plataforma. Se puede hacer cualquier tipo de audio juego, donde se pueda aplicar artes marciales, desplazar objetos, hacer composiciones musicales… La plataforma está abierta a cualquier juego que se pueda implementar y queremos abrirla a que cualquiera venga».
En el desarrollo del proyecto, no obstante, los responsables de AudioGame 3.0. han conseguido, además, poner a España en la vanguardia de la experimentación y la creación del género de audio juegos, implementando tecnologías ya disponibles de un modo novedoso y consiguiendo dar una dimensión hasta ahora poco conocida gracias a las posibilidades que ofrece la realidad aumentada a través del sonido.