Investigación

Líneas de investigación

Fonología de la entonación de las lenguas románicas y etiquetaje prosódico
	Una de las líneas de investigación de nuestro grupo es la descripción completa y coherente de la fonología entonativa de las lenguas románicas (en nuestro grup, el catalán, el castellano, el occitano y el sardo), y así poder desarrollar un sistema de etiquetaje prosódico común basado en el modelo métrico-autosegmental. Los datos empíricos que utilizamos están basados los Atlas de la entonación, una herramienta que nos permite comparar los patrones prosódicos entre distintas lenguas y entre distintas variedades dialectales.

Fonología de la entonación
	El objectivo de esta línea de investigación es analizar la función fonológica y el significado de los contrastes entonativos del catalán y el castellano. Utilizamos experimentos conductuales (experimentos de identificación y discriminación, de gating, de adecuación y de imitación) y experimentos electrofisiológicos (potenciales por eventos) para determinar las categorías entonativas presentes en la fonología de la entonación de estas dos lenguas. De este modo, estudiamos la caracterización de los tipos distintos de significado que implican los constrastes entonativos en catalán y en castellano, para así establecer una teoría formal de la interpretación semántica y pragmática de la prosodia, y de la relación entre gramática y prosodia.

Prosodia audiovisual
	Es bien sabido que uno de los aspectos fundamentales de la comunicación humana es la habilidad para usar la prosodia y los gestos corporales y faciales, además de estructuras sintácticas y léxicas. Los estudios sobre prosodia se han centrado principalmente en los aspectos sonoros del habla. Sin embargo, existe una estrecha interrelación entre sonido y gesto. Por ejemplo, el soporte visual es claramente relevante en la alternancia de turnos de palabra, en la expresión de emociones y actitudes, en el grado de confianza de las respuestas y en la organización informativa del discurso, por ejemplo. El objetivo de la investigación de la prosodia audiovisual es analizar las señales comunicativas corporales que los hablantes se envían cuando interactúan, ya sean ademanes, movimientos de cabeza o expresiones faciales, además de estudiar las contribución de la prosodia visual y la prosodia auditiva en la interpretación de la prosodia. La investigación se lleva a cabo tanto mediante experimentos de producción y percepción para analizar la información auditiva y visual congruente e incongruente (aplicando el efecto McGurk a la prosodia).

Adquisición de la prosodia audiovisual
	Se sabe que la adquisición de los patrones prosódicos y gestuales se inicia de forma temprana. Cuando los bebés todavía están en el útero, pueden identificar la voz de su madre y desarrollan una sensibilidad para el reconocimiento de los patrones rítmicos y entonativos de su lengua nativa. Los bebés también son sensibles a estímulos visuales procedentes de otros seres humanos. Por ejemplo, los recién nacidos imitan las expresiones faciales de los adultos. También tenemos evidencia de que, desde sus primeras palabras, los niños producen patrones entonativos de su lengua nativa para distintos fines. En los últimos años, la investigación ha demostrado que la prosodia audiovisual contribuye de forma esencial al sentido pragmático de un enunciado y desempeña un papel crucial en la decodificación pragmática de las oraciones por parte del oyente. No obstante, nuestro conocimiento de este desarrollo de la prosodia y los gestos de los niños y su relación con la adquisición de significado es muy limitado. Este proyecto pretende llenar este vacío. Su hipótesis central es que los gestos y la prosodia ayudan de forma importante a los niños en la adquisición del significado pragmático. Uno de los objetivos del proyecto es investigar cómo los niños utilizan la entonación y los gestos en relación con el aprendizaje de diferentes sentidos semánticos.

La relación temporal entre prosdia y gestos
	Investigaciones recientes han demostrado que la parte más significativa del gesto (llamada stroke) está coordinada temporalmente con la parte más prominente del habla (la sílaba acentuada léxicamente o mediante entonación). Pero no se sabe todavía si existen puntos de anclaje prosódicos que sirven como puntos de coordinación para los gestos. Este proyecto pretende investigar los patrones de la coordinación temporal entre la estructura prosódica y la gestual. Nuestros primeros resultados demuestran que los picos entonativos (en la condición de foco contrastivo) actúan como punto de anclaje para el punto culminante de los gestos deícticos (es decir, señalar con el dedo o la mano). Uno de nuestros objetivos a largo plazo es investigar estos patrones de sincronización entre prosodia y gesto en un corpus de habla espontánea. Este proyecto también incluye una parte de adquisición. Antes de pronunciar sus primeras palabras, los niños son capaces de comunicarse mediante gestos y vocalizaciones. Pretendemos investigar las siguientes cuestiones: (a) Cómo se desarrollan los gestos en relación con el habla durante el período de balbuceo? (b) En la etapa del balbuceo, cómo se sincronizan los gestos deícticos con el habla? (c) Cómo funciona esta sincronización temporal en los niños en comparación con los adultos?

Procesamiento cognitivo de la prosodia
	Una pregunta que ha captado el interés de los psicólogos cognitivos, los investigadores de los medios y de los lingüistas es cómo el cerebro procesa los mensajes audiovisuales y, en particular, el habla. La investigación sobre esta materia ha demostrado que la forma en que alguien dice algo es tan importante como lo que dice. Es por ello que algunos autores han probado que la prosodia es un factor determinante para el procesamiento cognitivo de los mensajes. Si el uso apropiado de las estrategias prosódicas es esencial en el proceso comunicativo, es posible concluir que el estudio sobre la percepción y el procesamiento de la prosodia resulta fundamental para comprender cómo el sistema cognitivo humano procesa los mensajes. Por tanto, el objetivo general de este proyecto es determinar cómo las diferentes estrategias prosódicas aplicadas a mensajes audiovisuales provocan diferencias de percepción y modifican los niveles de atención y memoria del oyente.

Beneficios de la prosodia y los gestos en el procesamiento cognitivo del lenguaje
	Sabemos que un uso apropiado de las estrategias prosódicas y gestuales es esencial en el procesamiento de la comunicación, y que puede mejorar la comprensión del mensaje expresado por el hablante. Este proyecto investiga los beneficios de la prosodia y de los gestos (también de la integración conjunta del gesto y la prosodia) en el procesamiento cognitivo de mensajes, del mismo modo que en situaciones de uso de lenguaje y de tareas de aprendizaje. Es posible afirmar que el estudio de la percepción y el procesamiento de la prosodia es crucial para comprender cómo el sistema cognitivo humano procesa los mensajes? El objetivo general del proyecto será determinar cómo diferentes estrategias prosódicas y gestuales que utilizamos en los mensajes audiovisuales (a) desencadenan diferencias perceptivas y modifican los niveles de atención y memoria del oyente, y (b) producen aspectos beneficiosos en tareas de aprendizaje general, de la misma forma que en la adquisición del lenguaje materno y de segundas lenguas. Igualmente, hemos planificado investigar le valor comunicativo de la prosodia y los gestos acompañados de habla (co-speech gestures) en poblaciones con patologías del desarrollo neurológico caracterizadas por presentar dificultades del lenguaje y de la interacción social, también de la comunicación verbal y no verbal (por ejemplo, en poblaciones con trastorno especifico del lenguaje, con trastorno del espectro autista o con síndrome de Asperger).

Proyectos de investigación financiados

• Multimodal Communication (MCOM): The integration of prosody and gesture in human communication and in language learning
  (Proyectos de generación de conocimiento 2021; Ministerio de Ciencia e Innovación / Spanish Ministry of Science and Innovation; ref.: PID2021-123823NB-I00); 01/09/2022 - 01/09/2025
  Investigadora principal: Pilar Prieto.
  Membres: Celia Gorba, Ingrid Vilà-Giménez, Júlia Florit-Pons, Sara Coego, Mariia Pronina, Patrick Rohrer, Ïo Valls, Xiaotong Xi, Yuan Zhang.
  Amount awarded: 85.305 €

• MultIS: Co-speech gestures and prosody as multimodal markers of information structure
  (German Research Foundation (DFG Priority Programme 2329) as part of the project Visual Communication. Theoretical, Empirical, and Applied Perspectives (ViCom); 01/09/22 – 31/08/25
  Investigadors principals: Frank Kügler & Pilar Prieto.
  Membres: Paula G. Sánchez-Ramón & Alina Gregori.
  Amount awarded: 386.436€

• GEHM: GEstures and Head Movements in language
  (Awarded by Independent Research Fund Denmark (IRFD), July 1st, 2019  - February 28th, 2023. GrEP participation in the European Network)
  Principal Investigator: Patrizia Paggio, University of Copenhaguen
  Membres: Florence Baills, Patrick Rohrer, Ingrid Vilà-Giménez, Júlia Florit-Pons, and Pilar Prieto.

• Grup de Recerca Consolidat (GRC) Grup d’Estudis de Prosòdia i Gestualitat (GrEPG).
  (Pla de Recerca de Catalunya: 2021 SGR 00922, 01/03/2023 - 01/03/25).
  Investigadora principal: Pilar Prieto.
  Membres: Lourdes Aguilar, Domenico Baglioni, Sara Coego, Júlia Florit-Pons, Celia Gorba, Jiaqi Huang, Weiqi Li, Mariia Pronina, Patrick Louis Rohrer, Paula Sánchez-Ramón, Ïo Valls-Ratés, Ingrid Vilà-Giménez, Xuanxi Wu, Xiaotong Xi, Ting Yao, Yuan Zhang.
  Amount awarded: 60.000 €

• StoryTIC: Una eina digital per potenciar la narrativa oral infantil 
  (Agència de Gestió d’Ajuts Universitaris i de Recerca AGAUR – Generalitat de Catalunya; ref.: 2021 LLAV 00022) 2022-2023.
  Principal Investigator: Dr. Pilar Prieto
  Membres: Júlia Florit-Pons, Alfonso Igualada, Florence Baills, & Ïo Valls-Ratés.
  Amount awarded: 20.000€

Anteriores proyectos de investigación financiados

• Millorem la competència comunicativa oral a la Universitat.
  (Ajut PLACLIK Universitat Pompeu Fabra, REF: 52 PlaCLIK 2019-20202)
  Investigadora principal: Pilar Prieto
  Members: Joan Carles Mora, Ingrid Mora, Emma Rodero, Ïo Valls
  Amount awarded: 3650,00 euros

• MULTIMODAL LANGUAGE LEARNING (MLL): Prosodic and Gestural Integration in Pragmatic and Phonological Development.
  (Ministerio de Ciencia, Innovación y Universidades / Spanish Ministry of Science, Innovation and Universities; ref.: PGC2018-097007-B-I00; 01/01/2019 - 31/12/2021).
  Investigadora principal: Pilar Prieto.
  Membres: Florence Baills, Joan Borràs-Comes, Iris Hübscher, Peng Li, Mariia Pronina, Patrick Rohrer, Ïo Valls, Ingrid Vilà-Giménez, Laura Vincze, Yuan Zhang, Xiaotong Xi, Júlia Florit-Pons.
  Amount awarded: 44.770 €

• Grup de Recerca Consolidat (GRC) Grup d’Estudis de Prosòdia (GrEP).
  (Pla de Recerca de Catalunya: 2017 SGR _ 971, 01/04/18 - 01/04/21).
  Investigadora principal: Pilar Prieto.
  Membres: Lourdes Aguilar, Carme de-la-Mota, Laura Vincze, Iris Hübscher, Olga Kushch, Judith Llanes, Santiago González-Fuente, Florence Baills, Evi Kiagia, Ingrid Vilà-Giménez, Cristina Sánchez-Conde, Weiqi Li, Peng Li, Mariia Pronina, Patrick Rohrer, Ïo Valls, Yuan Zhang, Xiaotong Xi, Júlia Florit-Pons.
  Amount awarded: 26.029,25 €

• Habilitats orals per a les professions del futur: un programa d'intervenció en el currículum de secundària i batxillerat a Catalunya.
  (RECERCAIXA 2017, project awarded by Obra Social ‘La Caixa’, February 25, 2018 – March 30, 2021).
  Investigadors principals: Pilar Prieto i Joan Carles Mora.
  Membres: Josep Maria Castellà, Emma Rodero, Montserrat Vilà, Ingrid Mora Plaza, Ïo Valls.
  Amount awarded: 79.905,15 €

• Intonational and gestural meaning in language.
  (MINECO, Ministerio de Economía y Competitividad / Spanish Ministry of Economy and Competitiveness; ref.: FFI2015-66533-P; 01/01/2016 - 31/12/2018).
  Investigadora principal: Pilar Prieto.
  Membres: Lluïsa Astruc, Joan Borràs-Comes, Teresa Cabré, Eva Estebas, Santiago González-Fuente, Alfonso Igualada, Evi Kiagia, Olga Kushch, Iris Hübscher, Maria Ohannesian.
  Amount awarded: 60.000 €

• Grup de Recerca Consolidat (GRC) Grup d’Estudis de Prosòdia (GrEP).
  (Pla de Recerca de Catalunya: 2014 SGR _ 925, 01/01/14 - 31/12/16).
  Investigadora principal: Pilar Prieto.
  Membres: Lourdes Aguilar, Joan Borràs-Comes, Carme de-la-Mota, Emma Rodero, Yurena María Gutiérrez, Santiago González-Fuente, Núria Esteve-Gibert, Alfonso Igualada, Olga Kushch, Iris Hübscher, Rafèu Sichel.
  Amount awarded: 14.000 €

• Juguem a comunicar millor! La millora de la competència prosòdica com a via d'integració educativa i d'inclusió social de l'alumnat amb necessitats educatives especials derivades de la discapacitat.
  (RECERCAIXA, 2013, project awarded by Obra Social 'La Caixa', February 28, 2014 - February 28, 2016).
  Investigadora principal: Lourdes Aguilar
  Amount awarded: 77.642,60 €

• Gestures, prosody and linguistic structure.
  (Ministerio de Economía y Competitividad [Ref.: BFU2012-31995], 01/01/2013- 31/12/2015).
  Investigadora principal: Pilar Prieto.
  Membres: Lluïsa Astruc, Meghan Armstrong, Joan Borràs-Comes, Teresa Cabré, Eva Estebas, Núria Esteve-Gibert, Santiago González-Fuente, María Ohannesian, Maria del Mar Vanrell.
  Amount awarded: 60.000 €

• Prosodic strategies to improve the attention and recall of a listener exposed to an auditory stimulus
  (European Union [PIOF-GA-2012-328636], 2013 – 2016).
  Investigadora principal: Emma Rodero.
  Amount awarded: 313.080 €

• Els precursors del llenguatge. Una guia TIC per a pares i educadors.
  (RECERCAIXA 2012, project awarded by Obra Social ‘La Caixa’, February 28, 2013 – February 28, 2015).
  Investigadora principal: Pilar Prieto.
  Membres: Laura Bosch, Núria Esteve-Gibert, Alfonso Igualada, Ferran Pons, Jorgina Solé.
  Amount awarded: 74.917,61 €

• Grup de Recerca Emergent (GRE) Grup d’Estudis de Prosòdia (GrEP)
  (Pla de Recerca de Catalunya: 2009 SGR-701, 29/09/09 - 30/​04/14)
  Investigadora principal: Pilar Prieto.
  Membres: Lourdes Aguilar, Meghan Armstrong, Lluïsa Astruc, Joan Borràs-Comes, Verònica Crespo-Sendra, Núria Esteve-Gibert, Carme de-la-Mota, Eva Estebas, Rafèu Sichel-Bazin, Maria del Mar Vanrell.
  Amount awarded: 33.600 €

• Modelización de los fenómenos prosódicos del español y catalán a partir del corpus Glissando.
  (Ministerio de Educación y Ciencia FFI 2011-29559-C02-02, January 2011 - December 2013)
  Investigadora principal: Lourdes Aguilar
  Membres subprojecte UAB: Mercedes Cabrera, Carme de-la-Mota, Eva Estebas, Francisco Vizcaíno.

• The role of tonal scaling and tonal alignment in distinguishing intonational categories in Catalan and Spanish.
  (Ministerio de Ciencia e Innovación [Ref.: FFI2009-07648/FILO], January 1st, 2010 - December 31st, 2012)
  Investigadora principal: Pilar Prieto.
  Membres: Lluïsa Astruc, Meghan Armstrong, Joan Borràs-Comes, Teresa Cabré, Verònica Crespo-Sendra, Eva Estebas, Núria Esteve, María Ohannesian, Maria del Mar Vanrell.
  Amount awarded: 88.330 €