Recerca

Línies de recerca

Fonologia de l’entonació de les llengües romàniques i etiquetatge prosòdic
	Una de les línies de recerca del grup és la descripció completa i coherent de la fonologia entonativa de les llengües romàniques (en el nostre grup estudiem el català, el castellà, l'occità i el sard), cosa que ens permet desenvolupar un sistema d’etiquetatge prosòdic comú basat en el model mètric-autosegmental. Les dades empíriques estan basades en els atles de l'entonació, una eina que ens permet comparar els patrons prosòdics entre llengües i entre varietats dialectals.

Fonología de l'entonació
	L'objectiu d'aquesta línia d'investigació és analitzar la funció fonològica i el significat dels contrastos entonatius del català i el castellà. Les tasques conductuals (experiments d'identificació i discriminació, tasques de gating, d'adequació i d'imitació) i les tasques electrofisiològiques (potencials per esdeveniments) ens permeten determinar les categories entonatives de la fonologia de l'entonació de totes dues llengües. Així, estudiem la caracterització dels diversos tipus de significat que impliquen els contrastos entonatius en català i castellà, per tal d'establir una teoria formal de la interpretació semàntica i pragmàtica de la prosòdia, i de la relació entre gramàtica i prosòdia.

Prosòdia audiovisual
	És ben sabut que un dels aspectes fonamentals de la comunicació humana és l'habilitat per emprar la prosòdia i els gestos corporals i facials, a banda d’estructures sintàctiques i lèxiques. Els estudis sobre prosòdia s'han centrat sobretot en els aspectes sonors de la parla; tanmateix, el so i els gestos estan molt relacionats. El suport visual és clarament rellevant, per exemple, en l'alternança de torns de paraula, en l'expressió d'emocions i estats d'ànim, en el grau de confiança de les respostes i en l'organització informativa del discurs. L'objectiu de la recerca en prosòdia audiovisual és analitzar els senyals comunicatius corporals que els parlants s'envien mútuament en interactuar, ja sigui a través de gestos, moviments del cap o expressions facials, a més d'estudiar la contribució de la prosòdia visual i la prosòdia auditiva en la interpretació de la prosòdia. La recerca es duu a terme amb experiments de producció i percepció per a analitzar la informació auditiva i visual coherent oincoherent (tot aplicant l'efecte McGurk a la prosòdia).

L'adquisició de la prosòdia audiovisual
	Se sap que l'adquisició de prosòdia i els gestos comença des de l'inici del desenvolupament del llenguatge. Quan els nadons encara estan a l'úter, ja poden identificar la veu de la mare i desenvolupen una sensibilitat per al reconeixement dels patrons rítmics i entonatius de la seva llengua nativa. Els nadons també són sensibles a estímuls visuals d'altres éssers humans. Per exemple, just després de néixer els nadons imiten expressions de cara dels adults. També tenim evidència que els infants, des de les primeres paraules, produeixen patrons entonatius per a diferents fins. En els darrers anys, la investigació ha demostrat que la prosòdia audiovisual contribueix de forma essencial al sentit pragmàtic d'un enunciat i té un paper crucial en la descodificació pragmàtica de les oracions per part l'oient. No obstant això, el nostre coneixement del desenvolupament de la prosòdia i els gestos dels nens, i la relació que tenen amb l'adquisició del significat és encara molt limitat. Aquest projecte pretén d'omplir aquest buit. La hipòtesi central és que els gestos i la prosòdia ajuden de forma important els nens en l'adquisició del significat pragmàtic. Un dels objectius del projecte és investigar com els nens empren l'entonació i els gestos en relació amb l'aprenentatge de diferents significats semàntics.

La relació temporal entre prosòdia i gestos
	Investigacions recents han demostrat que la part més significativa del gest (anomenada stroke) sol estar coordinada amb la part més prominent de la parla (la síl·laba accentuada lèxicament o mitjançant l’entonació). Però encara no se sap clarament quins són els punts d’ancoratge prosòdics que es coordinen amb els gestos. Aquest projecte té l'objectiu d'investigar els patrons de coordinació entre l’estructura prosòdica i la gestual. Els nostres primers resultats demostren que els pics entonatius (en la condició de focus contrastiu) actuen com a punt d’ancoratge per als punts culminants dels gestos díctics (és a dir, assenyalar amb el dit o la mà). Un dels nostres objectius a llarg termini és investigar aquests patrons de sincronització entre prosòdia i gest en un corpus de parla espontània. Aquest projecte també inclou una part d’adquisició. Abans de pronunciar les primeres paraules, els nens són capaços de comunicar-se mitjançant gestos i vocalitzacions. Pretenem investigar les qüestions següents: (a) Com es desenvolupen els gestos en relació a la parla durant el balboteig? (b) En l’etapa del balboteig, com se sincronitzen els gestos díctics amb la parla? (c) Com funciona aquesta sincronització temporal en els nens en comparació amb els adults?

El processament cognitiu de la prosòdia
	Una pregunta que ha captat l'interès dels psicòlegs cognitius, dels investigadors dels mitjans i dels lingüistes és com el cervell processa els missatges audiovisuals i, en particular, la parla. La investigació sobre aquesta matèria ha demostrat que la forma en què algú diu alguna cosa és tan important com el que diu. És per això que alguns autors han provat que la prosòdia és un factor determinant per al processament cognitiu dels missatges. Si l'ús apropiat de les estratègies prosòdiques és essencial en el procés comunicatiu, és possible concloure que l’estudi sobre la percepció i el processament de la prosòdia resulta fonamental per comprendre com el sistema cognitiu humà processa els missatges. Per tant, l'objectiu general d'aquest projecte és determinar com les diferents estratègies prosòdiques aplicades a missatges audiovisuals provoquen diferències de percepció i modifiquen els nivells d'atenció i memòria de l'oient.

Beneficis de la prosòdia i els gestos en el procesament cognitiu del llenguatge
	Sabem que un ús apropiat de les estratègies prosòdiques i gestuals és fonamental en el procesament del llenguatge, i que aquestes estratègies poden millorar la comprensió del missatge expressat pel parlant. Aquest projecte investiga els beneficis de la prosòdia i dels gestos (així com la integracio conjunta del gest i la prosòdia) en el procesament cognitiu dels missatges, així com en tasques d'aprenentatge de segones llengües. És possible afirmar que l'estudi del procesament de la prosòdia és crucial per a comprendre com el sistema cognitiu humà processa els missatges? L'objectiu general del projecte serà determinar com diverses estratègies prosòdiques i gestuals que fem servir als missatges audiovisuals (a) propicien millores perceptives i modifiquen els nivells d'atenció i memòria de l'oient, i (b) produeixen aspectes beneficiosos en tasques d'aprenentatge general i d'adquisicio de primeres i segones llengües. Igualment, hem planificat investigar el valor comunicatiu de la prosòdia i els gestos acompanyats de parla (co-speech gestures) en poblacions amb patologies del desenvolupament neurològic caracteritzades per presentar dificultats en la producció del llenguatge verbal i no verbal i en els patrons d'integració social (com ara en poblacions amb trastorn específic del llenguatge, amb trastorn de l'espectre autista o amb síndrome d'Asperger).

Projectes de recerca finançats

• Multimodal Communication (MCOM): The integration of prosody and gesture in human communication and in language learning
  (Proyectos de generación de conocimiento 2021; Ministerio de Ciencia e Innovación / Spanish Ministry of Science and Innovation; ref.: PID2021-123823NB-I00); 01/09/2022 - 01/09/2025
  Investigadora principal: Pilar Prieto.
  Membres: Celia Gorba, Ingrid Vilà-Giménez, Júlia Florit-Pons, Sara Coego, Mariia Pronina, Patrick Rohrer, Ïo Valls, Xiaotong Xi, Yuan Zhang.
  Amount awarded: 85.305 €

• MultIS: Co-speech gestures and prosody as multimodal markers of information structure
  (German Research Foundation (DFG Priority Programme 2329) as part of the project Visual Communication. Theoretical, Empirical, and Applied Perspectives (ViCom); 01/09/22 – 31/08/25
  Investigadors principals: Frank Kügler & Pilar Prieto.
  Membres: Paula G. Sánchez-Ramón & Alina Gregori.
  Amount awarded: 386.436€

• GEHM: GEstures and Head Movements in language
  (Awarded by Independent Research Fund Denmark (IRFD), July 1st, 2019  - February 28th, 2023. GrEP participation in the European Network)
  Principal Investigator: Patrizia Paggio, University of Copenhaguen
  Membres: Florence Baills, Patrick Rohrer, Ingrid Vilà-Giménez, Júlia Florit-Pons, and Pilar Prieto.

• Grup de Recerca Consolidat (GRC) Grup d’Estudis de Prosòdia i Gestualitat (GrEPG).
  (Pla de Recerca de Catalunya: 2021 SGR 00922, 01/03/2023 - 01/03/25).
  Investigadora principal: Pilar Prieto.
  Membres: Lourdes Aguilar, Domenico Baglioni, Sara Coego, Júlia Florit-Pons, Celia Gorba, Jiaqi Huang, Weiqi Li, Mariia Pronina, Patrick Louis Rohrer, Paula Sánchez-Ramón, Ïo Valls-Ratés, Ingrid Vilà-Giménez, Xuanxi Wu, Xiaotong Xi, Ting Yao, Yuan Zhang.
  Amount awarded: 60.000 €

• StoryTIC: Una eina digital per potenciar la narrativa oral infantil 
  (Agència de Gestió d’Ajuts Universitaris i de Recerca AGAUR – Generalitat de Catalunya; ref.: 2021 LLAV 00022) 2022-2023.
  Principal Investigator: Dr. Pilar Prieto
  Membres: Júlia Florit-Pons, Alfonso Igualada, Florence Baills, & Ïo Valls-Ratés.
  Amount awarded: 20.000€

Anteriors projectes de recerca finançats

• Millorem la competència comunicativa oral a la Universitat.
  (Ajut PLACLIK Universitat Pompeu Fabra, REF: 52 PlaCLIK 2019-20202)
  Investigadora principal: Pilar Prieto
  Members: Joan Carles Mora, Ingrid Mora, Emma Rodero, Ïo Valls
  Amount awarded: 3650,00 euros

• MULTIMODAL LANGUAGE LEARNING (MLL): Prosodic and Gestural Integration in Pragmatic and Phonological Development.
  (Ministerio de Ciencia, Innovación y Universidades / Spanish Ministry of Science, Innovation and Universities; ref.: PGC2018-097007-B-I00; 01/01/2019 - 31/12/2021).
  Investigadora principal: Pilar Prieto.
  Membres: Florence Baills, Joan Borràs-Comes, Iris Hübscher, Peng Li, Mariia Pronina, Patrick Rohrer, Ïo Valls, Ingrid Vilà-Giménez, Laura Vincze, Yuan Zhang, Xiaotong Xi, Júlia Florit-Pons.
  Amount awarded: 44.770 €

• Grup de Recerca Consolidat (GRC) Grup d’Estudis de Prosòdia (GrEP).
  (Pla de Recerca de Catalunya: 2017 SGR _ 971, 01/04/18 - 01/04/21).
  Investigadora principal: Pilar Prieto.
  Membres: Lourdes Aguilar, Carme de-la-Mota, Laura Vincze, Iris Hübscher, Olga Kushch, Judith Llanes, Santiago González-Fuente, Florence Baills, Evi Kiagia, Ingrid Vilà-Giménez, Cristina Sánchez-Conde, Weiqi Li, Peng Li, Mariia Pronina, Patrick Rohrer, Ïo Valls, Yuan Zhang, Xiaotong Xi, Júlia Florit-Pons.
  Amount awarded: 26.029,25 €

• Habilitats orals per a les professions del futur: un programa d'intervenció en el currículum de secundària i batxillerat a Catalunya.
  (RECERCAIXA 2017, project awarded by Obra Social ‘La Caixa’, February 25, 2018 – March 30, 2021).
  Investigadors principals: Pilar Prieto i Joan Carles Mora.
  Membres: Josep Maria Castellà, Emma Rodero, Montserrat Vilà, Ingrid Mora Plaza, Ïo Valls.
  Amount awarded: 79.905,15 €

• Intonational and gestural meaning in language.
  (MINECO, Ministerio de Economía y Competitividad / Spanish Ministry of Economy and Competitiveness; ref.: FFI2015-66533-P; 01/01/2016 - 31/12/2018).
  Investigadora principal: Pilar Prieto.
  Membres: Lluïsa Astruc, Joan Borràs-Comes, Teresa Cabré, Eva Estebas, Santiago González-Fuente, Alfonso Igualada, Evi Kiagia, Olga Kushch, Iris Hübscher, Maria Ohannesian.
  Amount awarded: 60.000 €

• Grup de Recerca Consolidat (GRC) Grup d’Estudis de Prosòdia (GrEP).
  (Pla de Recerca de Catalunya: 2014 SGR _ 925, 01/01/14 - 31/12/16).
  Investigadora principal: Pilar Prieto.
  Membres: Lourdes Aguilar, Joan Borràs-Comes, Carme de-la-Mota, Emma Rodero, Yurena María Gutiérrez, Santiago González-Fuente, Núria Esteve-Gibert, Alfonso Igualada, Olga Kushch, Iris Hübscher, Rafèu Sichel.
  Amount awarded: 14.000 €

• Juguem a comunicar millor! La millora de la competència prosòdica com a via d'integració educativa i d'inclusió social de l'alumnat amb necessitats educatives especials derivades de la discapacitat.
  (RECERCAIXA, 2013, project awarded by Obra Social 'La Caixa', February 28, 2014 - February 28, 2016).
  Investigadora principal: Lourdes Aguilar
  Amount awarded: 77.642,60 €

• Gestures, prosody and linguistic structure.
  (Ministerio de Economía y Competitividad [Ref.: BFU2012-31995], 01/01/2013- 31/12/2015).
  Investigadora principal: Pilar Prieto.
  Membres: Lluïsa Astruc, Meghan Armstrong, Joan Borràs-Comes, Teresa Cabré, Eva Estebas, Núria Esteve-Gibert, Santiago González-Fuente, María Ohannesian, Maria del Mar Vanrell.
  Amount awarded: 60.000 €

• Prosodic strategies to improve the attention and recall of a listener exposed to an auditory stimulus
  (European Union [PIOF-GA-2012-328636], 2013 – 2016).
  Investigadora principal: Emma Rodero.
  Amount awarded: 313.080 €

• Els precursors del llenguatge. Una guia TIC per a pares i educadors.
  (RECERCAIXA 2012, project awarded by Obra Social ‘La Caixa’, February 28, 2013 – February 28, 2015).
  Investigadora principal: Pilar Prieto.
  Membres: Laura Bosch, Núria Esteve-Gibert, Alfonso Igualada, Ferran Pons, Jorgina Solé.
  Amount awarded: 74.917,61 €

• Grup de Recerca Emergent (GRE) Grup d’Estudis de Prosòdia (GrEP)
  (Pla de Recerca de Catalunya: 2009 SGR-701, 29/09/09 - 30/​04/14)
  Investigadora principal: Pilar Prieto.
  Membres: Lourdes Aguilar, Meghan Armstrong, Lluïsa Astruc, Joan Borràs-Comes, Verònica Crespo-Sendra, Núria Esteve-Gibert, Carme de-la-Mota, Eva Estebas, Rafèu Sichel-Bazin, Maria del Mar Vanrell.
  Amount awarded: 33.600 €

• Modelización de los fenómenos prosódicos del español y catalán a partir del corpus Glissando.
  (Ministerio de Educación y Ciencia FFI 2011-29559-C02-02, January 2011 - December 2013)
  Investigadora principal: Lourdes Aguilar
  Membres subprojecte UAB: Mercedes Cabrera, Carme de-la-Mota, Eva Estebas, Francisco Vizcaíno.

• The role of tonal scaling and tonal alignment in distinguishing intonational categories in Catalan and Spanish.
  (Ministerio de Ciencia e Innovación [Ref.: FFI2009-07648/FILO], January 1st, 2010 - December 31st, 2012)
  Investigadora principal: Pilar Prieto.
  Membres: Lluïsa Astruc, Meghan Armstrong, Joan Borràs-Comes, Teresa Cabré, Verònica Crespo-Sendra, Eva Estebas, Núria Esteve, María Ohannesian, Maria del Mar Vanrell.
  Amount awarded: 88.330 €