Navigation – Plan du site
Dossier
3. Transpositions between verbal and non-verbal semiotics

Intersemiotic Translation as Resemiotisation: A Multimodal Perspective

Kay L. O’Halloran, Sabine Tan et Peter Wignell
p. 199-229

Résumés

La traduction intersémiotique est considérée comme la base de la communication culturelle, par le biais de laquelle les idées sont diffusées, traduites et expliquées à l’aide du langage, d’images, et d’autres ressources sémiotiques. Dans une telle perspective, la traduction intersémiotique est conceptualisée par le principe de resémiotisation qui considère comment les choix sémiotiques se traduisent en pratiques sociales au fil du temps. Cet article étudie les questions clés soulevées par le fait de traiter la traduction intersémiotique comme une resémiotisation: (a) comment les glissements de signification peuvent-ils être conceptualisés à travers des ressources sémiotiques qui sont de nature fondamentalement différente ? (b) quelles significations sont conservées et modifiées en raison de la resémiotisation ? et enfin (c) comment ces significations peuvent-elles être modélisées théoriquement et suivies de façon analytique ? Pour explorer ces questions, une approche socio-sémiotique multimodale est présentée, basée sur la théorie systémique fonctionnelle de Michael Halliday. Dans cette approche, les ressources sémiotiques sont conceptualisées comme des systèmes de significations qui remplissent des fonctions variées dans la société, pour structurer l’expérience et établir dans l’univers des connexions logiques, pour établir des relations sociales et une attitude vis-à-vis du monde, et pour organiser toutes ces significations en messages multimodaux. L’approche multimodale à la traduction intersémiotique est illustrée par des exemples qui explorent les glissements de signification qui se produisent à travers la toile des significations, lorsque les choix sémiotiques sont resémiotisés au sein de textes multimodaux, et entre ceux-ci. Au cœur de cette discussion est la traduction intersémiotique entre langage (parlé et écrit), images (photos, films et graphiques) et symbolisme mathématique, dans une gamme de différents types de textes (par exemple reportage, document infographique, vidéo et graphique mathématique). Ces exemples illustrent les principes de la traduction intersémiotique au moyen de laquelle des expansions sémantiques se produisent, lorsque les choix sémiotiques sont resémiotisés à l’aide de différentes ressources sémiotiques, donnant ainsi accès à un nouveau potentiel de signification.

Haut de page

Extrait du texte

Ce document sera publié en ligne en texte intégral en décembre 2017.

Plan

1. Introduction to intersemiotic translation
2. Multimodal approaches to intersemiotic translation
3. A multimodal systemic functional approach to intersemiotic translation
4. Examples of SF-MDA approach applied to intersemiotic translation
4.1. Intersemiotic translation between photograph and text
4.2. Resemiotisation in an infographic
4.3. Resemiotisation between different media
4.4. Resemiotisation in a video
4.5. Resemiotisation in mathematics
5. Conclusion

Aperçu du texte

1. Introduction to intersemiotic translation

Translation is typically thought of as involving language, in particular written language. However, translation extends beyond linguistic translation and the interpretation of linguistic signs through rewordings to “intersemiotic translation”, which, in its original sense, was seen as involving the interpretation of linguistic signs by means of non-verbal resources (Jakobson 1959, p. 114). Jakobson (Ibid., p. 233) distinguishes three ways of interpreting verbal signs: intralingual translation (translation into other signs of the same language); interlingual translation (translation into another language); and intersemiotic translation (translation from language into another, nonverbal system of symbols). For Jakobson, intersemiotic translation involved language. He does not discuss translation from one non-verbal semiotic system to another non-verbal semiotic system or the translation of multisemiotic texts.

Today, Jakobson’s (1959) definit...

Haut de page

Pour citer cet article

Référence papier

Kay L. O’Halloran, Sabine Tan et Peter Wignell, « Intersemiotic Translation as Resemiotisation: A Multimodal Perspective », Signata, 7 | 2016, 199-229.

Référence électronique

Kay L. O’Halloran, Sabine Tan et Peter Wignell, « Intersemiotic Translation as Resemiotisation: A Multimodal Perspective », Signata [En ligne], 7 | 2016, mis en ligne le 31 décembre 2017, consulté le 27 avril 2017. URL : http://signata.revues.org/1223 ; DOI : 10.4000/signata.1223

Haut de page

Auteurs

Kay L. O’Halloran

Kay O’Halloran is Professor in the School of Education, Faculty of Humanities at Curtin University. Her areas of research include multimodal analysis, social semiotics, mathematics discourse, and the development of interactive digital media technologies and visualization techniques for multimodal and sociocultural analytics.

Sabine Tan

Sabine Tan is a Research Fellow in the School of Education, Faculty of Humanities at Curtin University. Her research interests include critical multimodal discourse analysis, social semiotics, and visual communication. She is particularly interested in the application of multidisciplinary perspectives within social semiotic theory to the analysis of institutional discourses involving traditional and new media.

Peter Wignell

Peter Wignell is a Research Fellow in the School of Education, Faculty of Humanities at Curtin University. Peter’s current research interests are in Systemic Functional Linguistics, especially in its application to the analysis of multimodal texts. His research has also focused on the role of language in the construction of specialised knowledge.

Haut de page

Droits d’auteur

Signata - PULg

Haut de page
  • Logo Presses universiatires de Liège
  • Logo Université de Liège
  • Revues.org