다중양식성 (Multimodality in Literature)
쉽게 풀면
글자만이 아니라 그림, 배치, 소리 같은 여러 가지 방식이 함께 어우러져 뜻을 만드는 것을 말해요. 예를 들어 그림책에서 글로 쓰인 문장과 그림이 서로 다른 정보를 전달하면서 함께 하나의 이야기를 완성하는 방식을 연구하는 것이 이 개념이에요.
왜 중요한가
다중양식성은 크레스와 반 리우엔의 사회기호학이 문자·이미지·레이아웃을 통합된 의미 체계로 분석한 이래, 그래픽노블·전자문학·구체시처럼 문자 외의 기호가 의미를 담당하는 텍스트를 다루는 논문에서 방법론적 틀로 쓰입니다. 문학 연구가 언어 중심 분석을 넘어 상호매체성·텍스트 물질성 논의와 결합하는 지점을 제공합니다.
핵심 주장
다중양식성은 의미가 언어만이 아니라 이미지, 레이아웃, 색, 글꼴, 소리 같은 여러 기호 양식(mode)이 함께 작동해 만들어진다는 관점입니다. Kress와 van Leeuwen(1996, 2001)은 이를 사회기호학의 틀로 정리했고, Kress(2010)는 양식의 선택이 의사소통의 목적과 사회적 맥락에 따라 이루어진다고 논의했습니다.
- 각 양식은 할 수 있는 일과 하기 어려운 일이 다릅니다. 예를 들어 이미지는 공간적 배열에, 글은 시간적 순서와 추상적 설명에 유리합니다.
- Kress와 van Leeuwen(1996)은 이미지 분석에서 정보가치(화면 위치에 따른 의미), 현저성, 프레이밍 같은 개념을 제안했습니다.
- 문학 연구에서는 그림책, 그래픽노블, 웹툰, 구체시, 전자문학처럼 글 외의 양식이 의미의 핵심을 맡는 텍스트에 적용됩니다.
근거와 대표 연구
그림책 연구에서 Nikolajeva와 Scott(2001)은 글과 그림의 관계를 대칭, 보강, 상보, 대위, 모순 등으로 나누어 살폈습니다. 글과 그림이 같은 정보를 반복하는지, 서로 다른 정보를 맡는지, 서로 어긋나 긴장을 만드는지를 구분하는 것입니다. 이 구분은 그래픽노블에서 말풍선 서체, 칸 배열과 말의 관계를 분석할 때도 활용됩니다(그래픽노블서사론).
논문에서는 분석 대상 텍스트에서 어떤 양식이 쓰였고(문자, 이미지, 타이포그래피, 소리), 양식들이 어떻게 의미를 보완·강조·긴장시키는지를 분석하는 방식으로 이 이론을 사용합니다.
비판과 한계
- 변별력 문제: 인쇄된 글에도 활자와 여백이라는 시각 양식이 있으므로, 거의 모든 텍스트가 어느 정도 다중양식적입니다. 양식 간 상호작용이 의미의 핵심인 경우로 한정해야 개념이 쓸모를 가집니다.
- 문학적 가치 판단의 근거가 되지 못함: 이 틀은 의미가 어떻게 만들어지는지를 분석하는 도구이지, 작품이 얼마나 훌륭한지를 판정하는 기준이 아닙니다.
- 삽화 분석과 구분: 삽화가 있다는 이유만으로 다중양식 분석이 되는 것은 아닙니다.
- ‘문법’ 비유의 주의: 시각의 ‘문법’이라는 표현이 언어 문법처럼 엄격한 규칙이 있다는 인상을 줄 수 있으므로, 분석에서는 규칙이 아니라 선택 가능한 표현 자원으로 다루는 편이 안전합니다.
- 상호매체성은 매체 사이의 관계를 다루는 별개의 틀이어서 겹쳐 쓸 수 있지만 같은 말은 아닙니다.
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
글자의 모양이나 굵기만으로도 감정을 전달할 수 있다는 점을 다중양식성이라는 개념으로 설명했다는 뜻이에요.
글만으로는 다 전하지 못하는 내용을 그림이 보완하면서 하나의 이야기를 함께 만들어간다는 뜻이에요.
조금 더 깊게 보면
다중양식성은 원래 언어학·교육학의 개념이어서 문학 텍스트의 미학적 특수성보다 의사소통 기능에 초점을 두며, 이를 문학 분석에 옮기면 '의미 만들기'의 분석은 되지만 문학적 가치 판단의 근거는 주지 않습니다.
또한 모든 인쇄 텍스트가 활자와 여백이라는 시각 양식을 갖는다는 점에서 다중양식이 아닌 텍스트는 없으므로, 이 개념이 변별력을 가지려면 양식 간 상호작용이 의미의 핵심인 경우로 한정해야 합니다.
군터 크레스와 테오 반 레이우엔의 사회기호학적 다중양식 이론이 이론적 기반이 되며, 각 양식(문자·이미지 등)이 독립적으로 작동하지 않고 서로 의미를 보완·강조·긴장시키는 방식을 분석 대상으로 삼는다.
주의할 점
삽화가 들어간 텍스트라고 해서 모두 다중양식적 분석의 대상이 되는 것은 아니다. 서로 다른 기호 양식이 상호작용하며 의미를 함께 구성하는지가 중요하다. 다중양식 문학 연구를 단순한 삽화 분석으로 축소하지 말고, 문자와 이미지 등 각 양식이 서로 의미를 보완·강조·긴장시키는 방식을 사회기호학적으로 분석해야 한다.
헷갈리기 쉬운 용어
매체와 양식은 비슷해 보이지만 다른 층위입니다.
| 용어 | 무엇을 다루나 | 다중양식성과의 차이 |
|---|---|---|
| 상호매체성 | 문학과 회화·음악·영화 등 다른 매체 사이의 상호작용 | 다중양식성은 한 텍스트 안에서 여러 기호 양식이 함께 의미를 만드는 방식 |
| 그래픽노블서사론 | 칸·여백·시점 이동 등 그래픽노블의 서사 방식 | 다중양식성을 적용하는 구체적 장르 이론의 하나 |
참고 문헌
- Kress, G., & van Leeuwen, T. (1996). Reading Images: The Grammar of Visual Design. Routledge.
- Kress, G., & van Leeuwen, T. (2001). Multimodal Discourse: The Modes and Media of Contemporary Communication. Arnold.
- Kress, G. (2010). Multimodality: A Social Semiotic Approach to Contemporary Communication. Routledge.
- Nikolajeva, M., & Scott, C. (2001). How Picturebooks Work. Garland.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.