音乐——空间联觉性的超结构研究
时间:2025/07/05 04:07:09 来源:中国社会科学网 作者:熊宁辉 丁同俊 点击:次
引 言 音画之间的联动配合，在相关艺术设计课程中也讲到，但所涉及的只是一些简单的认知，如对声音的颜色联觉，可能只停留在音高与亮度、音强与亮度的联觉、音乐与情绪、与明暗的联觉，即所谓“观念联觉”范畴。在艺术设计中，设计师由于缺乏理论指导，涉及到跨感官表达的主要靠自己主观添加和想象，没有切实关注到观众的真实感受，也不知道通过何种方法去改进。本研究提供了一个系统梳理思维的方式，引导设计师培养“联觉意识”，从而在艺术创作设计中贯彻和提高。 运用联觉进行艺术创作，笔者在多年来实践基础上总结出一系列方法，作为音乐可视化分析和系统梳理的思维过程，对大型乐曲的处理，则需要按照音乐段落进行这种分析，并进行纵向对比，这样就可以比较清晰地构建音乐联觉的空间结构。这种观点和方法可以为音乐可视化创作开辟新的视野，对动画或舞美设计带来创意启发。它对大型节目的制作策划或产品设计也是可以借鉴的，也包括沉浸式艺术，目的是如何有效地引导和调动观众。 联觉属于人类跨感官感受的一种自然反应，这种感受和体验历史上有许多记载和反映，无论是古希腊的荷马史诗，还是中国先秦的乐论，都有许多探讨，但是不成体系。直到近二十年在研究脑神经潜意识研究方面有重大突破，人们才对联觉有了重新认识。目前，科学界普遍认为联觉分两大类：一是有知觉的天然联觉，那些与个人认知相关的神经生理反应，是由大脑的一个或更多的不相干的部位联系在一起引起的，通过功能核磁共振图像对联觉人与普通人大脑对比扫描分析，从科学的角度开始了解其成因，但天生联觉的种类繁多，相关机制尚不完全明晰；二是观念联觉即经验联觉，它包含了普通人都具备的跨感官反应，与人的生理结构、生活经验而形成的认知相关，目前对观念联觉的机制研究则更加复杂。这种有知觉的天生联觉与观念联觉究竟是完全两种机制还是相互关联的，对探索人类的知觉和跨感官交互机制具有非常重要大的意义。 联觉在艺术创作中已大量使用，包括我们熟知的画家梵高、惠斯勒、康定斯基，音乐家李斯特、梅西安；文学家诗人兰波、波提莱尔、王维、张羽。艺术家有他们丰富的内心世界，他们用感官感知自然，与情感交织在一起，给观众带来一个独特的世界，反映到绘画、文学、音乐，以及其他艺术形式，通过多种感官和情感的转换过滤，构成其内在的自我。这里有联觉成分（有知觉的天生联觉、跨感官的观念联觉）、也有幻想和移情成分。此外，运用观念联觉进行设计，包括平面设计、建筑设计、广告设计、产品设计，以及可视化生产管理，起源于包豪斯的“综合艺术”，大量的跨感官经验联觉被广泛运用，这种非语言共通的认知方式，有效便利地帮助了人类的生活。 运用联觉经验进行的艺术创作或产品设计，将优秀的艺术家设计师经验进行科学总结和研究，这也是近些年国际联觉界的一个共同研究方向。与国外联觉艺术研究有所不同，笔者更关注其应用性的总结和实现方法，如探索音乐与视觉表达之间的复杂联觉，因为在现实的艺术与生活中，我们接触到的是音乐而不是简单的音响，是作品/产品而不是模型，这是一个作品/产品、用户、环境、过程的综合体，这就是笔者引入“综合感官理联觉这个概念”的意图，这也是中国传统美学给予笔者许多启示。以音乐可视化创作的过程为例，音乐联觉在时空中的反映不只是一幅图像，而是多维的变化结构，因为可以有不同的视角或关注点等等，即所谓音乐空间联觉性的超结构。如何实现是关键，我们按“音乐艺术的视觉化过程”“视觉艺术的音乐化过程”“音乐空间联觉性的超结构”三部分进行概述。这些实现方法是基于多年笔者艺术创作实践、艺术教学实践的总结，包括绘画作品《肖邦24首前奏曲中的风景》系列、《渔樵问答》、《流水》系列，可视化装置《波莱罗舞曲》、肖邦《第一叙事曲》、巴赫《善牧羔羊》系列、格什温《蓝色狂想曲》等。 一、“音乐联觉鱼骨图分析法”和“音乐联觉蜘蛛图分析法” 在音乐艺术的视觉化过程中，为了更直观全面的反映音乐的感受和联觉特征，笔者提出“音乐联觉鱼骨图分析法”来“包罗”音乐联觉感受的“万象”，指导绘画创意构思，即鱼骨图的横坐标为一种音乐进程中的“历时”，而纵坐标为情绪、明暗浓淡、冷热、色彩、速度、空间形状、流线疏密及方向、触摸、嗅觉、味觉的“共时”，如此构成音乐与诸联觉的关系，如图1所示。用“音乐联觉鱼骨图分析法”进行音乐感受整理、构思绘画草图时，会采用怎样的具体造型，或描述什么具体对象呢？其实这并不那么重要，关键是体会它的特征，以这种头脑风暴方式进行联觉梳理，得出较为全面的联觉形态。不同的人视角不尽相同都是允许的，这种开放式的绘画理念是与艺术创新的初衷相一致的。这里，不同的联觉感受带来的绘画诠释的差异其实也具有研究价值。这是在音画联觉绘画创作时要考虑到的方面。  图1：音乐联觉鱼骨图、蜘蛛图分析法,以琴曲《流水》第一段（管平湖演奏）为例 是否可以对“音乐联觉鱼骨图分析法”各项联觉指标进行打分？为了进一步量化“特定音乐”带来的“感官综合联觉”感受程度（情感、速度、冷热、形状、浓度、流线与方向、明暗、质感、气息、味觉），笔者又进一步提出“音乐联觉蜘蛛图分析法”，如图1所示，对“音乐联觉鱼骨图分析法”进行有效补充。用这些方法我们可以较清晰地看出听者对“特定音乐”的综合联觉状况。通过这个过程的梳理，我们可以了解到音乐中有哪几种联觉在起作用？其联觉程度如何？从而可以进一步探究音乐中音乐要素在联觉方面起到怎样的作用？为何有的人有，有的人没有？以此进一步理解联觉的规律性。 二、音画联觉构图法 1. 绘画构成对音乐的音响强弱的联觉贡献 绘画中各种元素（点线面色彩等）的多少、大小、尺寸和密度与重量，与音强成正比。 2.绘画构成对音高的联觉贡献 色彩冷热或灰度搭配、画面的起与伏，与音高成正比。 3.绘画构成对音乐的韵律与节奏联觉贡献 画面元素的重复性可能会产生画面的“韵”，只有当画面相一致的元素“重量”或“体量”配比达到“错落有致”时，才会产生音乐的节奏感、韵律感。重复可以产生一定的“韵”，但不一定是美的“韵”，不一定产生绘画音乐性的“节奏”与“韵律”，因为画面元素“重量”或“体量”配比必须做到“错落有致”，绘画中各种元素的多少、大小、尺寸和比例的把握，画面对比的形成是关键。画面的美感与趣味通过绘画元素“实”的构成和比例，给观众带来“虚”的节奏感，引发内心的激荡。 4. 绘画构成对音乐的速度联觉贡献 画面需要具备某种行进的速度感，可以分辨出广板、行板、快板、急板。 5.绘画构成对音乐的动感联觉贡献 如果画面可以显示出不同运动速度，并且其空间的运动轨迹是可区分的，那么其绘画的音乐性指向也会变得更加明确，因为音乐的动感其实来自于节奏和音响力度不同组合。 6.绘画构成对音乐的旋律联觉贡献 有规则的造型（点线面）与特定的音乐旋律有着某种观念联觉指向，类似柔和的或尖锐的等等。 7.绘画构成对音乐的和声的联觉贡献 色彩的组合达到一定合适的比例，就会出现一种“瑰丽”之感，可以联觉到和声。 8.绘画构成对音乐的调性、音色的联觉贡献 整个画面色彩的明暗、纯度、色彩的质地处理、材料肌理相对一致性的风格，会联觉到某种调性或音色。 9.绘画构成对音乐的织体的联觉贡献 画面中的色彩与线条形成不同的层次，可以联觉到音乐的织体，可能是单声部的、复调的、主调的。 10.其他感官联觉 (触、嗅、味) 也可以间接地反映绘画的音乐性上 绘画中对大自然事物的描绘或暗示，如飘荡的烟雾或色彩产生的嗅觉联觉，以色彩、笔触或材料肌理的处理，尤其会联觉到温度和湿度，进而间接地联觉到某种具有特质的音乐。 以“音乐联觉鱼骨图分析法”收集信息在先，而后对可能的视觉原型用类似“音画联觉构成法”确定构图，同时将这种视觉效果所联觉到的音乐性与最初的目标音乐进行比照。这个过程需要多次筛选，形成最后可以建模的原型素材，也就是概念构图。在正式作品创作阶段，还需要从作品的尺幅规模或形式、媒介材料的选择、创作技法过程进行二次设计，再次比照“音乐联觉鱼骨图分析法”所收集的信息，实现音乐可视化表现。 三、“音乐联觉的纵向分析法”以及音乐空间联觉性超结构的形成 案例分析及图例：  图2：音乐演奏—联觉意象—可视化实现对应关系，以琴曲《流水》第一段为例（管平湖演奏），熊宁辉、李村、张婉晴分析。通过“联觉鱼骨图”收集联觉感受，通过“联觉蜘蛛图”判断其强度（“浑厚”“弥散感”“扑面而来”在《流水》第一段尤其突出）；这种强烈的感受音乐家是如何演奏的（通过“散音八度大跳、低沉饱满”“虚音延绵不绝”“不协和音响冲击力”而产生）；而这种感受又如何通过画面进行可视化的实现（如“松散的暗部”“块面流线暗示辐射状扑面而来扩散”“松散肌理处理”）。   图3：琴曲《流水》（管平湖演奏）“音乐—空间的联觉性超结构”（熊宁辉作，赵廷芳书法）及其琴曲九段中各项音乐联觉指数汇总曲线。2016年—2017年，熊宁辉对琴曲《流水》进行的可视化研究，根据音乐的9段，创作了9幅油画。这种“音乐—空间的联觉性超结构”构成，其主要来源于“音乐联觉蜘蛛图”对音乐联觉各个指数走向的反映，联觉指数在“质感”“味觉”“嗅觉”方面基本稳定（图中柱状的部分）构成一个随时间变化而相对稳定的“环境”，而联觉指数在“情感”“速度”“温度”“形状”“浓度”“流线”“明暗”方面变化起伏较大（图中折现的部分），而且一直在发展变化，这就是这个管道式结构形成的主要原因。 注：该文系作者根据《音乐—空间联觉性的超结构研究》一文所做的摘编。原文被收于2018年中国艺术学理论学会年会论文集。 参考文献 ： [2]Ninghui Xiong, Tongjun Ding (2015), “Synthetic Senses Synaesthesia and its role in Art Development- A Study of Music Visualization in Art”, Actas V Congreso Internacional de SINESTESIA: CIENCIA y ARTE, ISBN: 979-84-9287-51-8, Impresoen Espana - Union Europea, PP125-136. [3]熊宁辉：《绘画中的音乐性》，载《大汉故里，观图论乐：中国音乐图像学学会第二届年会及学术研讨会论文集》（李荣有、李爱真主编），中国文联出版社2016年版，第319-340页。 [4]Ninghui Xiong (2017), Music visualization: Study of Musical-Space Synaesthesia Hyperstructure on 12th Annual National Meeting of the ASA, Harvard University, October 2017; DOI: 10.13140/RG.2.2.10949.35041 [5]Ninghui Xiong (2018), “Synaesthesia Expression, inner music Characters in Paintings”, Actas VI Congreso International de SINESTESA: CIENCIA y ARTE, E-Book ISBN: 978-84-948665-0-0@ Editoral: Fundacion International Artecitta, PP121-130. [6]Ninghui Xiong, Tongjun Ding, eds (2018), “Synaesthesia in China 2016/2017”, Actas VI Congreso International de SINESTESA: CIENCIA y ARTE, E-Book ISBN: 978-84-948665-0-0@ Editoral: Fundacion International Artecitta, PP158-163. （作者单位：熊宁辉，音画联觉艺术工作室。丁同俊，杭州师范大学钱江学院） (责任编辑：admin) |
- 上一篇：艺术公共课的新起点
- 下一篇：出土文献研究的海外镜鉴