Sonic Wire Sculptor

2003.01.01

Sonic Wire Sculptor est une machine d’Amit Pitaru permettant aux joueurs de sculpter visuellement des figures sonores. Comme beaucoup de machines de ce genre, le principe est fort simple : on dessine des lignes qui génèrent des tonalités différentes selon les positions verticales des lignes sur l’écran. Parallèlement, ces mêmes lignes sont saisies par l’espace en trois dimensions de la machine, où elles tournent dans une sorte de tourbillon lent, presque comme si chaque ligne était saisie par des disques vinyl invisibles qui tournaient à en boucle à l’intérieur de l’écran. Nous parlons ici de disques vinyl, car l’effet ressemble de très près au « Music Box » de la collection Seven Memories of Digital Media de l’artiste japonais Toshio Iwai, qui lui aussi permet aux joueurs de poser des « notes » sur un disque virtuel qui joue ces notes en boucle par la suite.

D’autres machines pourraient également être à rapprochées au Sonic Wire Sculptor : Black Ribbon de Yugo Nakamura, Flying Letters de John Maeda, notre propre trane, et surtout Yellowtail de Golan Levin qui alimentera par la suite le Audiovisual Environment Suite. Toutes ces machines ont en commun l’usage central du array et sont en conséquence des héritières du jeu vidéo classique snake. On pourrait également parler de l’usage du dispositif de transformation si bien employé par Masaki Fujihata dans ses Field-Works, car ici le snake n’est plus déssiné à l’intérieur d’un tableau en deux dimensions, mais plutôt transposé — ou plus justement transcodé — à partir des axes x et y vers les axes y et z.

L’effet final pour le joueur devient qu’il ou elle puisse dessiner des mélodies complexes avec pratiquement aucune connaîssance de l’écriture musicale : il suffit de dessiner sur l’écran et on genère de la musique. Le fait d’avoir limité l’array dans une longeur fixe permet à la machine d’empiler à l’infini des notes à l’intérieur de cette longeur. La variation s’inscrit du coup à partir d’un référent temporel fixe : cette note reviendra. L’ensemble crée une accumulation complexe à partir de gestes forts simples, et c’est un des intérêts de ce principe d’empilement : alors que le résultat puisse devenir très complexe, le joueur est capable de gérer cette complexité en interagissant avec la machine uniquement à partir de gestes discrets. Petit à petit, l’oiseau fait son nid. On dessine une ligne; on écoute ce que ça donne; puis on rajoute une nouvelle ligne musicale; on écoute comment les deux résonnent entre elles; on rajoute une troisième ligne; et ainsi de suite.
A partir d’un doigt on dessine et compose en temps réel jusqu’à des centaines de variations musicales simultanées qui généreront dans l’accumulation la composition musicale finale; notre doigt s’emploie par dixaines voire centaines à l’intérieur de la machine. Tout ceci à partir du moment où la machine duplique nos gestes et nous les réjoue en notre absence comme une sorte de dédoublement fantomique : au lieu d’une action à distance compris dans une dimension spatiale, nous voici dans une action dans la distantiation, c’est-à-dire l’éloignement de notre propre geste dans des spirales qui s’eloignent de plus en plus de notre geste première comme les anneaux s’éloignant du point d’impact d’un caillou dans l’eau.

A ce transcodage doublé d’une réptition fantômique, Sonic Wire Sculptor rajoute une dernière modulation dans le fonctionnement de la machine : la réorientation des notes via la fonction transformation qui permet de basculer l’ensemble valeurs de l’axe z en des valeurs de l’axe y, transformant ainsi d’un seul geste toutes les tonalités de la composition. Car pendant que le joueur déssinait sur les axes x et y de son écran, et que les valeurs de l’axe y modulait les hauteurs de notes, en même temps les valeurs de l’axe x étaient également en train d’être enregistrées dans l’array central. Via un geste d’étirement vertical, le joueur peut prendre l’ensemble de ces valeurs et les réorienter comme si on saissait un globe et plaçait le pôle sud au niveau de la méditerranée. Ces valeurs deviennent du coup les nouvelles valeurs de l’axe y qui module la tonalité des sons.

Ce qui nous intéresse dans ce dernier procédé est la façon dont on peut facilement transformer la structure d’une composition, en si peu de temps et avec si peu d’effort, grace à l’algorithme. Les sons continuent à être modulés par leur placement vertical sur l’écran — principe extremement simple est lisible pour le joueur. Mais en même temps l’ensemble est pré-filtré avant cette application par le procédé de transformation, ce qui introduit une couche d’abstraction supplémentaire entre la position des traits et les sons qu’ils génèrent. Ce qui implique en final, trois couches diagrammatiques dans Sonic Wire Sculptor, chacune construite sur le dos de l’autre :

transcodage > écho > transformation

Chacune de ces couches peuvent être modulés séparément, et corréspond à des fonctions très précises dans la programmation. Ces fonctions sont :

variable > array > transformation