Dans le cas de l’interactivité, le mot instrument est à employer dans ses deux sens, c’est-à-dire à la fois comme objet servant à effectuer ou exécuter quelque chose et comme moyen d’obtention d’un résultat. D’un côté, l’interactivité permet la manipulation d’objets, d’actions, ou de configurations de fonctionnalités. Elle est, dans ce sens, l’objet lui-même, ce que l’on manipule pour obtenir un effet. Mais dans la mesure où l’interactivité englobe également l’ensemble du processus de manipulation de cet objet (cf. la programmation), on peut dire que l’interactivité est le moyen utilisé pour manipuler cet objet, c’est-à-dire l’événement même de la manipulation. L’interactivité c’est à la fois l’objet manipulé et la manipulation de l’objet. Ici objet et contexte se confondent dans un seul et même acte. Dans le cadre de l’informatique nous pouvons dire que l’interactivité c’est à la fois ce que je peux faire dans un espace de représentation (cliquer ici et là), et l’expérience plus générale de ce « faire » (nettoyer le « bureau », dessiner un canard). Pourquoi ces deux choses ont-elles tendance à se confondre dans un seul mot ou concept que nous appelons « interactivité » ? La réponse peut venir de partout, mais j’aurais tendance à dire que c’est parce que dans l’interactivité on ne peut pas comprendre la fonctionnalité en dehors de son fonctionnement, c’est-à-dire que dans l’interactivité il n’y a même pas d’objet sans son actualisation dans un contexte, plus précisément celui du dispositif interacteur-programme. Il s’agit de la question : qu’est-ce que ça fait là-dedans ? L’objet ne peut pas être compris en dehors de son rapport aux autres objets, par rapport à sa propre programmation, et par rapport à la figure dessiné par le programme en générale. L’interactivié est donc un instrument, c’est-à-dire à la fois l’objet de manipulation et la manipulation de cet objet. Cette manipulation généralisée nous amène à l’autre définition importante de « instrument » : instrument de musique. Comme dans l’interactivité, l’instrument de musique ne peut pas être compris en dehors du contexte plus générale de sa manipulation, c’est-à-dire la musique. La musique c’est à la fois le contexte dans lequel l’instrument a son sens ainsi que le contexte créé par cet instrument. Car l’instrument est bien sûr un moyen de création. Il a sa partition qui ressemble en quelque sorte au programme, et la capacité de transformer cette partition, l’actualiser, et lui donner un tout nouvel événement. Comme pour les boutons, une des questions intéressantes pour l’interactivité tourne autour de l’idée suivante quels instruments créer et pour quelle musique ? A partir du moment où je comprends qu’en l’informatique n’importe quoi peut devenir un bouton — du texte, de l’image, du son — le bouton perd ses obligations vis-à-vis des interrupteurs et libère son concept de déclenchement. Je peux créer alors un véritable clavier d’abstractions, un instrument qui prend image, texte, son comme autant de notes possibles. Quand je prends une image vidéo numérisée et que j’introduis la manipulation temporelle de son « time-code », est-ce que nous pouvons dire à ce moment-là que l’image est devenue un instrument ? Une image-violon ? Ceci change à la fois l’idée que nous avons de la musique ainsi que celle de l’image. La réponse est oui, mais dépend en même temps des capacités plus générales du programme à permettre une « musique » à partir de sa manipulation. En tout cas, la logique d’abstraction de la discrétisation fait que n’importe quel media — son, image, texte, etc. — peut être relié, voire interchangé, avec n’importe quel autre. À partir d’une guitare numérique branchée sur un ordinateur, par exemple, je peux remplacer le son de guitare du synthétiseur avec l’enregistrement d’un poème d’Amiri Baraka pour permettre à un musicien de « jouer » la voix du poème. L’intérêt d’un tel dispositif, ou d’un dispositif permettant de jouer l’image comme un instrument, c’est qu’il réintroduit le corps et sa gestualité à travers la prothèse, et nous éloigne de l’interface froide qui nous demande de nous projeter dans un espace symbolique pour éventuellement y trouver de la matière affective. Il n’est pas étonnant d’apprendre qu’au seizième siècle, on utilisait le mot « instrument » plus couramment pour parler tout simplement des divers organes du corps.
cf. accordage affectif, diagramme, effort, prothèse
illustration :
Emergency Broadcast Network Video Sampler, EBN (Joshua Pearson, Gardner Post, Ron O’Donnel, Greg Deocampo). Elargissant le procédé de « sampling » utilisé dans la musique hip-hop, techno, etc., le « Video Sampler » du Emergency Broadcast Network permet de jouer des boucles d’images-vidéo comme des notes de musique. Chaque boucle son-vidéo est relié soit à un clavier électronique MIDI, soit à une interface graphique permettant d’appeler chaque image immédiatement et de la jouer de différentes manières : en avant, en arrière, en boucle, ou en avant-en arrière successivement. Le Video Sampler d’EBN est surtout un instrument conçu pour EBN lui-même, puisqu’il s’agit en fait d’un groupe de musiciens-DJ’s qui utilisent le Video Sampler comme moyen de composition de la musique hip-hop/techno.
illustration :
Violin Power, Steina Vasulka. Avec son mari Woody, Steina Vasulka est connue avant tout comme un des pionniers de l’art vidéo. Avant de travailler l’image vidéo, elle était violoniste, mais elle a abandonné le violon pour faire de la vidéo. Rejetant les problèmes liés à l’image et à la représentation, les Vasulka n’abandonnent jamais complètement le rapport son-image/musique-image et vont jusqu’à les rapprocher dans leur conception de la vidéo elle-même :
« 90% of people that developed video synthesizers had former interests in music. Each of their instruments at least contained circuits which were modulated by sound… All we were pointing to was the simple fact that sound could influence picture. Everything is defined simply by frequency, or voltage change in time in a wave form organization. » 90% des personnes qui ont développé le synthétiseurs vidéo ont eu des liens précédents avec la musique. Chacun de leurs instruments contenaient des circuits modulés au moins par le son… Tout ce qu’on disait alors c’était que le son pouvait influencer l’image. Tout est défini simplement par fréquence, ou par changement de la tension dans l’organisation des formes d’ondulation à travers le temps. » — Interview with Woody Vasulka, Chris Hill](http://www.squeaky.org/sq/spring1995/sq_woody_vasulka.html))
Dans les années 1980, Steina Vasulka revient à son instrument de départ mais cette fois-ci avec un violon électronique MIDI qui permet de sortir des données informatiques au lieu de vibrations sonores. Dans une série de performances appelées Violin Power, elle le branche sur un ordinateur qui lui permet de contrôler un disque laser d’images vidéo.
projets personnels :
La dernière heure, projet d’installation interactive, Douglas Edric Stanley; CD-Rom de la Revue virtuelle, Douglas Edric Stanley en collaboration avec l’équipe de la Revue Virtuelle;La morsure, projet de CD-Rom, Douglas Edric Stanley avec Andrea Davidson; Lull, installation interactive, Douglas Edric Stanley (en développement). Dans plusieurs de mes projets, j’ai tenté d’offrir un certain nombre de réponses à la question interactivité-instrument. Cette préoccupation a commencé avant tout avec les séquences interactives que j’ai conçu pour la Revue Virtuelle où j’ai découvert que l’ordinateur savait lire l’image vidéo à sa façon et que cette lecture transformait radicalement la temporalité même de l’image. J’ai développé alors un certain nombre de séquences interactives où à partir d’une séquence linéaire en suspens, l’interactivité consistait à animé cette séquence et à déplier les divers lectures possible de son image-mouvement. Avec des gestes de souris minimalistes, le rapport entre image-geste-instrument s’est cristallisé sous mes yeux. Le projet La dernière heure, reprend ce dispositif en remplaçant la souris traditionnelle par un track-ball à partir duquel l’utilisateur « caresse » l’image et détermine la fréquence du montage des images contrôlées par le générateur du récit. Le track-ball devient l’instrument qui donne le ton du montage et indique au générateur du récit qui cherche à donner du sens aux images, le type de récit qu’il doit faire. L’instrument est plus qu’une simple manipulation de l’image et du son, c’est également l’articulation même du récit ainsi que le mouvement propre de l’image-mouvement. Avec La morsure, ce rapport instrument-interactivité prend forme dans l’image du corps. Les gestes de l’interacteur sont reliés directement ou par réflexion déformatrice aux mouvements enregistrés des danseurs pour construire une chorégraphie elle-même interactive. Ici, danse-musique-corps-instrument trouve une expression nouvelle dans l’interactivité, comme on peut voir dans les divers exemples déjà produits pour la maquette où une chorégraphie complexe doit être dépliée comme s’il s’agissait d’une corde musicale à jouer et à rejouer pour enfin saisir sa figure. Ce projet, ainsi que le projet Lull, introduit également un rapport plus évident entre interactivité-instrument de musique en créant des reflets gestuels auditives. Le son doit être déplié à travers les gestes intensives de l’interacteur - c’est à lui de faire jouer la bande-son. Dans Lull c’est l’ensemble du corps de l’utilisateur qui prend ce rôle avec des capteurs de mouvements qui activent une voix par rapport aux mouvements divers des visiteurs de l’exposition. C’est le corps même de l’interacteur qui sert d’instrument, l’ordinateur n’étant qu’extension de cet instrument. Le corps rejoint le rôle de la prothèse d’interaction, et devient lui-même instrument prothétique de l’ordinateur.