Concrescence est une plateforme logiciel pour générer et explorer le cinéma interactif et algorithmique, couplé avec une « Hypertable » où les visiteurs veut interagir de manière plus intuitive avec les film à l'aide simplement de leurs mains.

• Concrescence
• Douglas Edric Stanley
• Generative Cinema Installation

Cette machine simple mais polyvalente réunit à la fois un logiciel de création, un programme de narrations interactives et génératives, et un dispositif physique d'interaction, voire d'expérience de cette image. Il s'agit de la création d'une véritable plateforme de narrations audiovisuelles interactives, génératives, ou non-linéaires, autrement dit des narrations algorithmiques. Ce programme permet de régler un problème récurant dans la conception de narrations interactives : le problème du choix. On rencontre souvent une idée reçue sur l'interactivité, parfois chez les créateurs eux-mêmes, selon laquelle certains types d'interactivité auraient moins de « liberté » d'interaction que d'autres, et par là moins d'interactivité elle-même. Le problème de cette conception, c'est qu'en fait on parle non pas d'interactivité, mais de choix. C'est presque une pensée consumériste, transformant la manipulation de l'image en une sorte de shopping pour l'image, et on manque le tournant d'une image dynamique c'est-à-dire programmée. L'interactivité ne doit pas être réduite à une panoplie de choix (« oui », « non », « gauche », « droit ») où l'utilisateur est libre de « choisir » logiquement le destin d'une histoire. D'abord, on connaît bien des cas où l'interactivité n'a rien à voir avec le choix, et relève plutôt d'un mouvement (un « axe de libérté »). Ensuite, la « liberté » du choix n'est pas réelle : l'interactivité n'est pas plus « libre » que n'importe quel autre médium, à moins d'appendre à l'utilisateur la programmation comme on pourrait donner aux enfants un crayon et une feuille blanche et leur apprendre à écrire (cf. Smalltalk). Et puis, dans le cas d'histoires interactives, le choix est presque antinomique à la narration dans la mesure où elle ne permet pas de continuité dans l'articulation des éléments — ce qui est essentiel pour une narration : on veut voir comment A s'est transformé en B et ainsi de suite, et non pas savoir simplement que A s'est transformé en B (ce qui relève plutôt d'une information que d'une narration). Finalement, une narration interactive sans subtilité dans le maniement du dispositif, où le « jeu » de l'interactivité serait trop évident, manque pour nous d'intérêt pour des questions de goût : nous recherchons plutôt l'interface intuitive que l'interface explicite.

Explorateur. Ma réponse au modèle de choix interactif consiste à créer le meilleur des mondes : on offre une infinité de combinaisons possibles au joueur dans la nuance des manipulations, dans ses mouvements, tout en donnant à l'ordinateur une infinité de combinaisons possibles dans la logique narrative. Le joueur peut manipuler à l'infini les images, elles sont « totalement » interactives. Il peut même changer le « montage » des images, changeant ainsi la forme du déroulement de la narration. Pour se débrouiller de manière pertinente face à cette activité, on donne à l'ordinateur la liberté de proposer telle ou telle image plutôt qu'une autre. L'ordinateur organise la structure de la narration pendant que l'utilisateur transforme son expression. On connaît déjà ce modèle d'interactivité dans les jeux vidéo : nous manipulons un personnage librement, par exemple, mais nous ne commandons pas tous les missiles ou briques qui lui tombent dessus. C'est d'autant plus l'absence de commande sur l'ensemble des paramètres, sur l'ensemble du jeu, qui confirme la véracité de l'interaction. On pourrait s'inspirer de ce modèle en disant que dans une narration interactive, ce qui est le plus pertinent est de pouvoir influencer l'histoire, et non pas de la commander, ni de la créer. La manipulation que nous proposons est à la fois active et passive, elle n'est ni totalement de l'ordre de la maîtrise, ni totalement automatique. Elle contourne, en tout cas, ce que nous considèrons comme le faux problème du choix.

Générateur. Pour contourner ce faux-problème, Concrescence propose un modèle basé sur celui de la générativité, où l'interactivité influence l'apparition des images mais ne les contrôle pas totalement non plus. L'utilisateur reste toujours libre à interagir comme il veut, mais l'ordinateur répondra à sa manière également. Pour assurer ce double-jeu, pour construire une narration à partir d'interactions imprévisibles, un générateur narratif a été construit pour s'assurer de la continuité entre les éléments. Son rôle est de regarder les images qui sont déjà apparues, et de proposer de nouvelles images en fonction des éléments narratifs contenus dans les précédentes. L'ordinateur regarde donc les manipulations, et propose des suites au joueur. Ironiquement, le générateur re-linéairise les données disparates, mais à la volée, en temps-réel, dans un combinatoire qu'on ne pourrait pas précisément prévoir. C'est par ce biais que nous évitons les problèmes liés au choix et à l'arborisation des données. On réintroduit de manière plus subtile la narration : chaque image est libre de venir et de repartir, l'utilisateur peut librement les agencer, les assembler, les manipuler, mais il y a un programme qui surveille ces associations pour s'assurer qu'il n'y a que des images intéressantes sur le plan plastique, ou cohérentes sur le plan narrative, qui entrent dans ces assemblages.

hypertable. Au-delà des besoins de nouvelles structures narratives, qui passent forcément par la création de nouveaux logiciels de création, nous avons également besoin de nouveaux supports de diffusion pour ce cinéma émergeant. Car l'image frontale du cinéma et même de la télévision interactive ne prend pas en compte de manière suffisante la main — c'est-à-dire le corps — du joueur. Bien que le cinéma « classique » ne soit pas passif — loin de là — il rend difficile des interactions subtiles avec l'image. La configuration d'un corps assis dans un fauteuil occulte cet aspect génératif, évolutif qu'une image construite ou manipulée par un ordinateur peut offrir. En conséquence, nous proposons de réorienter l'image, de la rendre accessible à la main. Nous proposons donc une table de projection interactive — une « hypertable » — couplée à notre logiciel génératif : une table où des images émergent sur une surface sensible au toucher humain. L'intérêt d'une telle forme d'interactivité réside dans le fait qu'elle propose un dispositif à la fois connu et nouveau pour le corps. La simplicité de cette table réside avant tout dans la lisibilité de l'interaction : l'image est mise directement à la portée de la main. La table tactile rend explicite le rapport entre l'image et sa manipulation. La lecture de l'image se fait avec la main. La nécessité d'une telle lisibilité vient d'un souci pour l'avenir de l'image en mouvement. Des dispositifs expérimentaux ne peuvent nous amener qu'à un certain point. Nous avons besoin de propositions concrètes sur ce cinéma émergeant : des machine qu'un public peut tout de suite saisir, où des gestes déjà acquis construisent un cinéma quelque part reconnaissable tout en étant radicalement nouveau. Pour permettre l'interaction intuitive avec l'image et éviter ainsi la manipulation logique d'une « interface graphique », la manipulation de la table de la machine Concrescence dépend — comme pour les yeux au cinéma, ou les oreilles dans une salle de concert — simplement des configurations les plus standards du corps. Comme pour le cinéma, le théâtre ou la musique, l'interface doit être le corps. Il y a nulle contradiction dans ces deux tendances : face à la complexification des structures narratives modulaires, il est tout à fait cohérent que de nouveaux dispositifs d'exploration et de projection deviennent nécessaires.

Croissance. En revenant au programme narratif on peut noter au passage que celui-ci n'est rien d'autre qu'une entité de vie artificielle. Même sans interaction, cette entité croit et décroît (fait apparaître et disparaître des images) selon des règles comportementales de vie et de mort (cf. Conway, The Game of Life). Sans interaction, des histoires viennent et repartent, dans un aperçu narratif temporellement distinct du temps de l'interaction. L'importance d'utiliser un modèle venu de la biologie expérimentale vient du besoin d'autonomie de l'histoire racontée au manipulateur. L'histoire existe en dehors du manipulateur, elle est vivante en dehors de lui. En posant sa main sur la table, il fait pousser des images, mais ce sont les images elles-mêmes qui détermineront leur propre cohérence, leur propre existence. Chaque poussé d'images est une entité, avec sa propre cohérence sémantique. En utilisant un système proche des moteurs de recherche dans leur analyse du World Wide Web, ce programme de vie artificielle ne fait croître que des images qui sont sémantiquement cohérentes par rapport à celles déjà dévoilées. Les poussés sont faites d'images hétérogènes — puisées aléatoirement dans la base de données — mais ne sont gardées que celles qui produisent une harmonie avec l'ensemble de la croissance. Cette indépendance des deux systèmes de vie — de la main du manipulateur, et du système de vie artificielle qui pousse autour — permet d'assurer l'histoire devant n'importe quel type d'interaction.

Faire pousser l'image. Connecté à la table il y a donc un ordinateur qui analyse les positions de la main et permet au logiciel Concrescence de dévoiler les images, de les dé-couvrir comme des fragments d'hiéroglyphes dans une fouille archéologique. On déplace ou on laisse sa main sur la surface de la table, et les images apparaissent. Plus précisément : des interactions rapides, furtives, font apparaître des cadres vides, de simples potentiels d'image ; ce n'est qu'en ralentissant ses gestes, en impliquant son corps, que des images narratives apparaîtront. Lorsque l'on pose sa main, les images poussent autour, à partir du programme de vie artificiel qui fait croître et décroître les images. À partir de cette poussé, des micro-mouvements de la main étendent cette croissance narrative, et laisse se développer les histoires. Chacune des images de la narration est une image chrono-photographique, c'est-à-dire une image photographique en mouvement contenant son propre ensemble d'images et sa propre temporalité. La manipulation de ces images peut être à la fois vague et précise : la façon dont on dévoile les images influence l'arrivée des suivantes et change la narration elle-même qui est construite de manière totalement discrète. Une narration pousse et se développement au contacte de la main et la surface de la table.

///////////////////////////////////////////

Concrescence est un programme logiciel destiné à la création de cinéma interactif et génératif, associé à une Hypertable interactive permettant aux utilisateurs d’interagir intuitivement avec le film à l’aide de leurs mains.

En tant que programme logiciel, Concrescence est organisé autour d’une base de données de petits fragments d’images en mouvement, constituant une forme de potentiel infini pour des narrations non linéaires. À mesure que le programme fonctionne, les images s’agrègent — d’où le terme de « concrescence » — pour former une mosaïque d’images qui est ensuite projetée sur la Hypertable.

La Hypertable est une table simple en bois mesurant 160 cm × 85 cm × 88 cm, sur laquelle les images sont projetées. Au-dessus de la table, un système de surveillance utilisant divers filtres et optiques proches de l’infrarouge, reliés à une carte électronique, permet au dispositif de « voir » les mains humaines lorsqu’elles se déplacent sur la surface. Lorsqu’une main est posée sur la table, le système la distingue de la surface elle-même et ordonne au logiciel Concrescence de faire croître des images autour de celle-ci.

Les images projetées sur la table proviennent directement de la base de données, mais elles sont filtrées par un processeur sémantique unique — bien que volontairement simple — qui limite l’agrégation anarchique du « tout est possible » en n’autorisant la liaison entre deux images que si des relations conceptuelles existent entre elles. Ces relations sont créées par un auteur à l’aide de l’interface d’authoring intégrée. Les images sont placées visuellement à proximité d’autres images, et le système est invité à « mémoriser » leurs relations (proximité, quantité, etc.). L’auteur peut ainsi concevoir une cohérence narrative destinée aux futurs interacteurs, tout en leur laissant la liberté d’explorer diverses tangentes et de suivre, à leur rythme et selon leurs propres modalités, cette soupe narrative. L’ensemble du processus a été pensé à la fois comme un dispositif narratif cinématographique et comme une matière interactive plus subtile, malléable, à partir de laquelle des narrations non linéaires peuvent être conçues et caressées.

Les questions explorées par Concrescence portent sur l’avenir du cinéma traditionnel face aux possibilités émergentes de l’art algorithmique.

L’une des contributions majeures de Concrescence réside dans sa capacité à résoudre l’usage excessif du choix dans l’interactivité. L’interactivité est un médium riche, qui ne saurait être réduit à une simple offre de choix (OUI, NON, GAUCHE, DROITE) faite à un utilisateur potentiel. En réalité, dans le cas du cinéma interactif, l’offre de choix est souvent contre-productive pour la construction d’une narration. En refusant de réduire l’interactivité à une succession de choix, et en lui préférant une articulation plus dynamique, plastique et ludique des éléments, Concrescence réintroduit le plaisir du montage dans l’expérience cinématographique du spectateur.

En tant que projet artistique, Concrescence a été conçu pour un auteur spécifique — en l’occurrence moi-même. Il constitue à la fois mon plateau de tournage, ma salle de montage et mon théâtre de projection, réunis en un seul dispositif, que j’utilise actuellement pour explorer des variations autour des formes de la narration cinématographique.

Cinéma algorithmique

Si les logiciels vidéo ont introduit de nouveaux flux de travail, leurs résultats restent néanmoins, pour l’essentiel, liés à des médias linéaires plus traditionnels tels que la vidéo, la télévision ou le cinéma. De même, si Internet a ouvert de nouvelles manières de présenter, de contextualiser et même de produire des œuvres, l’idée d’un cinéma génératif émergent demeure encore insuffisamment explorée. Initialement conçu comme un projet logiciel spéculatif, Concrescence est né d’une interrogation : à quoi pourrait ressembler un outil de création cinématographique non linéaire, envisagé depuis la perspective d’un artiste expérimental ?

Plusieurs variations autour de cette question initiale ont vu le jour — l’une des plus intéressantes étant un programme de VJing dynamique intitulé The Object Machine — mais toutes convergent vers une même forme visuelle : une mosaïque d’objets vidéo semi-autonomes, dans laquelle une image en mouvement déclenche une action dans l’objet-image suivant, produisant une cascade visuelle de boucles ondulatoires. Cette méthode permet à toute image de s’agréger potentiellement à une autre de manière autonome — laissant à l’ordinateur la possibilité de créer des associations dynamiques — et déplace le montage cinématographique de l’action-réaction temporelle à l’intérieur même du cadre, plutôt qu’entre les plans. Dès lors que l’ensemble n’est plus soumis à une nécessité temporelle unique, il peut évoluer selon des rythmes variables, à la fois en fonction de la volonté de l’interacteur et des exigences propres du générateur. La forme cinématographique devient ainsi à la fois générative et interactive ; il n’existe aucune contradiction entre les deux.

Par ailleurs, Concrescence cherche à réintroduire le corps dans l’expérience du cinéma interactif. En rejetant les interfaces électroniques physiques complexes, je propose une expérience corporelle simple, dans laquelle la main humaine façonne et explore une narration audiovisuelle interactive à travers des gestes intuitifs. Cette simplicité est essentielle. La force du cinéma classique, fondé sur le théâtre, réside dans l’usage de fonctions corporelles élémentaires : la vue, l’ouïe, l’immobilité. Quelle que soit la diversité sémiotique de ses contenus — narration hollywoodienne classique, Nouvelle Vague française, films d’arts martiaux asiatiques — le cinéma revient toujours à une même configuration : un corps immobile face à une projection audiovisuelle mobile. Si le cinéma interactif souhaite « rivaliser » avec ce modèle, il devra faire preuve d’une simplicité tout aussi puissante dans son rapport au corps humain.

La première étape a consisté à détacher l’écran de cinéma de son piédestal et à le repositionner à portée de main. Cette opération libère le spectateur de l’immobilité et lui permet de « se déplacer » dans la diégèse, d’observer passivement ou d’explorer activement, sans avoir à quitter le monde visuel pour réfléchir au choix de la scène suivante. Le cadre demeure mobile, mais désormais ce sont à la fois l’interacteur et l’image qui se déplacent, suggérant presque naturellement la possibilité d’« agir » sur l’image. De plus, le fait d’autoriser l’interaction en tout point de la table rend cette mobilité libre, non contrainte par des gestes prédéfinis.

La seconde étape a été l’usage d’un objet évocateur commun : la table. Par le passé, j’ai utilisé le sol et/ou les quatre murs, ce qui évoque instinctivement une expérience théâtrale plutôt que cinématographique. En utilisant une table, je mobilise sa nature à la fois publique et privée, passive et active. La Hypertable de Concrescence est simultanément table d’opération, bureau d’écriture, établi, table de cuisine, table de café et écran. Cette familiarité rend l’interaction confortable, convoque des gestes connus et nous place immédiatement dans un contexte évocateur. Quelle que soit l’interprétation qu’on en fait, la table suggère toujours implicitement qu’une construction est en cours.

La troisième étape a consisté à simplifier les gestes nécessaires à la manipulation de ce cinéma dynamique. Afin de rendre les interactions de l’utilisateur immédiatement perceptibles, des indices visuels indiquent la position de ses mains sur la surface de la table : par ce miroir de présence, le corps est intégré à l’espace. Cette interaction demeure cependant superficielle et ne produit pas de nouveau matériau narratif. Pour véritablement façonner l’expérience, l’utilisateur doit ralentir ses mouvements et engager davantage son corps ; ce n’est qu’alors que l’interface répond pleinement. En privilégiant la présence corporelle plutôt que le geste symbolique (pointer-cliquer), les interacteurs sont subtilement contraints — à l’image du spectateur qui s’installe progressivement dans son siège — d’entrer dans un environnement légèrement modifié. Contrairement au cinéphile, qui doit changer radicalement de contexte en quittant son fauteuil, l’interacteur peut ici passer aisément de l’état de spectateur à celui d’acteur, en modulant simplement la temporalité de ses gestes.