Concrescence is a software platform for the creation of interactive and generative cinema, coupled with an interactive Hypertable where users can intuitively interact with the film with the use of their hands.
- Concrescence
- Douglas Edric Stanley
- Generative Cinema Installation
Cette machine simple mais polyvalente réunit à la fois un logiciel de création, un programme de narrations interactives et génératives, et un dispositif physique d’interaction, voire d’expérience de cette image. Il s’agit de la création d’une véritable plateforme de narrations audiovisuelles interactives, génératives, ou non-linéaires, autrement dit des narrations algorithmiques. Ce programme permet de régler un problème récurant dans la conception de narrations interactives : le problème du choix. On rencontre souvent une idée reçue sur l’interactivité, parfois chez les créateurs eux-mêmes, selon laquelle certains types d’interactivité auraient moins de « liberté » d’interaction que d’autres, et par là moins d’interactivité elle-même. Le problème de cette conception, c’est qu’en fait on parle non pas d’interactivité, mais de choix. C’est presque une pensée consumériste, transformant la manipulation de l’image en une sorte de shopping pour l’image, et on manque le tournant d’une image dynamique c’est-à-dire programmée. L’interactivité ne doit pas être réduite à une panoplie de choix (« oui », « non », « gauche », « droit ») où l’utilisateur est libre de « choisir » logiquement le destin d’une histoire. D’abord, on connaît bien des cas où l’interactivité n’a rien à voir avec le choix, et relève plutôt d’un mouvement (un « axe de libérté »). Ensuite, la « liberté » du choix n’est pas réelle : l’interactivité n’est pas plus « libre » que n’importe quel autre médium, à moins d’appendre à l’utilisateur la programmation comme on pourrait donner aux enfants un crayon et une feuille blanche et leur apprendre à écrire (cf. Smalltalk). Et puis, dans le cas d’histoires interactives, le choix est presque antinomique à la narration dans la mesure où elle ne permet pas de continuité dans l’articulation des éléments — ce qui est essentiel pour une narration : on veut voir comment A s’est transformé en B et ainsi de suite, et non pas savoir simplement que A s’est transformé en B (ce qui relève plutôt d’une information que d’une narration). Finalement, une narration interactive sans subtilité dans le maniement du dispositif, où le « jeu » de l’interactivité serait trop évident, manque pour nous d’intérêt pour des questions de goût : nous recherchons plutôt l’interface intuitive que l’interface explicite.
Explorateur. Ma réponse au modèle de choix interactif consiste à créer le meilleur des mondes : on offre une infinité de combinaisons possibles au joueur dans la nuance des manipulations, dans ses mouvements, tout en donnant à l’ordinateur une infinité de combinaisons possibles dans la logique narrative. Le joueur peut manipuler à l’infini les images, elles sont « totalement » interactives. Il peut même changer le « montage » des images, changeant ainsi la forme du déroulement de la narration. Pour se débrouiller de manière pertinente face à cette activité, on donne à l’ordinateur la liberté de proposer telle ou telle image plutôt qu’une autre. L’ordinateur organise la structure de la narration pendant que l’utilisateur transforme son expression. On connaît déjà ce modèle d’interactivité dans les jeux vidéo : nous manipulons un personnage librement, par exemple, mais nous ne commandons pas tous les missiles ou briques qui lui tombent dessus. C’est d’autant plus l’absence de commande sur l’ensemble des paramètres, sur l’ensemble du jeu, qui confirme la véracité de l’interaction. On pourrait s’inspirer de ce modèle en disant que dans une narration interactive, ce qui est le plus pertinent est de pouvoir influencer l’histoire, et non pas de la commander, ni de la créer. La manipulation que nous proposons est à la fois active et passive, elle n’est ni totalement de l’ordre de la maîtrise, ni totalement automatique. Elle contourne, en tout cas, ce que nous considèrons comme le faux problème du choix.
Générateur. Pour contourner ce faux-problème, Concrescence propose un modèle basé sur celui de la générativité, où l’interactivité influence l’apparition des images mais ne les contrôle pas totalement non plus. L’utilisateur reste toujours libre à interagir comme il veut, mais l’ordinateur répondra à sa manière également. Pour assurer ce double-jeu, pour construire une narration à partir d’interactions imprévisibles, un générateur narratif a été construit pour s’assurer de la continuité entre les éléments. Son rôle est de regarder les images qui sont déjà apparues, et de proposer de nouvelles images en fonction des éléments narratifs contenus dans les précédentes. L’ordinateur regarde donc les manipulations, et propose des suites au joueur. Ironiquement, le générateur re-linéairise les données disparates, mais à la volée, en temps-réel, dans un combinatoire qu’on ne pourrait pas précisément prévoir. C’est par ce biais que nous évitons les problèmes liés au choix et à l’arborisation des données. On réintroduit de manière plus subtile la narration : chaque image est libre de venir et de repartir, l’utilisateur peut librement les agencer, les assembler, les manipuler, mais il y a un programme qui surveille ces associations pour s’assurer qu’il n’y a que des images intéressantes sur le plan plastique, ou cohérentes sur le plan narrative, qui entrent dans ces assemblages.
hypertable. Au-delà des besoins de nouvelles structures narratives, qui passent forcément par la création de nouveaux logiciels de création, nous avons également besoin de nouveaux supports de diffusion pour ce cinéma émergeant. Car l’image frontale du cinéma et même de la télévision interactive ne prend pas en compte de manière suffisante la main — c’est-à-dire le corps — du joueur. Bien que le cinéma « classique » ne soit pas passif — loin de là — il rend difficile des interactions subtiles avec l’image. La configuration d’un corps assis dans un fauteuil occulte cet aspect génératif, évolutif qu’une image construite ou manipulée par un ordinateur peut offrir. En conséquence, nous proposons de réorienter l’image, de la rendre accessible à la main. Nous proposons donc une table de projection interactive — une « hypertable » — couplée à notre logiciel génératif : une table où des images émergent sur une surface sensible au toucher humain. L’intérêt d’une telle forme d’interactivité réside dans le fait qu’elle propose un dispositif à la fois connu et nouveau pour le corps. La simplicité de cette table réside avant tout dans la lisibilité de l’interaction : l’image est mise directement à la portée de la main. La table tactile rend explicite le rapport entre l’image et sa manipulation. La lecture de l’image se fait avec la main. La nécessité d’une telle lisibilité vient d’un souci pour l’avenir de l’image en mouvement. Des dispositifs expérimentaux ne peuvent nous amener qu’à un certain point. Nous avons besoin de propositions concrètes sur ce cinéma émergeant : des machine qu’un public peut tout de suite saisir, où des gestes déjà acquis construisent un cinéma quelque part reconnaissable tout en étant radicalement nouveau. Pour permettre l’interaction intuitive avec l’image et éviter ainsi la manipulation logique d’une « interface graphique », la manipulation de la table de la machine Concrescence dépend — comme pour les yeux au cinéma, ou les oreilles dans une salle de concert — simplement des configurations les plus standards du corps. Comme pour le cinéma, le théâtre ou la musique, l’interface doit être le corps. Il y a nulle contradiction dans ces deux tendances : face à la complexification des structures narratives modulaires, il est tout à fait cohérent que de nouveaux dispositifs d’exploration et de projection deviennent nécessaires.
Croissance. En revenant au programme narratif on peut noter au passage que celui-ci n’est rien d’autre qu’une entité de vie artificielle. Même sans interaction, cette entité croit et décroît (fait apparaître et disparaître des images) selon des règles comportementales de vie et de mort (cf. Conway, The Game of Life). Sans interaction, des histoires viennent et repartent, dans un aperçu narratif temporellement distinct du temps de l’interaction. L’importance d’utiliser un modèle venu de la biologie expérimentale vient du besoin d’autonomie de l’histoire racontée au manipulateur. L’histoire existe en dehors du manipulateur, elle est vivante en dehors de lui. En posant sa main sur la table, il fait pousser des images, mais ce sont les images elles-mêmes qui détermineront leur propre cohérence, leur propre existence. Chaque poussé d’images est une entité, avec sa propre cohérence sémantique. En utilisant un système proche des moteurs de recherche dans leur analyse du World Wide Web, ce programme de vie artificielle ne fait croître que des images qui sont sémantiquement cohérentes par rapport à celles déjà dévoilées. Les poussés sont faites d’images hétérogènes — puisées aléatoirement dans la base de données — mais ne sont gardées que celles qui produisent une harmonie avec l’ensemble de la croissance. Cette indépendance des deux systèmes de vie — de la main du manipulateur, et du système de vie artificielle qui pousse autour — permet d’assurer l’histoire devant n’importe quel type d’interaction.
Faire pousser l’image. Connecté à la table il y a donc un ordinateur qui analyse les positions de la main et permet au logiciel Concrescence de dévoiler les images, de les dé-couvrir comme des fragments d’hiéroglyphes dans une fouille archéologique. On déplace ou on laisse sa main sur la surface de la table, et les images apparaissent. Plus précisément : des interactions rapides, furtives, font apparaître des cadres vides, de simples potentiels d’image ; ce n’est qu’en ralentissant ses gestes, en impliquant son corps, que des images narratives apparaîtront. Lorsque l’on pose sa main, les images poussent autour, à partir du programme de vie artificiel qui fait croître et décroître les images. À partir de cette poussé, des micro-mouvements de la main étendent cette croissance narrative, et laisse se développer les histoires. Chacune des images de la narration est une image chrono-photographique, c’est-à-dire une image photographique en mouvement contenant son propre ensemble d’images et sa propre temporalité. La manipulation de ces images peut être à la fois vague et précise : la façon dont on dévoile les images influence l’arrivée des suivantes et change la narration elle-même qui est construite de manière totalement discrète. Une narration pousse et se développement au contacte de la main et la surface de la table.
///////////////////////////////////////////
Concrescence is a software program for the creation of interactive and generative cinema, coupled with an interactive Hypertable where users can intuitively interact with the film with the use of their hands.
As a software program, Concrescence is organised around database of small, moving image fragments, a kind of infinite potential for non-linear narratives. As the program runs, images accrete — hence the term “concrescence” — forming a mosaic of images that are subsequently projected onto the hypertable.
The hypertable is a simple wooden table 160cm x 85 cm x 88 cm, onto which images are projected. Above the table, a surveillance system using various near-infrared filters and optics connected to a circuit board allow the system to “see” human hands as they move upon the tabletop. When a hand is placed on the table, the surveillance system distinguishes it from the table itself, and instructs the Concrescence software to grow images around it.
The images projected onto the table come directly from the database, but are filtered through a unique, but simple, semantic processor that limits “anything goes” accretion by allowing images to bond with another image only if there are conceptual relations between them. These conceptual relations are created by an author, using the integrated authoring interface. Images are placed visually with other images, and the system is told to “remember” their relationships (proximity, number, etc). The author can therefore design a narrative coherence for the subsequent interactors, while allowing the interactors to investigate various tangents and follow the narrative soup in their own time and manner. The entire process has been designed as both a cinematic narrative device and a more subtle interactive putty out of which non-linear narratives can be designed and caressed.
The questions explored by Concrescence revolve around the future of traditional cinema in relation to the possibilities emerging in algorithmic art.
One of the major contributions of Concrescence, lies in its ability to resolve the endless use of choice in interactivity. Interactivity is a rich medium, and should not be reduced simply to the offering of choices (YES, NO, LEFT, RIGHT) to a potential user. In fact, in the case of interactive cinema, offering choices is in many cases counterproductive to the construction of a narrative. By refusing the reduction of interactivity to choices, and instead opting for a more dynamic, plastic, playful articulation of the elements, Concrescence reintroduces the pleasure of editing to the viewer’s experience of cinema.
As an artistic project, Concrescence has been designed for a specific author, namely myself. It is my soundstage, editing suite, and projection theatre all rolled into one, and I am currently using it to explore variations on cinematic narrative form.
Algorithmic cinema
While video software has introduced a new workflow, the result nevertheless remains, for the most part, tied to more traditional linear media such as video, television and film. And while the Internet has introduced new means of presenting, contextualizing, and even producing work, the idea of an emergent generative cinema has not been sufficiently explored. Beginning as a speculative software project, Concrescence began with an interrogation on what a non-linear cinematic authoring tool might look like from an experimental artist’s perspective. Several variations on this opening question resulted — one of the more interesting being a dynamic VJ-ing program entitled The Object Machine — but all of the variations come back to the same visual form: a mosaic of semi-autonomous video objects in which one moving image triggers action in the next image-object in a visual cascade of looping waves. This method allows for any image to potentially aggregate with any other autonomously — allowing the computer dynamic associations — and for the cinematic action-reaction editing of temporal composition to take place within the frame, rather than between frames. As the ensemble is no longer tied to any temporal necessity, the whole can move and evolve at varying rhythms, both according to the will of the interactor, and according the necessities of the generator. The cinema form becomes both generative and interactive, there is no contradiction between the two.
Additionally, Concrescence attempts to bring the body back into the interactive cinema experience. Rejecting complex physical electronic interfaces, I propose instead a simple corporeal experience in which the human hand shapes and explores an interactive audiovisual narrative through intuitive gestures. This simplicity is essential. The power of classical theatre-based cinema resides in its usage of basic body functions: sight, hearing, immobility. However diverse the semiotics of its contents (classical Hollywood narrative, French nouvelle vague, Asian kung-fu action-adventure), cinema always comes back to the platform of an immobile body before a audiovisually mobile projection. If interactive cinema is to “compete” with this model, it will need a similarly powerful simplicity in its use of the human body.
The first step was to detach the cinema screen from its pedestal, and reposition it at hand’s reach. This liberates the spectator from immobility, and allows her to “move around” the diegesis, passively observing or actively exploring, without having to leave the visual world to think about choosing the next scene. The frame remains mobile, but now it is both the interactor and the image that move, suggesting almost naturally the ability to “act” upon the image. Also, allowing interaction at any position on table, means that this user-mobility is free-form, and not tied to any predefined gesture.
The second step was the usage of a common evocative object: the table. In the past, I have used the floor, and/or all four walls, which instinctively evokes a theatre experience rather than a cinematographic one. By using a table, I can tap into the dual public-private nature of the table, its passive-active status. The Concrescence hypertable is at once an operating table, a writing desk, a work bench, a kitchen table, a café table and a screen. This familiarity makes the interaction very comfortable, reminds us of familiar gestures, and immediately places us into an evocative context. But whatever its evocations, the hypertable always implicitly suggests that something will be constructed.
The third step was the simplification of the gestures required to manipulate the dynamic cinema. To render evident a user’s interactions, immediate visual cues are given as to the location of their hands on the table’s surface: by mirroring the user’s presence, they know that their body is integrated into the space. This interaction, however, is purely superficial, and does not lead to the creation of new narrative material. In order to truly shape the experience, the user must slow down their movements, further implicate their body into the experience, only then will the interface truly respond. By using body presence, rather than symbolic gesture (point and click), interactors are subtly forced to – much like the cinemagoer as she eases into her chair – enter into a lightly modified environment. In fact, one can move in and out of this gestural slowness quite easily, back and forth from spectator to interactor, unlike the cinemagoer that must radically shift environments when leaving the chair.