Machinique incidentelle des interactions indéterministes

À l'heure où les modèles génératifs s'inscrivent progressivement dans les domaines créatifs, l'émergence des contenus générés artificiellement tend à soulever de nouvelles questions concernant la place du designer et son rapport à la machine. Alors que leur instantanéité paraît aujourd’hui répondre à un usage satisfaisant chez les designers, à la recherche de précision et d'efficacité, de nouvelles approches tendent doucement à renverser ce rapport à sens unique et à redéfinir la place de ces modèles au sein des processus de création.

Chatonsky conteste la « naturalisation » des relations humain-machine puisqu’elle retient la machine comme en position de soumission à l’être humain ou en prise de prise de pouvoir de la technique. Selon lui, il serait plutôt question d’envisager les machines et les êtres humains comme « co-constitués », s’inventant l’un l’autre suivant un « feedback » (Chatonsky, 2014, p106) (fig. 1).  À l’opposé de la notion d’outil, adapté à « un procès de production déterminé »¹, l’idée de « médium » décrirait d’autant plus le mode d'être artistique d'un matériau (Krajewski, 2016), l'inflexibilité matérielle et les autres contraintes de la matière donnant sens à la création (Alain, 1983).

Dans le contexte des modèles génératifs, Terrence Broad propose de nouvelles interactions ouvrant vers des nouveaux possibles qu’il désigne comme des « manipulations expressives » (Broad et al., 2021, p11). En amenant la machine à fonctionner irrégulièrement, il ne s'agit alors pas d'obtenir des résultats « pauvres », mais de libérer des formes d'expressivité. Selon lui, c’est en engageant des « manipulations expressives » qu'on peut atteindre les limites des modèles génératifs afin qu’ils produisent des résultats imprévisibles. Pour Simondon, c’est cette marge d’indétermination prodiguée à la machine, amenée à fonctionner de manière irrégulière, qui en fait sa richesse, son imprécision lui conférant une forme de perfection mécanique (Simondon, 1958, p12).

Considérés comme des « incidents », Chatonsky s’intéresse tout particulièrement à ce phénomène qu’il décrit comme un processus explorant « la genèse » d’un cas d'erreur et « la résistance matérielle que nous impose l’objet » (Chatonsky, 2014, p170) (fig. 2). En jouant de la résistance matérielle du système, les modèles génératifs pourraient être porteurs d’une esthétique propre, laissant apparaître une forme de singularité témoignant de leurs limites techniques. Ces « incidents » deviennent alors un moyen de mettre à jour de nouvelles opportunités visuelles en laissant plus de place aux modèles et à leur singularité comme un matériau avec sa plasticité propre à explorer (fig. 3).

Ainsi, de quelle manière favoriser l’indétermination dans les interactions humain-machine, afin de révéler la plasticité des modèles génératifs ?

Dans le cadre de mon processus de recherche, je me suis interrogé sur la manière de renouveler notre approche des IHM dans le contexte des modèles génératifs afin de dévoiler leur singularité propre. Je me suis concentré sur la génération 3D par la manipulation d’images en invite en prenant comme cas d’étude le modèle SHAP-E et en l’intégrant par la conception d’add-ons au logiciel de modélisation Blender.

Aujourd’hui, les interfaces permettant d’interagir avec des modèles génératifs semblent chercher à conditionner les réseaux de neurones de manière à éliminer leur « imprécision », soustrayant leur singularité au profit d’un fonctionnement déterministe. Hors, en examinant la nature même des réseaux de neurones, aux connexions muables et flexibles, leurs caractéristiques fondamentales semblent en opposition avec les algorithmes logiques, obligeant des chemins prédéterminés et prédictibles. Cette tension questionne alors les interfaces traditionnellement déterministes et invite à imaginer des interfaces indéterministes adaptées aux systèmes indéterminés.

En examinant la mise en scène tantôt mécanisante tantôt surnaturalisante des modèles génératifs au sein des interfaces (Lupetti et al., 2024), je propose ici une vision horizontale cherchant à rééquilibrer le pouvoir d’incidence entre l’humain et le modèle. L’idée de symétrie interprétative se dessine alors comme un mode d’interaction cyclique permettant de placer les deux entités en interdépendance par la confrontation de leurs interprétations réciproques (fig. 4), entretenant ainsi une marge d’indétermination. Le résultat est alors le produit formel de la rencontre des capacités individuelles de l’humain, l’interprète, et du modèle, le médium, où l’interface adopte alors un rôle d’instrument.

Intention et hypothèse

En intégrant les expérimentation dans Blender, l'objectif est de détourner les principes de configuration et de manipulation déjà existants, déterministes, pour en faire des moyens d'interactions indéterministes par la manipulation directe images.

D'un côté, le modèle exerce son interprétation sur les images fournies par l'humain, avec une incidence implicite des interactions globales avec l'espace de travail de manière contre-intuitive. De l'autre, le designer humain interprète les résultats par le prisme de ses manipulations directes et de son expérience d'interaction.

Dans ce contexte, les interfaces sont envisagées comme des interfaces à explorer, à jouer et à déjouer, dont l'expérimentation permet alors peut-être une familiarisation progressive avec les principes d'interaction interprétés par le designer humain.

Cette dynamique se veut alors métaphorique à la sculpture, permettant de révéler la plasticité du modèle en explorant les possibilités formelles pour ensuite les affiner et itérer, sans jamais avoir le plein contrôle sur les inflexibilités de la matière.

Description

La première interface se présente comme un système nodal permettant uniquement l'ajout et la connexion d'images (fig. 5).

La seconde interface se présente comme un système permettant la manipulation d'images dans un espace à 3 dimensions (fig. 6).

Les interfaces se composent à la fois de manipulations directes et d'interactions implicites, affectant alors l'interprétation des images du modèle par la confrontation interne de la perception entre différents systèmes de vision et de langage.

Observations

Les tests ont révélé chez les utilisateurs une perception de la cohérence entre les interactions et l'interprétation du modèle. Ils se sont familiarisés avec certaines interactions qui intuitivement semblait plus adaptée à leur intention.

Certaines manipulations ont alors été interprétées individuellement comme permettant l'itération en conservant une continuité formelle (fig. 7, 8), tandis que d'autres semblaient renouveller la dimension formelle (fig. 9, 10).

Ainsi, ce projet propose une approche différente des interactions humain-machine en libérant les modèles génératifs du plein contrôle humain par des interactions indéterministes.

Nous pourrions nous rapprocher de ce que Manovich considère comme une forme « d’interactivité ouverte », l’humain étant passible d’agir sur l’ensemble de la structure et des éléments, à l’opposé de ce qu’il décrit des produits des « nouveaux médias » dont les usagers suivent des parcours préprogrammés (Manovich, 2010). Ici, l’indéterminisme des interactions par la symétrie interprétative permettent alors au designer humain comme au modèle d’intervenir sur l’ensemble du processus, sans individuellement y exercer un plein contrôle.

En changeant de référentiel, considérer davantage ces systèmes comme des médiums à explorer, empreints de leur inflexibilités matérielles, permettrait de révéler le potentiel de leur singularité propre (fig. 11), rejoignant l’idée d’authentification proposée par Huyghe (2004, p4).

Cette approche permet également de renouveler notre imagination en replaçant l’exploration créative sans but au cœur de la recherche-création, faisant émerger des résultats inattendus, surprenants et imprédictibles.