Le principe est fort simple : chaque fois que le programme rencontre une répétition de notes dans une composition musicale il dessine un arc semi-transparent entre les deux. Si deux notes RE qui se suivent, par exemple, un petit arc sera dessiné par le programme pour les relier ensemble. Si maintenant ces deux mêmes notes RE se trouvent dans une phrase musicale plus grande — MI RE DO RE MI MI MI — et que cette même phrase mélodique se répète plus loins dans la chanson — MI RE DO RE MI MI MI — les deux phrases seront elles-aussi reliées ensemble, mais cette fois-ci par un arc plus épaisse qui isole la partie exacte de la répétition. Pour une petite comptine comme « Mary Had a Little Lamb » cette structure est facilement lisible, comme dans la première des deux illustrations suivantes :

Wattenberg, The Shape of Song: ’Mary Had a Little Lamb'
Wattenberg, The Shape of Song: Phillip Glass' ’Candyman 2'

Pour des compositions de Phillip Glass, la deuxième illustration révèle également ce qui était d'une évidence pour quiconque qui aurait entendu sa musique : les formes dessinées par les répétitions mélodiques sont d'une simplicité extrême, avec néanmoins des structures ascendantes et descendantes, c'est-à-dire des évolutions dans la structure de la composition à travers la composition dans toute sa longeur.

Avec une composition de Bach — par exemple Les Variations de Goldberg (qu'on voit tout en haut ici) — les structures de la répétition sont encore plus complexes, et se trouvent emboîtées les unes dans les autres, avec deux grosses structures répétitives qui séparent la composition en deux avec des ponts de rappel plus courts entre les deux.

The Shape of Song révèle ce qu'un musicien sachant lire la notation musicale occidentale pouvait probablement déjà voir : les structures plus profondes de la partition, ses boucles, c'est-à-dire ses tendances rythmiques sur un autre plan que celui de la cadence ou de la percussion. Mais il révèle parallèlement deux autres aspects de la musique : elle est traversée elle aussi de part et d'autre de structures algorithmiques et en tant que telle peut facilement subir des opérations de transduction, par exemple en se transformant en une série de dessins.

Évidemment un procédé similaire a déjà eu lieu à écriture de la partition, mais dans le sens inverse. The Shape of Song n'analyse pas des fichiers en tant qu'enregistrement sonore, il les enregistre en tant que fichiers MIDI. Les fichiers MIDI sont déjà des transcriptions spatiales de la musique, ou en tout cas l'équivalent numérique de la transcription spatiale telle qu'une partition classique. Les fichiers MIDI sont au fait rien d'autre qu'un empilement de tableaux informatiques, avec des notes et leur positionnement temporelle inscrites par des chiffres correspondant à des notes. The Shape of Song récupère tout simplement cette numérotation de la musique et procède à des comparaisons à partir de ce codage (cf. transcodage).