Behind Holly Herndon’s Radically Human AI Music

Quando me encontro com Holly Herndon para almoçar no Soho em meados de abril, parabéns, embora ainda falte um mês para seu terceiro álbum completo,Portanto,está para ser lançado. No dia anterior, ela havia defendido sua tese de doutorado sobre questões éticas e estéticas em IA na música no Centro de Pesquisa de Computação em Música e Acústica da Universidade de Stanford, um subconjunto do departamento de música da escola. O centro tem uma história impressionante - é onde o compositor John Chowning descobriu pela primeira vez uma técnica-chave chamada síntese FM, e esta patente lucrativa ainda permite que o centro financie projetos que, de acordo com seu site, usam “tecnologia baseada em computador tanto como meio artístico e como uma ferramenta de pesquisa. ” Herndon, que tem uma maneira de transformar o que deveria ser uma terminologia técnica assustadora em uma linguagem que não só é fácil de entender, mas também atraente, faz o mesmo para o centro: “É um edifício rosa muito legal na colina do departamento de música, completo de nerds de computador ”, diz ela. Para comemorar a conquista, sua gravadora enviou a ela um bolo de chocolate decorado com glacê azul que indicava seu novo título oficial: “Dra. Herndon. ”

Nascida nas montanhas no leste do Tennessee, mas agora radicada em Berlim, Herndon começou a cantar no coro de sua igreja. Mais recentemente, ela passou anos estudando música de computador e fazendo-a soar radicalmente humana. Para seu primeiro lançamento oficial,Movimento(2012), no qual ela começou a trabalhar enquanto estudava música eletrônica no Mills College, ela criou patches vocais personalizados que ela manipulou ao vivo, usando sua voz altamente processada para criar club music subterrâneo. Seu segundo álbum de 2015Plataforma, levou esses sons orientados para os humanos um passo adiante, lançando luz sobre as maneiras pelas quais as mídias sociais e plataformas semelhantes ossificaram ainda mais as estruturas de poder preexistentes e tornaram a vigilância ainda mais cotidiana do que antes. Uma das faixas de destaque do álbum, 'Chorus', traduz seus dados de histórico de navegação em samples que Herndon magistralmente organiza - ela está essencialmente se vigiando - e 'Lonely at the Top' tem a distinção de ser a primeira música em um álbum comercial destinado a trigger ASMR, ou resposta sensorial autônoma do meridiano (aquela sensação de formigamento que você pode sentir na base do crânio ao ouvir uma voz sussurrando ou receber uma massagem na cabeça - há toda uma subcultura do YouTube dedicada a induzir a sensação em outras pessoas).

Portantoé essencialmente sua tese de doutorado ganhando vida. Hoje,Vogaestá estreandoProto de Parto, documentário produzido em parceria com o Dropbox, que ilumina o processo de Herndon. Central paraPortantoO vocal estranho do vale é algo chamado Spawn (provavelmente porque Herndon o descreve como seu 'bebê IA'). Spawn leva anos em construção - depois de receber uma bolsa alemã em 2018 dedicada a compositores que implementam novas tecnologias em seu trabalho (em homenagem a Beethoven, nada menos), Herndon e seu parceiro, o artista Mat Dryhurst, junto com o músico e desenvolvedor Jules LaPlace, compraram um PC para jogos com GPU que eles personalizaram sem nenhum objetivo final específico em mente. “Essa foi uma bela maneira de abordar a questão - apenas uma forma puramente experimental.”

Contente

Spawn usa programação de aprendizado de máquina para produzir som por conta própria do zero, 'cantando' imitando as vozes de Herndon, Dryhurst, LaPlace e um conjunto formado por amigos dela ou qualquer pessoa que Herndon conhecesse que tivesse treinamento de voz ou uma formação musical , que ela montava semanalmente em sua casa em Berlim. Herndon criou conjuntos de treinamento, que Spawn usa para criar sua própria contribuição musical. Dependendo da contribuição de Herndon e de seus colaboradores, Spawn pode levar de cinco minutos a um dia para produzir sua própria interpretação das vozes do conjunto. Eles também gravaram uma audiência inteira no cacofônico Martin-Gropius-Bau de Berlim, para fazer uma voz pública para Spawn treinar. Às vezes, os resultados soam quase incrivelmente puros - a qualidade dos vocais ao vivo de 'Cannan (Live Training)' são tão ressonantes e reais que você quase pode visualizar o espaço em que eles estavam cantando. Outras vezes, o coro é um pouco desorientador; muitas vezes é difícil diferenciar entre sons completamente sintetizados, uma voz humana que foi modulada ou Spawn abrangendo ambos os mundos.

Quando Herndon começa a explicar Spawn com mais detalhes, ela fica tão animada que começa a suar. Mas depois de tirar o moletom, ao quebrar sua intenção para seu bebê de IA, Herndon lamenta o quanto a pesquisa de IA na música está focada no treinamento de redes neurais para aproximar uma peça de música ou estilo particular. Ela usa Beethoven, naturalmente, como exemplo. “Se você alimentar uma rede neural com um monte de dados MIDI de Beethoven - material de pitch e ritmo e intervalo de notas - a rede neural pode analisar estatisticamente essas relações e, em seguida, produzir uma peça musical no estilo de Beethoven, mas não é uma música de Beethoven com direitos autorais ”, explica ela. Herndon acha que isso cria uma falsa sensação de quão avançada a tecnologia de IA realmente é: “Você cria esta nova partitura e normalmente a toca por meio de um instrumento digital ou do seu player favorito, e parece que a IA é realmente perfeita, como se fosse superinteligente e super desenvolvido. Não mostra suas falhas ou deficiências. ” Há uma questão ética em jogo também, quando um computador pode extrair e automatizar toda uma estética musical sem qualquer tipo de atribuição real.

Com Spawn, Herndon queria ser capaz de ir além dessas narrativas arraigadas. “Como essa tecnologia pode ser usada de uma forma que não seja esse tipo de mania retro em que estamos apenas regurgitando o passado?” ela diz. “Não é assim que a música se desenvolve.” Os humanos são essenciais no projeto de Herndon e na mudança de paradigmas que cercam a inteligência das máquinas. “Queríamos ter uma impressão digital sônica do vocalista envolvido e lidar mais com a IA como artista. Portanto, temos um conjunto humano com um membro desumano ”, diz Herndon. “Em vez de terceirizar minha composição para uma IA, ainda sou o compositor. Eu sou o diretor do ensemble, e o AI é um membro do ensemble que está improvisando, cantando e se apresentando ao nosso lado. ” Centrando as vozes dela mesma e de seus colegas, Herndon espera destacar o elemento humano da IA ​​que muitas conversas públicas sobre inteligência de máquina obscurecem. “Para o Google Translate ou algo parecido, muitos desses serviços automatizados aparecem como coisas realmente limpas, quase mágicas, mas o que está por trás dessa superfície limpa são milhões de traduções humanas nas quais foram treinados. Sempre há trabalho humano que se torna invisível. ”



Holly Herndon e seu coro do PROTO.

Foto: Boris Camaca

O trabalho de Herndon lida com conceitos de alto nível, colocando em jogo teorias de plataforma e protocolo e processos eletrônicos altamente técnicos. Ela me pergunta, no meio de nossa conversa, o que eu achoVogao leitor estaria interessado em saber sobre Spawn, IA e música. Eu volto a pergunta para ela. “Espero que as pessoas comecem a realmente pensar sobre de onde vêm as ideias e como as honramos, e como podemos celebrar as pessoas que estão assumindo riscos, levando as conversas em diferentes direções, não apenas vendo a cultura humana e a sociedade como algo que pode ser inspirado e reproduzido para nós, sem qualquer tipo de atribuição ”, diz Herndon, fazendo uma analogia com as maneiras pelas quais as grandes casas de moda podem cooptar o trabalho inovador de designers mais jovens.

Herndon pode ter objetivos conceituais e tecnológicos elevados com o álbum - há seu interesse na ética da IA ​​e sua influência nas estruturas sociais como um todo, bem como suas técnicas pioneiras de processamento vocal - mas no final do dia, Spawn surgiu de muito impulso mais natural. Herndon é rápido em enfatizar que Spawn é apenas uma parte do conjunto maior, e que os sons humanos constituem a maior parte do álbum. “Apenas cerca de 20 ou 25% do som é gerado por IA”, explica Herndon. O álbum também traz tradições folclóricas - em 'Frontier', Herndon fornece sua própria visão da música de harpa sagrada dos Apalaches, um aceno nostálgico às suas raízes rurais do sul. “Muito disso é humano, e eu acho que você pode ouvir que isso acontece em um espaço real. Para a música do computador, isso é algo que eu realmente ansiava - estar na sala com as pessoas e cantando, a alegria de me apresentar com as pessoas. Parece cafona, mas eu estava perdendo isso ”, diz ela. “Foi assim que comecei a fazer música naquela época, na igreja: a alegria de fazer música com as pessoas em um espaço real.”