Colete uma playlist, encontre uma faixa presa na sua cabeça, escreva uma peça: o que a inteligência artificial pode fazer com a música
Miscelânea / / March 30, 2022
Reconhecer composições
Uma faixa legal pode ser ouvida em qualquer lugar: em um shopping center, em um café e até mesmo da janela de um carro próximo, em um engarrafamento. Para não perder a música desconhecida que você gosta, basta ativar o aplicativo de reconhecimento. O nome da composição e o nome do artista nelas são fornecidos pela inteligência artificial em segundos. É verdade que, por trás de um resultado tão rápido, há uma preparação completa: para aprender rapidamente a melodia, o programa primeiro precisa lembrá-la. Para fazer isso, as redes neurais são apresentadas a uma enorme biblioteca de faixas e, em seguida, os algoritmos convertem o som em um espectrograma e o decompõem em tempo, frequência e intensidade.
Anatoly Starostin
Chefe de Serviço de Desenvolvimento de Tecnologia na Yandex Media Services.
Um espectrograma é um gráfico. O tempo está localizado ao longo do eixo horizontal, a frequência do som está localizada ao longo do eixo vertical e sua intensidade em um momento fixo é expressa em cores. Um sinal baixo é representado por uma barra vermelha na parte inferior e um sinal alto na parte superior. O resultado é uma imagem composta por listras horizontais coloridas. A análise de tais circuitos ajuda a reconhecer a música. Ao trabalhar com espectrogramas, as mesmas abordagens de rede neural são usadas na análise de imagens.
Suponha que uma pessoa ouça uma música no rádio e queira saber o nome e o artista. O programa de reconhecimento constrói um espectrograma da passagem sonora e o envia para sua biblioteca de faixas. Em seguida, ele compara a "imagem" da melodia desejada com os espectrogramas de outras composições e seleciona a correspondência mais precisa. Ao mesmo tempo, a inteligência artificial reconhece a melodia mesmo através de interferências graves, como ruídos da estrada ou reparos em um apartamento vizinho.
A propósito, a rede neural é capaz não apenas de identificar o artista e o nome da faixa presa na cabeça, mas também determinar aproximadamente seu gênero. Para fazer isso, a inteligência artificial é ensinada a encontrar padrões em diferentes estilos musicais. Tais características específicas são geralmente inacessíveis à visão e audição humana. Mas graças ao aprendizado de máquina, torna-se possível calcular gêneros musicais a partir de imagens de espectrograma.
Recomendar músicas
Parece que encontrar a "mesma" faixa para se adequar ao seu humor em bilhões de músicas por conta própria é quase tão improvável quanto se apaixonar à primeira vista. Mas graças aos algoritmos de recomendação, as correspondências perfeitas não acontecem com tanta frequência. Primeiro, a inteligência artificial procura pessoas com gostos semelhantes e, em seguida, as fórmulas estatísticas são conectadas: o número de gostos, desgostos, jogadas e omissões de uma composição específica.
Anatoly Starostin
A recomendação de músicas funciona de acordo com um esquema simples: se Vasya gostou da faixa X e Petya também a classificou, então quando Vasya gosta de Y, Petya também deve recomendar a faixa Y. Quando o algoritmo precisa encontrar a próxima música, a fórmula é aplicada a um conjunto de músicas em potencial. Os flutuadores mais adequados para o topo.
O conteúdo "frio", não visto nas playlists do ouvinte de massa, se espalha mais lentamente. Mas, graças às redes neurais, artistas desconhecidos e músicas de nicho ainda têm uma pequena chance de piscar no fluxo de recomendações. Se simplificarmos todas as nuances técnicas, podemos dizer que, nesses casos, a inteligência artificial descobre com que frequência um usuário específico ouve músicas com espectrogramas semelhantes e periodicamente o convida a conhecer novas faixas.
Mary Gu
Cantor.
Às vezes busco inspiração em recomendações. Confio a escolha da composição ao serviço de música, ouço as melodias, encontro sons ou textos interessantes. Então você pode se apaixonar espontaneamente por uma faixa de um artista desconhecido. E outra linha que ouvi acidentalmente pode me levar a criar meus próprios poemas.
As redes neurais também ajudam a gerar seleções de música para fitness, caminhada ou sono. Os editores de conteúdo selecionam faixas de referência para algoritmos e, com base em seus espectrogramas, a inteligência artificial expande as recomendações temáticas.
gerar música
Anteriormente, apenas compositores podiam criar melodias. Agora é possível sem a participação de músicos. Em 2020, a Holanda sediou o primeiro Eurovision Song Contest para redes neurais - o AI Song Contest. O australiano venceu colaboração inteligência artificial com coalas, martins-pescadores e demônios da Tasmânia. A música foi dedicada aos incêndios florestais que assolam o continente. Sons de animais foram registrados em amostras curtas - fragmentos de 1-2 segundos de duração. O algoritmo os combinou com os sucessos de todos os vencedores anteriores do verdadeiro Eurovision, após o que eles montaram as amostras em sua própria melodia.
Este não é o único exemplo de uma união criativa bem-sucedida de programadores e redes neurais. Em 2019, no encerramento do Winter International Arts Festival em Sochi, a Orquestra do Estado apresentou uma peça de 8 minutos. Foi escrito pelo compositor Kuzma Bodrov a partir de fragmentos separados de melodias geradas por redes neurais. Hoje, a criação de música é a área mais promissora para o desenvolvimento da inteligência artificial.
Anatoly Starostin
A inteligência artificial pode criar música de três maneiras. O primeiro está relacionado com a construção de "tijolos" de som prontos - amostras. Nesse caso, o algoritmo simplesmente os organiza na ordem correta em várias faixas de áudio, e o arranjador eletrônico mixa a faixa finalizada. A segunda maneira é gerar notação musical. É como escrever instruções para o músico tocar a obra finalizada nela. E a terceira maneira é gravar o sinal de áudio "bruto". Nesse caso, a própria rede neural cria ondas sonoras semelhantes, por exemplo, a Mozart ou aos Beatles.
A propósito, as redes neurais também podem escrever poesia para músicas. Até agora, essas faixas soam bastante estranhas, então os compositores não devem se preocupar com o desemprego. Além disso, a "mente do computador" é desprovida de sentimentos. Ele não consegue penetrar no contexto emocional e transmitir as experiências que obrigaram os autores das obras a criar.
Mary Gu
Poesia e música são principalmente sobre a alma, mundo interior, experiências, sentimentos e emoções das pessoas. Por exemplo, a nova faixa “Don't Burn Out” é minha história pessoal, mas também é sobre todos que vão atrás de um sonho e tentam se entender. Eu não acho que a inteligência artificial substituirá uma pessoa viva na indústria da música. Mas aqui você pode obter uma interessante "rede neural humana" em conjunto. Já conhecemos dezenas de exemplos em que a inteligência artificial ajudou compositores a criar melodias únicas. Na verdade, esta é uma nova direção no mundo da música, que, tenho certeza, terá seu próprio ouvinte e público no futuro.
A inteligência artificial torna a criatividade acessível a todos, e a música a ajuda a se desenvolver. Para entender como esses dois pólos convergem e se influenciam, você pode "Números da lição” do Yandex - “Arte Digital: Música e TI”. Junto com os heróis dos quadrinhos, os participantes aprenderão como as redes neurais reconhecem e geram faixas e quais tecnologias ajudam no trabalho dos serviços de música que conhecemos. Na aula, os alunos tentarão adivinhar a melodia pelo espectrograma e compilar uma lista de reprodução com recomendações.
Eu quero "Números de Lição"
Tampa: Willyam Bradberry / Shutterstock / Eric Isselee / Shutterstock / Ljupco Smokovski / Shutterstock / FOTOSPLASH / Shutterstock / Olga Selepina / Lifehacker