Entrar Inscrever-se
Inteligência Artificial

Crie sua Própria API Geradora de Música com IA: Um Guia Completo com BuildShip, MusicGen e OpenAI

Xavier

• 5 min read

Introdução à Geração de Música com Inteligência Artificial

A Inteligência Artificial (IA) está transformando radicalmente a maneira como interagimos com a tecnologia e como criamos conteúdo. Uma das áreas mais fascinantes dessa revolução é a geração de música assistida por IA. Imagine poder descrever um estilo musical ou um sentimento e, em segundos, ter uma trilha sonora original e uma imagem de capa correspondente. Este artigo explora como construir uma API (Interface de Programação de Aplicativos) capaz de realizar exatamente isso, utilizando a plataforma de baixo código BuildShip em conjunto com poderosos modelos de IA como o MusicGen da Meta, GPT da OpenAI e modelos de geração de imagem da Stability AI hospedados no Replicate.

O objetivo é demonstrar a criação de um serviço onde um usuário envia um prompt textual descrevendo a música desejada, e a API retorna URLs para o áudio gerado e uma imagem de capa artística, tudo orquestrado de forma eficiente e com mínimo esforço de codificação tradicional.

Configurando o Ambiente no BuildShip para sua API de IA

O BuildShip se destaca como uma plataforma visual para desenvolvimento de backend, permitindo a criação de APIs, tarefas agendadas e webhooks de forma intuitiva. Para iniciar nosso projeto de API geradora de música com IA, o primeiro passo é criar um novo fluxo de trabalho (workflow) no BuildShip.

1. Criando o Workflow e o Gatilho da API

Dentro do BuildShip, um novo workflow é iniciado. O coração de qualquer API é seu ponto de entrada, e para isso, adicionamos um gatilho do tipo "Rest API Call". Este gatilho define como o mundo externo se comunicará com nosso serviço.

  • Caminho (Path): Definimos o caminho para o endpoint, por exemplo, /gerar-musica.
  • Método (Method): Utilizaremos o método HTTP GET, adequado para receber o prompt do usuário via parâmetros de URL.

Este gatilho é o ponto de partida para a execução do nosso workflow, aguardando requisições externas para iniciar o processo de geração de música e imagem.

2. Extraindo o Prompt do Usuário

Para que a IA saiba que tipo de música gerar, precisamos capturar a descrição fornecida pelo usuário. Isso é feito adicionando um nó chamado "Get Query Param" ao nosso workflow.

  • Query Key: Configuramos este nó para extrair um parâmetro da URL chamado "prompt".
  • Required: Marcamos este parâmetro como obrigatório, garantindo que a API só prossiga se um prompt for fornecido.

O valor extraído deste prompt será a entrada principal para os modelos de IA subsequentes.

Integrando Modelos de IA para Geração de Música e Imagem

Com o prompt do usuário em mãos, o próximo passo é alimentar os modelos de Inteligência Artificial para criar a música e a imagem de capa. Utilizaremos a plataforma Replicate, que hospeda uma vasta gama de modelos de IA, incluindo o MusicGen e o SDXL.

Gerando a Música com MusicGen da Meta via Replicate

O MusicGen, desenvolvido pela Meta, é um modelo de IA capaz de gerar música a partir de descrições textuais. No BuildShip, adicionamos um nó "Replicate Client" para interagir com este modelo.

  1. Configuração do Cliente Replicate: É necessário fornecer um token de API do Replicate.
  2. Seleção do Modelo: Especificamos a versão do modelo MusicGen que desejamos usar, obtida da página de API do MusicGen no Replicate.
  3. Entrada (Input): O prompt do usuário (extraído anteriormente) é passado como entrada para o modelo. Configuramos também parâmetros como a duração da música (por exemplo, 30 segundos) e a versão do modelo MusicGen (como "large" para maior qualidade).

Este nó enviará o prompt ao MusicGen e, após o processamento, retornará uma URL para o arquivo de áudio gerado.

Criando um Prompt Otimizado para a Imagem de Capa com OpenAI GPT

Para gerar uma imagem de capa que seja visualmente atraente e contextualmente relevante para a música, utilizaremos o poder do GPT da OpenAI para refinar ou criar um prompt específico para a geração de imagem. Adicionamos um nó "OpenAI Chat" ao workflow.

  1. System Prompt: Instruímos o GPT-4 (ou outro modelo disponível) a usar o prompt original da música para criar um novo prompt, mais detalhado e visualmente descritivo, adequado para um modelo de geração de imagem. Por exemplo: "Usando o texto fornecido, escreva um bom prompt para gerar uma imagem que sirva de capa para uma música com esse texto como título. Adicione detalhes visuais e artísticos."
  2. User Request: O prompt original do usuário é passado como a requisição do usuário.
  3. Configuração da API OpenAI: É necessário fornecer a chave da API da OpenAI.

O resultado deste nó será um prompt otimizado, pronto para ser usado pelo modelo de geração de imagem.

Gerando a Imagem de Capa com Stability AI SDXL via Replicate

Com o prompt de imagem otimizado pelo GPT, podemos gerar a capa. Utilizamos outro nó do Replicate, desta vez o nó "Stability AI Image Generation", que geralmente utiliza modelos poderosos como o SDXL.

  1. Configuração do Cliente Replicate: Novamente, o token do Replicate é utilizado.
  2. Entrada (Input Prompt): O prompt gerado pelo nó OpenAI Chat é fornecido como entrada.
  3. Parâmetros da Imagem: As dimensões da imagem (largura e altura) podem ser mantidas nos valores padrão ou ajustadas conforme necessário.

Este nó retornará uma URL para a imagem de capa gerada.

Armazenamento e Retorno dos Arquivos Gerados

Os modelos do Replicate geralmente fornecem URLs temporárias para os arquivos gerados. Para garantir acesso persistente, é uma boa prática fazer o upload desses arquivos para um serviço de armazenamento em nuvem, como o Google Cloud Storage.

Fazendo Upload para o Google Cloud Storage

Adicionamos dois nós do tipo "Upload File from External URL" da integração com o Google Cloud Storage ao nosso workflow no BuildShip:

  1. Upload da Imagem:
    • Nome do Nó: Renomeamos para "Upload.Imagem" para clareza.
    • External URL: A URL da imagem retornada pelo nó Stability AI Image Generation.
    • Bucket ID: O ID do bucket no Google Cloud Storage onde o arquivo será armazenado.
    • File Name: Definimos um nome para o arquivo, como "capa.png".
  2. Upload da Música:
    • Nome do Nó: Renomeamos para "Upload.Musica".
    • External URL: A URL do áudio retornada pelo nó Replicate Client (MusicGen).
    • Bucket ID: O mesmo ID do bucket.
    • File Name: Definimos um nome como "musica.wav".

Estes nós farão o download do conteúdo das URLs temporárias e o upload para o Google Cloud Storage, retornando novas URLs públicas e persistentes.

Retornando as URLs Finais

Finalmente, a API precisa retornar as informações ao usuário. Adicionamos um nó "Return" ao workflow.

  • Status Code: Definimos o código de status HTTP para 200 (OK), indicando sucesso.
  • Value: Configuramos o corpo da resposta como um objeto JSON contendo as URLs públicas dos arquivos de música e imagem armazenados no Google Cloud Storage. Por exemplo:{ "musicUrl": "URL_DA_MUSICA_NO_GCS", "coverImageUrl": "URL_DA_IMAGEM_NO_GCS" }

Implantação e Teste da API Geradora de Música com IA

Com todos os nós configurados, o workflow no BuildShip está pronto para ser implantado. Um clique no botão "Ship" (ou "Deploy") torna a API ativa e acessível através de uma URL de endpoint fornecida pelo BuildShip.

Para testar, podemos usar uma ferramenta como o Hoppscotch ou qualquer cliente HTTP. Enviamos uma requisição GET para o endpoint da API, incluindo o parâmetro "prompt" com uma descrição, como "synthwave estilo anos 80". Após alguns segundos ou minutos (dependendo da complexidade e carga dos modelos de IA), a API retornará o JSON com as URLs para a música e a imagem de capa geradas.

Conclusão: O Poder da IA e do Low-Code na Criação Musical

Este projeto demonstra como a combinação de plataformas de baixo código como o BuildShip e o acesso facilitado a modelos de Inteligência Artificial de ponta, como MusicGen, GPT e SDXL, permite a criação de aplicações sofisticadas sem a necessidade de escrever uma única linha de código tradicional. A capacidade de orquestrar diferentes serviços de IA para gerar tanto áudio quanto visuais abre um leque imenso de possibilidades criativas e de negócios.

A facilidade de integração com serviços como Replicate, OpenAI, e Google Cloud Storage, tudo dentro de um ambiente visual, democratiza o desenvolvimento de soluções baseadas em IA. Seja você um desenvolvedor experiente buscando acelerar projetos ou um entusiasta de IA com pouca experiência em codificação, ferramentas como o BuildShip oferecem um caminho intuitivo e eficiente para transformar ideias inovadoras em realidade.

Inscreva-se, Fique Atualizado!

Digite seu e-mail
Inscrever-se