A inteligência artificial (IA) está revolucionando a criação de conteúdo, e uma das áreas mais empolgantes é a capacidade de transformar vídeos comuns em animações estilizadas. Se você já se maravilhou com produções de anime geradas por IA e pensou que isso estava fora do seu alcance, este guia mostrará um método acessível para dar vida às suas próprias animações. Exploraremos como combinar o poder do Stable Diffusion, um modelo de IA de geração de imagem, com o software de edição de vídeo DaVinci Resolve, e ainda como ferramentas como Midjourney e RunwayML podem elevar seus projetos a um novo nível.
O conceito fundamental por trás dessa técnica é converter um vídeo real em uma sequência de imagens (frames) e, em seguida, utilizar a IA para redesenhar cada frame em um estilo de animação. Finalmente, esses frames animados são reagrupados para criar o vídeo final. Este método, embora possa parecer uma "versão para iniciantes" do que estúdios como o Corridor Crew realizam com técnicas mais complexas, oferece resultados impressionantes e um excelente ponto de partida.
O primeiro passo é decompor seu vídeo original em seus componentes individuais: os frames. Para isso, utilizaremos o DaVinci Resolve, um software profissional de edição de vídeo, colorização e pós-produção de áudio desenvolvido pela Blackmagic Design. Uma grande vantagem é que o DaVinci Resolve oferece uma versão gratuita totalmente funcional.
O processo no DaVinci Resolve envolve:
Ao final, você terá uma pasta cheia de imagens PNG, cada uma representando um momento do seu vídeo original.
Com os frames extraídos, é hora de aplicar o estilo de animação usando o Stable Diffusion. O Stable Diffusion é um modelo de aprendizado profundo, texto-para-imagem, lançado em 2022, que permite gerar imagens detalhadas a partir de descrições textuais, mas também pode ser usado para modificar imagens existentes (img2img).
Para este processo, você precisará de uma instalação do Stable Diffusion (como a interface gráfica AUTOMATIC1111) e um modelo treinado no estilo desejado. O vídeo tutorial menciona o uso do modelo Protogen v2.2 (Anime), que pode ser encontrado em plataformas como Civitai, um repositório popular para modelos de Stable Diffusion. Lembre-se de ter cautela ao navegar em sites com conteúdo gerado por usuários, pois alguns modelos podem ser "Not Safe For Work" (NSFW).
O fluxo de trabalho no Stable Diffusion será:
Este processo pode ser demorado, pois cada frame é processado individualmente pela IA.
Após o Stable Diffusion ter processado todos os seus frames, volte ao DaVinci Resolve:
Para adicionar mais sofisticação à sua animação, você pode incorporar outras ferramentas de IA:
Se o seu vídeo original foi gravado com um fundo simples ou se você deseja um cenário completamente diferente, o Midjourney é uma excelente opção. Midjourney é um laboratório de pesquisa independente que produz um programa de inteligência artificial proprietário que cria imagens a partir de descrições textuais, similar ao DALL-E da OpenAI e ao Stable Diffusion.
No exemplo do vídeo, um prompt como "an anime style city street, colorful --ar 768:512 --no people" foi usado no Midjourney para gerar um fundo de rua de cidade em estilo anime, na proporção correta e sem pessoas. Após obter a imagem desejada, ela pode ser salva e usada como pano de fundo.
Para integrar seu personagem animado ao novo cenário criado pelo Midjourney, você precisará remover o fundo original do vídeo animado. A ferramenta RunwayML (Runway) oferece uma funcionalidade de "Remove Background" que funciona com vídeos. Ela utiliza IA para identificar e mascarar o sujeito principal, tornando o fundo transparente.
Com o personagem animado e sem fundo, você pode importá-lo de volta para o DaVinci Resolve, colocá-lo em uma trilha acima da imagem de fundo gerada pelo Midjourney e ajustar o posicionamento e tamanho para uma composição final.
É importante notar que a qualidade e a consistência da animação gerada por IA podem variar. Pequenas "piscadas" ou artefatos visuais (a "funkiness" mencionada no vídeo) podem ocorrer entre os frames, pois cada um é processado como uma imagem separada. Técnicas mais avançadas, como o uso de ControlNet no Stable Diffusion, podem ajudar a melhorar a consistência temporal, mas adicionam complexidade ao processo.
O método descrito é um excelente exemplo de como ferramentas de IA, muitas delas acessíveis ou gratuitas, podem ser combinadas para criar resultados visuais impressionantes. A curva de aprendizado para cada ferramenta existe, mas a experimentação é a chave. A velocidade com que essas tecnologias evoluem sugere que, em breve, processos ainda mais simplificados e com maior qualidade estarão disponíveis.
O debate sobre o impacto da IA na animação tradicional é vasto, com opiniões que variam desde a excitação pelas novas possibilidades criativas até preocupações sobre a desvalorização do trabalho de artistas. Independentemente da perspectiva, é inegável que a IA está se tornando uma ferramenta poderosa no arsenal de criadores de conteúdo visual.
Ao explorar essas técnicas, lembre-se de que a originalidade muitas vezes reside na combinação criativa de ferramentas e na sua visão artística única. Divirta-se experimentando e descobrindo o potencial da animação com inteligência artificial!
Exploramos as consequências das armas nucleares no espaço para a Terra e a importância de leis internacionais
Descubra como a HeyRosie, uma startup de Inteligência Artificial, está revolucionando o atendimento telefônico para pequenos negócios, oferecendo uma solução mais eficiente e acessível. Conheça os insights de Jordan Gal.
Explore os limites do ChatGPT Operator da OpenAI! Testamos sua capacidade de multitarefa, desde encontrar produtos a criar planos de negócios com IA. Veja os sucessos e desafios.