NVIDIA introduziu uma rede neural para gerar vídeo por descrição
Miscelânea / / April 20, 2023
Se você quiser assistir a um stormtrooper imperial aspirando a praia.
Empresa NVIDIA anunciado um novo modelo VideoLDM AI que cria vídeos curtos com base em texto. Foi desenvolvido em colaboração com pesquisadores da Universidade de Cornell.
O VideoLDM leva em consideração até 4,1 bilhões de parâmetros, 2,7 bilhões dos quais são treinados em vídeo. Os clipes gerados podem ter até 2048 × 1280 pixels em 24 quadros e ter uma duração de até 4,7 segundos.
A rede neural é capaz de criar cenas simples com algumas palavras na solicitação e algo mais complexo. Alguns exemplos:
- Fogos de artifício.
- Um stormtrooper está limpando a praia.
- Um viajante caminha sozinho em uma floresta nebulosa ao pôr do sol.
Mais exemplos estão em site do projeto.
Esta rede neural NVIDIA ainda não é de domínio público. Foi apresentado como um trabalho de pesquisa no âmbito da Conferência sobre Visão de Máquina e Reconhecimento de Padrões.
Os desenvolvedores notaram um progresso impressionante e rápido no aprendizado, mas não falaram sobre o possível futuro da rede neural. No entanto, podemos assumir que em breve teremos um analógico de vídeo completo
meio da jornada.Leia também🧐
- 10 serviços de rede neural para criação de vídeo
- 7 ferramentas de rede neural para melhorar a qualidade do vídeo
- Runway lança um novo modelo de rede neural para criar vídeos a partir de uma descrição de texto