Novo benchmark Ego2Act testa vídeo generativo em primeira pessoa
Um novo conjunto de dados e benchmark, o Ego2Act, publicado no Hugging Face por Patrick Amadeus Irawan, testa se modelos de geração de vídeo conseguem simular manipulação de objetos em primeira pessoa a partir de apenas uma imagem e um objetivo.
O benchmark avalia 2.640 vídeos de manipulação egocêntrica de objetos a partir de imagens de cena e objetivos de alto nível, e inclui o "Ego2ActJudge", um avaliador automático sem referência alinhado com o consenso humano sobre conclusão de tarefa e plausibilidade física. A conclusão do estudo é que os modelos atuais de geração de vídeo "frequentemente saltam ou executam parcialmente passos" e falham em captar dinâmica física fina.
Fontes
- Hugging Face huggingface.co
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.