Корпорация Meta анонсировала Emu Video и Emu Edit — инструменты на основе генеративного искусственного интеллекта для редактирования и создания контента.
Today we’re sharing two new advances in our generative AI research: Emu Video & Emu Edit.Details ➡️ https://t.co/qm8aejgNtdThese new models deliver exciting results in high quality, diffusion-based text-to-video generation & controlled image editing w/ text instructions.🧵 pic.twitter.com/1wF7r773yc— AI at Meta (@AIatMeta) November 16, 2023
Обе нейросети, за основу для которых взята языковая модель Emu, все еще находятся на стадии тестирования. Согласно заявлению, продукты уже демонстрируют потенциальную пользу для художников, аниматоров и других специалистов творческого направления.
Emu Video способен генерировать видеоклипы на основе введенного текста и прикрепленных изображений в формате 512x512 с частотой 16 кадров в секунду.
Примеры видео Emu Video. Данные: Meta.
Нейросеть обучалась с помощью «факторизованного» подхода, разделив процесс на два этапа, что позволило инструменту реагировать на различные входные данные.
«Сначала [Emu Video] создает изображения с учетом текстовой подсказки, а затем на его основе и текста генерирует видео. Этот “факторизованный” или разделенный подход к генерации позволяет нам эффективно обучать модели для видеороликов», — объяснили в Meta.
Emu Edit позволяет удалять или добавлять фон на фото, выполнять преобразования цвета и геометрии, а также поддерживает локальное и глобальное редактирование.
Примеры использования Emu Edit. Данные: Meta.
ИИ обучен на наборе данных из 10 млн образцов, каждый из которых имеет входной вариант изображения и описание задачи, а также целевой результат.
«Хотя Emu Video, Emu Edit и подобные им новые технологии, безусловно, не могут заменить профессиональных художников, они помогут людям выразить себя по-новому: от арт-директора, придумывающего новую концепцию, или видеомонтажера, оживляющего свой последний ролик, до лучшего друга, который делится уникальным поздравлением с днем рождения», — подчеркнули в компании.
Ранее Meta представила набор ИИ-инструментов в виде голосового помощника, нейросети с различными личностями, «умных очков» и генератора стикеров.
Напомним, в августе корпорация анонсировала нейросеть AudioCraft, которая создает звуки и музыку по текстовому описанию.
