Искусственный интеллект Samsung AI оживляет портреты
Новейшая тенденция в области искусственного интеллекта - состязательное обучение
Используя новейшую тенденцию в области искусственного интеллекта — состязательное обучение — центр искусственного интеллекта Samsung в Москве продемонстрировал, что он может сделать одно изображение человека и превратить его в говорящую голову. И наблюдение за тем, как Мона Лиза оживает, весьма интересно.
Система берет несколько изображений человека — и это число может быть только одно или несколько для лучших результатов — и запускает его через готовый «трекер ориентира лица», чтобы определить, где находятся глаза, брови, нос губы и челюсть. То же самое относится и к другому «движущемуся» исходному видео, проходя кадр за кадром, чтобы отслеживать движение этих ориентиров лица.
Существует отдельная стадия метаобучения, на которой различные сети искусственного интеллекта обучаются выполнять различные задания с использованием огромного набора видеоданных говорящих голов. Сеть Embedder использует исходные кадры и данные отслеживания их ориентиров для создания векторов, в то время как сеть Generator учится брать векторы и изображения и генерировать короткие видеоролики, в которых неподвижные лица анимированы для перемещения в соответствии с векторным движением.
Технология может взять видео разговора одного человека и отобразить на видео другого человека.
Третья сеть «Discriminator» устанавливает состязательные отношения — она учится смотреть видео с движущимися лицами и говорить, какие из них являются настоящими, а какие были сфальсифицированы сетью Generator. Итак, у вас есть две сети, работающие друг против друга — одна пытается обмануть другую, третья пытается обнаружить подделки.
Эти сети начинают очень плохо выполнять свою работу, но, выполняя эту работу миллионы раз, они начинают улучшаться, и конкуренция между двумя сетями является движущей силой обеих.
Это еще один прорыв очень захватывающего потенциала Генеративных Состязательных Сетей, которые появляются во всем мире ИИ. Но чтобы по-настоящему оценить это, вам нужно посмотреть видео ниже. Перейдите к времени 4:16, если вы хотите сразу увидеть, как модель демонстрирует одиночные кадры с Мэрилин Монро, Сальвадором Дали и Эйнштейном.
Исследовательская работа команды Samsung AI доступна на сайте Arxiv.