С помощью новой нейросети Samsung фото превращаются в «поющие видео»

Ведущие инженеры одного из британских колледжей и научно-исследовательского центра южнокорейского производителя Samsung разработали инновационную технологию Deepfake (сочетание фраз «deep learing» дословно переводится, как «глубинное обучение» и «fake videos» - «поддельные видео»).

Новая технология позволяет объединять фото и аудиофайлы, в итоге получая динамичные изображения с наложенным сверху музыкальным рядом. Добиться такого результата разработчикам удалось с помощью технологий машинного обучения, которые были задействованы для конструирования видеороликов. Вся необычность совмещения заключается в способности системы подстраивать лицо на фото под воспроизводимую композицию, причем с максимально возможной точностью. Созданный алгоритм получил название GANs и в сети можно найти видео-примеры его уникальной работы.

Как рассказывают создатели технологии, перед увязкой картинки и музыкального трека, нейросеть прорабатывает лицо на изображении, создавая его объемную модель в 3D, а затем подстраивает мимику под аудиоряд, получая ошеломляюще реалистичный результат.

Удивительно, но эта идея не является новой, ведь ранее разработчики Samsung уже демонстрировали похожий проект, в котором алгоритмы создают максимально реалистичные модели разговаривающих человеческих голов или портретов.