шапито

Imaginary Soundscape: нейросеть подбирает звуковое сопровождение картинам и фотографиям

Источник: The Verge

Группа исследователей из Токийского университета разработала нейросеть, которая умеет подбирать звуковое сопровождение к иллюстрациям — например, к картинам или фотографиям. Попробовать ее в работе можно на этой странице.

Нейросеть в проекте Imaginary Soundscape находит на картинке «знакомые» элементы и подбирает к ним звуки из базы в 52 тысячи файлов. Для демонстрации работы программы ее создатели «озвучили» картины — «Женщина гладит» Эдгара Дега, «Базиль и Камилла» Клода Моне, «Хьюго Рейсингер» Андерса Цорна и другие.

The Verge отмечает, что программе хорошо удается озвучивать абстрактные изображения и фотографии, на которых люди что-то делают, а с мемами она справляется плохо. «Медуза» все же показала нейросети несколько мемов. Вот так звучит мем «Это голубь?», а так — «Карл».

Авторы Imaginary Soundscape в конце 2017 года представили похожий проект: в нем нейросеть подбирала звуки к панорамам на Google Maps. Пользователь мог выбрать любое местоположение, доступное на картах

Nao Tokui

Фото в анонсе: Ray Tang / Rex / Scanpix / LETA

Imaginary Soundscape: нейросеть подбирает звуковое сопровождение картинам и фотографиям

{{ header_title }}

{{ title }} {{ second_title }}

{{ title }} {{ second_title }}

{{ title }} {{ second_title }}

{{ title }} {{ second_title }}

{{ title }} {{ second_title }}

{{ title }} {{ second_title }}

{{ title }} {{ second_title }}

{{ title }} {{ second_title }}

{{ title }} {{ second_title }}

{{ title }} {{ second_title }}

{{ title }} {{ second_title }}

{{#is_light}}{{ title }} {{ second_title }}{{/is_light}}{{^is_light}}{{ title }} {{ second_title }}{{/is_light}}

{{ title }}

{{ title }}

{{ title }}

{{ title }} {{ second_title }}

{{ title }}

{{ second_title }}