Обратная связь
×

Обратная связь

Поиск талантов на Youtube методом акустического анализа

    08 ноября 2011 в 16:08
  • 5
  • 391
  • 3
  • 5
  • 391
  • 3

Не могу удержаться и не перепечатать такое (оригиналы на русском — на хабре, на английском — на блогспоте), ибо когда-то очень давно занимался распознаванием звуков..

Облачный музыкальный сервис Google Music был представлен публике во время майской конференции Google I/O 2011. К сожалению, он доступен только с территории США, хотя наши люди успешно ходят на сайт через прокси и даже нашли способ установить клиент под Android.

С момента анонса сервис заметно оброс функционалом, причём некоторые фичи можно назвать уникальными. В июне заработал плейлист-генератор Instant Mix (разработка Google Research), который дополняет ваш список воспроизведения новыми композициями того же стиля, путём анализа акустических свойств песни: ритма, тональности и инструментальной окраски треков, а также акустических характеристик вокала. Instant Mix — ключевой элемент музыкального сервиса Google.

Чтобы оценить качество работы Instant Mix (и проверить честную работу акустического анализа), можно посмотреть на то, какие треки он подбирает для двух песен с совершенно разным настроением, одной и той же группы U2.

Вот выбор алгоритма для весёлой песенки Mysterious Ways.

1. U2 «Mysterious Ways»
2. David Bowie «Fame»
3. Oingo Boingo «Gratitude»
4. Infectious Grooves “Spreck”
5. Red Hot Chili Peppers “Special Secret Song Inside”

А вот выбор для песни MLK c нежным вокалом и совершенно другим набором инструментов.

1. U2 «MLK»
2. Jewel “Don’t”
3. Antony and the Johnsons “What Can I Do?”
4. The Beatles “And I Love Her”
5. Van Morrison “Crazy Love”

Представители Google Research изначально заявляли, что их цель — не популяризация модных групп, а выбор песен из «длинного хвоста», то есть малоизвестных команд. Главное — качество музыки, ведь акустический анализ работает с объективными физическими характеристиками и не обращает внимание на бренды. Плейлист-генератор Instant Mix умеет обучаться и изучать музыкальные предпочтения пользователя.

И вот разработчики сделали следующий логический шаг и применили технологию акустического анализа и машинного обучения ко всей выборке музыкальных клипов на Youtube с целью попробовать выявить потенциальные «хиты» среди новых, никому не известных исполнителей.

Первым делом они с помощью известных технологий распознавания образов выбрали только те видеоролики, которые снимались в домашних условиях, то есть домашнее видео. Это было сделать несложно: температура цвета, средний или крупный план человека на протяжении всего ролика (в кадре голова и плечи), зафиксированная позиция камеры.

0e835f.png

А затем начиналось самое интересное — применялся акустический анализ, аналогичный тому, что используется в Instant Mix. К нему добавили движок распознавания минимального количества оценок пользователей (для самообучения) — и через какое-то время технология смогла самостоятельно оценивать качество видео, предугадывая оценку среднего пользователя. Фактически, разработчики получили настоящую технологию раннего распознавания хитов, которые нравятся массовой аудитории. Возможно, с его помощью можно будет отыскивать в огромном количестве любительских видеозаписей выступления потенциальных звёзд — и получится такая «Фабрика звёзд» в исполнении компьютерного алгоритма.

Чтобы извлечь какую-то пользу из созданной технологии, разработчики запустили видеоигру Youtube Slam, куда попадают отобранные алгоритмом «лучшие» из домашних видеозаписей, а все пользователи могут голосовать за них. За несколько недель игры уже обнаружено несколько вполне интересных музыкантов. У некоторых из этих видеороликов было менее 100 просмотров, когда алгоритм их выбрал.

 

Теги: фабрика звезд , youtube , анализ звуков , IT

3 комментария