Аплодисменты, аплодисменты! (спасибо, спасибо. Вы слишком добры)

«Вы должны быть готовы работать всегда без аплодисментов».
― Эрнест Хемингуэй, By-line

В недавней записи в блоге мы обсуждали исследование звука отскакивающих предметов. Это один из тех повседневных звуков, на которые мы особенно настроены, но по которым не проводилось особых исследований. Это заставило меня задуматься о некоторых других недостаточно изученных звуках. Аплодисменты, безусловно, подходят. Мы все знаем, когда слышим это, и быстрый поиск известных цитат показывает, что есть много способов описать множество типов аплодисментов; бурные аплодисменты, бурные аплодисменты, небольшое количество аплодисментов, саркастические аплодисменты и, конечно же, ужасный медленный хлопок в ладоши. Но с точки зрения слуха, что делает его особенным?

А пока вот ссылка на модель аплодисментов в nemisindo:

https://nemisindo.com/models/applause.html

Вот демонстрационное видео:https://www.youtube.com/watch?v=Tb6o71jHlfI

Аплодисменты — это не что иное, как звук множества людей, собравшихся в одном месте и хлопающих в ладоши. Хлопки в ладоши — это один из самых простых способов приблизить импульс или короткий широкополосный звук без необходимости в каком-либо оборудовании. Импульсивные звуки используются для ритма, для обозначения важных моментов на временной шкале или для оценки акустических свойств помещения. Клапперы и хлопушки - это музыкальные инструменты, обычно состоящие из двух кусков дерева, которые хлопают вместе, чтобы издавать ударные звуки. В кино и на телевидении хлопушки широко используются. Хлопушка производит резкий звук хлопка, который можно легко определить на звуковой дорожке, а захлопывание хлопушки в верхней части доски можно аналогичным образом определить на визуальной дорожке. Таким образом, они эффективно используются для синхронизации звука и изображения, а также для обозначения начала сцен или дублей во время производства. А в акустических измерениях, если можно произвести импульсный звук в заданном месте и записать результат, можно получить представление о реверберации, которую помещение будет применять к любому звуку, издаваемому в этом месте.

Но хлопок в ладоши — это грубое приближение к импульсу. Хлопки не имеют полностью плоских импульсных характеристик, не являются полностью всенаправленными, имеют значительную продолжительность и не очень высокую энергию. Seetharaman и его коллеги исследовали эффективность хлопков в ладоши как источников импульсов . Они обнаружили, что при небольшой дополнительной, но автоматизированной обработке сигналов хлопки могут производить надежные акустические измерения.
Ханахара, Тада и Мурой использовали импульсивную природу хлопков в ладоши для разработки средств связи между человеком и роботом.. Хлопки в ладоши и их синхронизация относительно легко расшифровываются роботом и не так уж сложно кодируются человеком. Но почему авторы полностью отказались от азбуки Морзе и всех других простых форм двоичного кодирования, мне непонятно. И по мере того, как распознавание голоса и связанные с ним технологии продолжают развиваться, потребность в общении на основе хлопков в ладоши уменьшается.

Так как же звучит хлопок одной рукой? Целая область исследований аплодисментов и аплодисментов возникла благодаря хорошо цитируемому исследованию 1987 года Бруно Реппа «Звук двух ладоней, хлопающих в ладоши». Он различал 8 позиций хлопка в ладоши;

Руки параллельны и плоские

P1: ладонь к ладони
P2: посередине между P1 и P3
P3: пальцы к ладони

Руки держатся под углом

A1: ладонь к ладони
A2: на полпути между P1 и P3
A3: пальцы к ладони
A1+: A1 с очень сложенными ладонями
A1-: A1 с полностью сложенными ладонями

На рисунке ниже показаны фотографии этих восьми конфигураций хлопков в ладоши, взятые из магистерской диссертации Леви Пелтолы 2004 года .

Акустический анализ Реппа и эксперименты по восприятию в основном включали 20 испытуемых, каждого из которых просили хлопать с нормальной скоростью в течение 10 секунд в тихой комнате. Спектры отдельных хлопков сильно различались, но не было никаких доказательств влияния пола или размера руки на спектр хлопков. Он также измерил свои собственные аплодисменты с помощью восьми режимов, указанных выше. Если ладони ударялись друг о друга (P1, A1), имелся узкий частотный пик ниже 1 кГц вместе с провалом около 2,5 кГц. Если пальцы одной руки ударяли по ладони другой руки (P3, A3), имелся широкий спектральный пик около 2 кГц.

Затем Репп попытался определить, могут ли испытуемые извлечь информацию о хлопушке, слушая сигнал. Испытуемые обычно предполагали, что медленные, громкие и низкие хлопки в ладоши исходили от мужчин, хлопающих в ладоши, а быстрые, мягкие и высокие хлопки в ладоши - от женщин, которые хлопали в ладоши. Но это было не так. Скорость, интенсивность и высота тона не коррелировали с полом, и поэтому казалось, что испытуемые могли правильно определить жанр лишь немногим лучше, чем случайно. Воспринимаемые различия объяснялись главным образом конфигурацией рук, а не их размером.

Так много для отдельных аплодисментов, но как насчет аплодисментов. Вот когда в игру вступает интересная физика. Неда и ее коллеги зафиксировали аплодисменты нескольких театральных и оперных представлений. Они заметили, что аплодисменты начинаются с бессвязных случайных хлопков, но затем через несколько секунд развиваются синхронизация и периодическое поведение. Этот переход может быть довольно внезапным и очень сильным и представляет собой необычный пример самоорганизации в большой связанной системе. Неда дает вполне понятное объяснение, что происходит и почему.

Вот хорошее видео этого явления.

Тот факт, что звуковые аспекты хлопков в ладоши могут так сильно различаться и часто могут быть идентифицированы слушателями, предполагает, что можно многое сказать об источнике с помощью анализа сигнала. Так было в работе Jylhä и коллег, которые предложили методы идентификации человека по их хлопкам в ладоши или идентификации конфигурации ( а- ля исследование Реппа ) хлопка в ладоши . Кристиан Уле рассмотрел более общий вопрос идентификации аплодисментов в аудиопотоке .

Понимание аплодисментов, помимо феномена синхронизации, наблюдаемого Недой, весьма полезно для кодирования сигналов аплодисментов, которые так часто сопровождают музыкальные записи, особенно те записи, которые считаются достойными распространения! Известно, что важные пространственные и временные аспекты сигналов аплодисментов делают сигналы особенно сложными для кодирования и декодирования . Как отмечается в исследовании Адами и его коллег , более стандартные характеристики восприятия, такие как высота тона или громкость, плохо справляются с характеристикой зернистых звуковых текстур, таких как аплодисменты. Они представили новую функцию, плотность аплодисментов, которая слабо связана с общей частотой аплодисментов, но получена из экспериментов по восприятию. Всего за месяц до этой записи в блоге,Адами и соавторы опубликовали дополнительную статью, в которой плотность и другие характеристики использовались для исследования реализма сигналов аплодисментов, смешанных с повышением частоты (от моно до стерео). На самом деле разговор с одним из соавторов побудил меня написать эту статью.

Апмикширование является важной проблемой само по себе. А вот размещение и обработку звуков для стереофонического или многоканального окружения можно считать частью общей проблемы синтеза звука. Синтез звуков аплодисментов и аплодисментов подробно и эффектно описан Пелтолой и соавторами . Они представили основанные на физике системы анализа, синтеза и управления, способные как производить отдельные хлопки в ладоши, так и имитировать аплодисменты группы хлопающих в ладоши. Модели синтеза были получены на основе экспериментальных измерений и основаны на работах Реппа и Неды. Исследователи здесь, в исследовательской группе Audio Engineering Центра цифровой музыки.пытаются опираться на свою работу, создавая систему синтеза, которая могла бы включать в себя аплодисменты и другие аспекты благодарной толпы. Об этом скоро, надеюсь.

«Я думаю, что именно так и наступит конец света: под всеобщие аплодисменты остряков, которые верят, что это шутка».
― Сёрен Кьеркегор, «Или/или», часть I

А для тех, кому это может быть интересно, вот краткая библиография ссылок на аплодисменты и аплодисменты;

1. Адами А., Диш С., Стеба Г. и Херре Дж. «Оценка восприятия плотности аплодисментов с использованием синтезированных многоуровневых сигналов аплодисментов», 19-я Международная конференция по цифровым аудиоэффектам (DAFx-16), Брно, Чехия. Республика, 2016
2. Адами А.; Бранд, Л.; Эрре, Дж., «Исследования правдоподобного слепого микширования сигналов аплодисментов», 142-я конвенция AES, май 2017 г.
3. В. Ахмад, А. М. Кондоз, Анализ и синтез звуков хлопков в ладоши на основе адаптивного словаря. ICMC, 2011.
4. К. Ханахара, Ю. Тада и Т. Мурой, «Общение человека и робота с помощью хлопков в ладоши (предварительный эксперимент с языком хлопков)», IEEE Int. конф. по системам, человеку и кибернетике (ISIC-2007), октябрь 2007 г., стр. 2995–3000.
5. Фарнер, Снорре; Солванг, Аудун; Собо, Асбьёрн; Свенссон, У. Питер «Эксперименты по хлопкам в ладоши под влиянием задержки и различных акустических сред», Журнал Общества звукоинженеров, том 57, выпуск 12, стр. 1028–1041; Декабрь 2009
г. 6. А. Юлха и К. Эркут, «Определение конфигурации рук по звукам хлопков», 11-я Международная конференция по цифровым звуковым эффектам (DAFx-08), Эспоо, Финляндия, 2008 г.
7. Юлха, Антти; Эркут, Джумхур; Симсекли, Умут; Джемгил, А. Тайлан «Звуковые отпечатки ладоней: идентификация человека по звукам хлопков с помощью модельного метода», 45-я конференция AES, март 2012 г.
8. Кавахара, Казухико; Камамото, Ютака; Омото, Акира; Мория, Такехиро «Оценка кодирования с малой задержкой аплодисментов и звуков хлопков, вызванных музыкальным восприятием», 138-я конвенция AES, май 2015
г. 9. Кавахара, Казухико; Фухимори, Акихо; Камамото, Ютака; Омото, Акира; Мория, Такехиро Внедрение и демонстрация системы обратной связи аплодисментами и хлопками в ладоши для просмотра в реальном времени, 141-я Конвенция AES, сентябрь 2016
г. 10. Лайтинен, Микко-Вилле; Куч, Фабриан; Диш, Саша; Пулкки, «Вилле, воспроизводящий сигналы типа аплодисментов с помощью направленного аудиокодирования», Журнал Общества звукоинженеров, том 59, выпуск 1/2, стр. 29–43; Январь 2011
г. 11. З. Неда, Э. Раваш, Т. Вичек, Ю. Бреше и А.-Л. Барабаши, «Физика ритмических аплодисментов», Phys. Преп. E, том. 61, нет. 6, стр. 6987–6992, 2000.
12. З. Неда, Э. Равас, Ю. Бреше, Т. Вичек, А.-Л. Барабаси, «Звук множества аплодисментов: бурные аплодисменты могут трансформироваться в волны синхронных аплодисментов», Nature, vol. 403, pp. 849–850, 2000.
13. Z. Néda, A. Nikitin, and T. Vicek. «Синхронизация двухрежимных стохастических осцилляторов: новая модель ритмичных аплодисментов и многое другое», Physica A: Statistical Mechanics and its Applications, 321:238–247, 2003.
14. L. Peltola, C. Erkut, PR Cook, и В. Вялимяки, «Синтез звуков хлопков в ладоши», IEEE Transactions on Audio, Speech, and Language Processing, vol. 15, нет. 3, pp. 1021–1029, 2007.
15. BH Repp. «Звук хлопка двух ладоней: предварительное исследование», J. of the Acoustical Society of America, 81: 1100–1109, апрель 1987 г.

16. П. Ситхараман , С.П. Тарзия, «Хлопок в ладоши как источник импульса для измерения акустики помещения», 132-я конвенция AES, апрель 2012 г. 59 Выпуск 4, стр. 213–224, апрель 2011 г.