В последние пару лет технологии шумоподавления сделали огромный скачок вперед. Мы накупили себе наушников с шумодавом на любой вкус и кошелек, а нейросети и пандемия спровоцировали скачок в качестве аудиосвязи.
Сегодня разберёмся как работает шумоподавление в наушниках и не только.
Принцип работы
Начнем с системы ANC в наушниках, то есть системы активного шумоподавления. Как она работает?
Во-первых, перевод: ANC — Active Noise Cancellation, также его называют Active Noise Control или Active Noise Reduction (ANR).
Громкость звука зависит от амплитуды звуковых волн. Чем выше размах колебаний частиц в воздухе, которые добираются до наших барабанных перепонок, тем громче звук. Поэтому чтобы сделать звук тише, нам нужно уменьшить амплитуду этих волн. Это можно сделать несколькими способами. Например? поставить перегородку, которая будут гасить звуковые волны. В помещении такой перегородкой может быть стена или окно, ни или мы можем просто надеть плотные наушники. Такой метод шумоподавления называется пассивным.
Но мы можем и активно гасить звуковые волны, создавая свои волны в противофазе шуму! В этом случае, волны будут просто накладываться и гасить друг друга. Гениально и просто!
История ANC
Схема регистрации звука угольным микрофоном — продольные колебания воздействуют на мембрану, заставляя ее сжиматься и разжиматься.
Первый патент на такую систему шумоподавления был подан еще в 1934 году немецким физиком Полом Люгом.
Изначально изобретатель предполагал, что технологию можно будет использовать в помещениях, передавая перевернутый сигнал через громкоговорители. И пригодится она для борьбы с эхом в театрах и концертных залах, а также для подавления шума печатных машинок в конторах. Идея была классная, но его разработку классифицировали как военную и засекретили, поэтому технология не выстрелила.
Пока в середине 50-х исследователь Лоуренс Фогель из США не догадался использовались технологию в шлемофонах и наушниках пилотов самолетов и вертолетов.
Типичный шум в кабине в то время достигал 100 децибел. Новая технология позволила снизить его до уровня 80–85 децибелов, всё равно громко и сравнимо с очень громким криком, но всё равно позволило спасти слух многим пилотам.
Наладить серийное производство наушников с активным шумоподавлением удалось компании BOSE 1986 году. Тогда наушники использовались только в авиации. Но уже в 1989 году та же BOSE адаптировала технологию для бытового применения.
И вот сейчас спустя более восьмидесяти лет с момента появления первого патента технология стала мейнстримом. Но почему потребовалось столько лет, чтобы технология стала по настоящему популярной?
Как работает ANC?
Сам принцип технологии очень простой. Но на практике добиться нормальных результатов чрезвычайно сложно из-за целого ряда технических сложностей.
Во-первых, наушники сами по себе обеспечивают пассивную звукоизоляцию. Поэтому чтобы грамотно замерить уровень шума нам нужно минимум два микрофона: один снаружи, улавливающий внешние шумы, и один внутри, чтобы понять какой процент внешних шумов проникает внутрь.
Во-вторых, если вдруг инвертированный сигнал отстанет хотя бы на 5 миллисекунд от реального звука шумоподавление перестанет работать. Поэтому в современных наушниках должен быть мощный и очень тонко настроенный цифровой процессор, который будет постоянно адаптироваться под меняющуюся ситуацию и будет работать с минимальными задержками.
Особенно задержки негативно влияют на подавление высокочастотных звуков, в которых колебания происходят тысячи раз в секунду, поэтому даже малейшая задержка в этом случае может даже увеличить уровень шума из-за наложения пиков друг на друга. Поэтому более менее сносно справляются с шумоподавлением высоких частот только самые лучшие наушники, но многие наушники не способны подавить даже человеческий голос.
Ну а низкие частоты до 100 Гц вообще не способны погасить, ведь маленьким динамикам просто не хватит мощности. Это видно на графиках.
Ну и в-третьих, на финальном этапе шумоподавления нам нужно объединить две волны: анти-шум и музыку, которую мы слушаем. Если это сделать бездумно, оригинальное аудио может довольно сильно исказиться и качество звука упадёт. Поэтому опять же нужны умные алгоритмы, быстрый процессор и многие часы тестирования и тонкой подстройки.
И тогда, в конце мы получим продукт, которым люди будут пользоваться с удовольствием.
ANC в других сферах
Как видите на преодоление этих сложностей ушло много времени. Люди научились делать ANC наушники, но на этом не намерены останавливаться.
Уже появились системы активного шумоподавления в автомобилях, которые комбинируют данные с микрофонов в кабине с данными с акселерометров, которые улавливают вибрации корпуса автомобиля поступающих от шин и от двигателя. Только представьте, в будущем не надо будет тратиться на звукоизоляцию своего авто, надо будет только прикупить умных датчиков и всё.
Также разрабатываются ANC системы для дома, которые способны гасить звук из открытых окон! Можно будет проветривать помещение и не просыпаться от проезжающих мотоциклистов. Надеюсь, для соседей с дрелью тоже что-то придумают.
Есть даже будки для собак, которые боятся фейерверков, ну или просто предпочитают здоровый крепкий сон. Так себе охранники конечно пошли. Вот в наше время барбосы были…
В общем, применений у технологии масса, но есть сферы в которых активное шумоподавление не применимо.
Например, когда мы говорим по видеосвязи, а за спиной кричит голодный ребенок. Или пытаемся поговорить по телефону с человеком на станции в метро. Для таких случаев есть другая технология.
NOISE SUPPRESSION
В английском языке есть как минимум два термина, обозначающих шумоподавление. Это Noise Cancellation, как в технологии активного шумоподавления. На русский язык этот термин вернее бы было перевести шумовычитание или шумопогашение на худой конец.
А всё потому что есть еще и другой термин Noise Suppression, который как раз и переводится — шумоподавление. Так вот, несмотря на то, что в русском языке технологии переводятся одинаково, по сути, они совсем разные. Поэтому, чтобы не путаться одну давайте называть ANC, а вторую просто шумоподавление.
Технология ANC позволяет заглушить окружающий шум при помощи аппаратных методов: внешних микрофонов, сигнальных процессоров и прочее. А технология шумоподавления позволяет — очистить сигнал от шума программно. То есть это просто программные шумодавы. Те кто хоть раз чистил аудиосигнал от шума, знают, что это такое и как они хреново работают. Но сейчас область шумоподавления переживает невероятный скачек. И вот почему…
История NS
На протяжении всей своей истории традиционные аппаратные или программные алгоритмы цифровой обработки сигналов, будем называть их DSP алгоритмы, работали примерно одним образом.
DSP — Digital Signal Processing, цифровая обработка сигналов
Задачей DSP алгоритма было находить некий шаблон шума, и обрабатывать кадр за кадром миллисекунда за миллисекундой. Шаблонов шума может быть много, но в целом любой шум можно поделить на два типа: стационарный шум и нестационарный шум.
Стационарный шум — это может быть какое-то шипение, гудение, в общем что-то постоянно повторяющиеся и отличное от человеческого голоса.
Так вот в случае, если нужно удалить только стационарный шум, DSP алгоритмы могут быть весьма эффективны. Но если шумы имеют сложную структуру или их сложно отличить от человеческого голоса, например, постоянный крик, стук, печатание на клавиатуре, сирена за окном, работающий телевизор, советы коллег, как расшарить экран. В этом случае DSP алгоритмы терпят крах.
Много лет ситуация не менялась, пока люди не распробовали глубокие нейросети!
Пионерами в области шумоподавления при помощи глубоких нейросетей, или DNN-шумоподавление (DNN — Deep Neural Network), стала компания BubbleLabs.
В октябре 2017 в первый день существования компании, основатели BubbleLabs закупили себе по две NVIDIA 1080 Ti и начали тренировать нейросеть.
Идея обучения нейросети была простая:
- Берём кучу записей различных шумов.
- Берем кучу записей чистой речи.
- А потом склеиваем шум с речью и заставляем нейросеть это чистить. А в качестве образца показываем чистые записи голосов.
В итоге, на выходе получаем прекрасный алгоритм, который они назвали Clear Cloud. Послушайте сами примеры этой работы.
И как это часто бывает, хорошим стартапом быстро заинтересовалась большая компания. В этом случае речь идёт про Cisco. Вскоре Clear Cloud стал частью их платформы для конференцсвязи — Webex. И в итоге мы получили самый крутой алгоритм улучшения речи, работающий в потребительском продукте. По крайней мере если верить вот этому опросу.
И вот тут важный момент. В лучших традициях заботы о “privacy”. Алгоритм работает локально на устройстве и никуда не передает данные. Всё это работает как на ПК, так и на мобильных девайсах. И это только одна из AI-фич, которая встроена в Webex.
Еще она делает автоматическую транскрипцию и перевод более чем на 100 языков. Русский, кстати, поддерживается. Также досупно управление через ассистент, встроенный в приложение. Программа еще и распознаёт жесты, умеет заменять бэкграунд и еще много всего.
В общем, попробуйте. Webex — суперпродвинутая программа для конференцсвязи, которая, кстати, поддерживает кодек AV1, за что особый респект. А вот и ссылочка на пробную версию Webex.
Итоги
Ждём пока такие алгоритмы встроят во все телефоны, умные колонки и часы — и тогда гаджеты нас будут понимать с полуслова. Кстати, Cisco, так уже делают. Они оборудуют рабочие пространства устройствами видеосвязи для дома и офиса. Поэтому теперь неважно, как вы встречаетесь лично или онлайн. Ведь главное, чтобы люди друг друга слушали и хорошо слышали.
