Как это работает
E.BAEV.Scene показывает, где в стереозаписи стоит каждый звук: вокал, бас, барабаны, клавиши и реверберация. Загрузи трек, и он разложится по частотам и по панораме, как в плагинах для сведения. Так сразу видно, подходит ли трек для проверки центра сцены и чего от него ждать в машине. Файл никуда не загружается, всё считается в браузере на твоём компьютере или телефоне.
Как считается
- Трек режется на кусочки примерно по 0,1 секунды. Для каждого строится спектр левого и правого канала.
- На каждой частоте сравнивается громкость слева и справа. Одинаково в обоих каналах – точка по центру, звук только в одном канале – точка у края. Если частота звучит в обоих каналах, но со сдвигом фазы без настоящей задержки (две разные партии на одной ноте, хорус, пара микрофонов), это ширина, а не центр: так её и слышно.
- Яркость точки – громкость. Порог шума убирает всё, что тише самого громкого места трека на заданное число децибел.
- Громкость в LUFS считается по EBU R128, корреляция и ширина – по самим сэмплам.
- Фокус-рамка вырезает звук прямо по спектру: всё, что не попало в рамку по частоте и панораме, глушится, остальное собирается обратно в звук без потерь.
- Стемы делит нейросеть HTDemucs от Meta прямо в браузере, на видеокарте через WebGPU. Модель на 126 МБ скачивается один раз и потом лежит в кеше браузера. Трек на 4 минуты делится примерно за минуту.
- Ноты в вокале, басу и инструментах ищет модель Basic Pitch от Spotify. Место каждой ноты берётся по её гармоникам в первую десятую секунды после атаки, пока не пришла реверберация: так же направление определяет слух. Удары барабанов находятся по резким всплескам в полосах бочки, рабочего и тарелок.
- Внутри каждого слоя движок находит инструменты и партии, которые стоят в одном месте, например дабл-гитары слева и справа. Место считается так же, как его определяет слух: по прямому звуку и атакам нот. Хвосты реверберации идут не в место, а в ширину и глубину. Глубину выдают уровень относительно других инструментов, доля реверберации и мягкость атак. Ниже 120 Гц место на слух почти не слышно, поэтому некоррелированный низ показывается размытым.
Что видно
- Где стоит вокал и насколько он узкий.
- Куда разведены гитары, клавиши, хэт и тарелки.
- Насколько широкая запись и не провалится ли она в моно.
- Перекос сведения влево или вправо по каждой октаве.
- Тесты вроде «только левый канал» или «только правый» и перепутанные местами каналы.
- Где стоит каждый слой: вокал, бас, бочка, рабочий, тарелки и инструменты. Любой слой можно заглушить, послушать соло и скачать в WAV.
- Где этот трек должен звучать в машине: экран «Торпеда» с чек-листом для проверки на слух.
- Каждый инструмент как объект на сцене: место, ширина, полоса частот, громкость в моменте и глубина. Внутри вспыхивают его ноты и удары. Например, на AMT «Drive» дабл-гитары стоят на L 93 и R 92, а бас и бочка ровно по центру.
Что не видно
- Названия инструментов. Нейросеть делит трек на 4 слоя, и гитару от клавиш по названию не отличит: партии подписаны по слою и месту. Тихая партия в том же регистре поверх широкого пэда может не выделиться в отдельный объект.
- Стемы без WebGPU: в старых браузерах и на части телефонов кнопка разделения не сработает.
- Панорама задержкой на верхах. Сдвиг по времени между каналами учитывается от 160 до 700 Гц и только когда он одинаков на соседних частотах, как у настоящей задержки. Выше точка встанет по громкости, то есть чуть ближе к центру, чем звучит.
- Пометка противофазы на самом объекте. На карте такой звук расползается к краям, как и звучит, а прямо на противофазу указывает корреляция.
- Точная глубина и высота: в стерео их нет как отдельных координат. Глубина оценивается по тем же признакам, что слышит ухо, а высота на «Торпеде» – это высота тона, а не реальное место над торпедой.
- Как трек прозвучит в конкретной машине. Карта показывает запись, а не салон.
Термины – в wiki, задержки и фокус на голову – в E.BAEV.Wave, целевая АЧХ – в E.BAEV.Targets. Стемы: модель HTDemucs (Meta AI, MIT), сборка для браузера monteslu/htdemucs-web-onnx и demucs-web (MIT), ноты: Basic Pitch (Spotify, Apache-2.0), ONNX Runtime Web (Microsoft, MIT).
