Как вставить картинку в спектрограмму

Рисуем звук

Пять лет назад на Хабре была опубликована статья «Печать и воспроизведение звука на бумаге» — о системе создания и проигрывания спектрограмм. Затем, полтора года назад Meklon опубликовал квест, в котором такая чёрно-белая логарифмическая спектрограмма стала одним из этапов. По авторскому замыслу, её надо было распечатать на принтере, отсканировать смартфоном с приложением-проигрывателем, и воспользоваться таким образом «надиктованным» паролем.

У меня в тот момент не было в досягаемости ни принтера, ни смартфона, так что меня заинтересовали два аспекта задачи:

Готовых скриптов для воспроизведения спектрограмм я не нашёл, хотя для обратного преобразования — звука в спектрограмму — легко * находятся примеры, благодаря тому, что функциональность AnalyserNode.getByteFrequencyData() встроена в Web Audio API. А вот для преобразования массива частот в массив PCM для воспроизведения — не обойтись без реализации в скрипте обратного преобразования Фурье (DFT).

*В первом примере в качестве аудиозаписи для спектрального анализа предлагается фрагмент трека «» от Aphex Twin: в качестве секретного послания музыкант встроил в этот трек селфи, проявляющееся на логарифмической спектрограмме. К сожалению, в этом примере спектрограмма отображается линейно, так что лицо получается растянутым вверху и сжатым внизу.

По поводу реализации DFT сразу ясно, что такая «числодробилка» на чистом JavaScript будет работать медленно и печально; к счастью, я обнаружил готовый порт библиотеки FFTW («Fastest Fourier Transform in the West») на asm.js — это форма представления низкоуровневого кода, обычно написанного на Си, которую современные браузеры обещают выполнять со скоростью почти как у скомпилированного в машинный код. Обвязку для FFTW, превращающую чёрно-белое изображение в WAV-файл, я взял из ARSS и собственноручно переписал на JavaScript. ARSS принимает изображения, инвертированные по сравнению с PhonoPaper, и я не стал это менять.

Результатом вы можете полюбоваться на tyomitch.github.io/#meklon.png

Внизу видны повторяющиеся горизонтальные полосы — форманты, по положению которых распознаются гласные. Вверху — вертикальные «всплески», соответствующие шумным согласным: более широкие — щелевым (фрикативным), более узкие — смычным. Сонорным же согласным ([р] и [л]) соответствуют «облака» в средних частотах.

Для того, чтобы можно было поиграть со спектрограммой, я приделал примитивную рисовалку, почти целиком скопированную из туториала по рисованию на canvas. Кнопка «Copy» позволяет перевести изображение в красный канал (он игнорируется синтезатором) и попытаться «обвести» звуки.

Википедия пишет: «Считается, что для характеристики звуков речи достаточно выделения четырёх формант». Обведём форманты F₂-F₄ (F₁ почему-то игнорируется синтезатором), и убедимся, что гласные вполне распознаются:

Затем обведём шумные согласные: аффриката [ч] — это [т], плавно переходящее в [ш]; а звонкое [д] от глухого [т] отличается наличием среднечастотных формант. Теперь уже можно различить цифры «шесть» и «де’ить»:

Добавляем тёмно-серым сонорные согласные: заодно заметим, что [р] немного «приподнимает» гласные форманты, а [л] — наоборот, опускает.

Остались недорисованными только губные согласные [б] и [в], но и без них пароль более-менее ясен.

А можно ли нарисовать звук с чистого листа, не обводя спектрограмму аудиозаписи? Скажу честно, у меня не получилось. Может быть, хотите попробовать сами?

Источник

Превращаем картинку в звук

Попробуем заняться довольно бессмысленным занятием, а именно получением звука с определенной спектрограммой. Вдруг ряды любителей ЭГФ сократятся, не в обиду фанатам фильма «Белый шум» 🙂
Итак, начнем с моделирования на Matlab. Хотим алгоритм, позволяющий переводить звук в картинку-спектрограмму и обратно. Логично будет начать с вычисления спектрограммы, по которой будет вычисляться изображение.

Чтобы не делать того, что уже давно сделано за нас другими, здесь используется функция enframe из библиотеки voicebox,предназначенной для решения разнообразных задач при распознавании речи. Функция enframe как раз и позволяет нарезать сигнал на кадры с заданным шагом. Длину кадра мы берем мы берем равным длине преобразования Фурье(FFTLEN= 256), а шаг — половина этого значения(128). Все в лучших традициях 🙂 На каждый кадр накладывается окно Хэннинга для устранения боковых лепестков при вычислении ДПФ. Так как кадры идут с половинным перекрытием, то при наложении окна, сумма весов под перекрывающимися участками равна 1 и мы легко можем восстановить сигнал в половине кадра по двум соседним кадрам.

Для фразы «Почему не стоит пользоваться аутсорсингом в странах с дешевой рабочей силой» получилась следующая спектрограмма:

Естественно, что однозначно мы восстановить сигнал не сможем. При получении изображения каждый отсчета спектрограммы берется модулем комплексного значения — теряется информация о фазе. Поэтому, если просто собрать восстановленные половинки, то будут две проблемы:

Первая проблема пока остается, для решения второй я пытался подкручивать фазу при сборке полукадров — через один полукадр. Делалось это примерно так:

После восстановления, получилось вот что

И теперь осталось только написать небольшую функцию получения спектрограммы из картинки. Изображение превращаем в черно-белое, а затем масштабируем до нужного размера по высоте.

Немножко сжульничал, строчкой «image = 1-image;» сделав негативное изображение, чтобы наш мишка выглядел яркими пятнами на темном, а не наоборот. Иначе — было бы слишком много шума.

Полученный звук, естественно, для сохранения психического равновесия слушать категорически не рекомендуется… Желающие могут поподбирать картинку, чтобы получить что-нибудь похожее на транс-музыку от Майкрософта.

Исходный код и все необходимое из статьи можно скачать отсюда.

Источник

Скрытые послания в музыке

Нетрудно вообразить места применения знаний того, как в неявном виде поделиться какой-то информацией, введенной в артефакты массовой культуры. Сегодня в большинстве случаев в скрытии каких-то посланий в музыке нет ровно никакой практической нужды — это лишь приятные бонусы для особенно ярых поклонников музыкальных коллективов. Вплетение посланий в слова песен и меняющиеся краски рисунков в оформлении музыкальных альбомов здесь, конечно, не рассматриваются.

Начнем с простых способов, не имеющих отношения к информатике и вычислительной технике. Наиболее очевидно наложить такие звуки, которые в воспроизведении грампластинки в обратную сторону на бытовом электропроигрывателе или специальной аппаратуре дадут разборчивую человеческую речь.

Бэкмаскинг

Потенциал подобной техники увидел ещё изобретатель фонографа Томас Эдисон, а впервые ею воспользовались пионеры электронной музыки в 50-ых годах прошлого века, хотя, конечно, популяризации приемов бэкмаскинга мы обязаны группе Beatles. В частности, под воздействием марихуаны Леннон прокручивал пленки задом наперед, и полученный звук его очень заинтересовал. Первой песней со скрытым сообщением была Rain.

Цензуру таким образом обходил, например, Фрэнк Заппа, звукозаписывающий лейбл которого не пропустил некоторые строчки.

_{Better look around before you say you don’t care.
Shut your f…ing mouth ’bout the length of my hair.
How would you survive, if you were alive, shitty little person?}

Менее известен прием наложения человеческой речи в ускоренном или замедленном виде, которым воспользовался Джими Хендрикс для песни Third Stone from the Sun. Если ускорить версию трэка в издании The Jimi Hendrix Experience: 1966–1967 в два раза (или проигрывать пластинку на 33⅓ оборота в минуту на скорости в 45), можно услышать отчетливый диалог космических пришельцев, изображаемых Джими и его менеджером.

_{Хендрикс: Star fleet to scout ship, please give your position. Over.
Чэндлер: I am in orbit around the third planet of star known as Sun. Over.
Хендрикс: May this be Earth? Over.
Чэндлер: Positive. It is known to have some form of intelligent species. Over.
Хендрикс: I think we should take a look. (Джими издает звукоподражания космическому кораблю)}

Спад интереса к скрытию посланий в обратном направлении или в проигрывании с повышенной скоростью связан, в первую очередь, с переходом на цифровые носители, проигрыватели которых далеко не всегда имеют функционал реверсирования проигрывания и его ускорения. Не стоит скрывать создание в конце 80-х в Калифорнии и некоторых других штатах законопроектов против заложения в музыку сообщений: фанатизм поиска пасхалок помог находить «послания антихриста» практически везде. Начало слухам о смерти Пола Маккартни положил именно бэкмаскинг.

Рисунки в спектрограмме

Получить спектрограмму легко, возможно ли восстановить звук по спектрограмме? Да, но со значительными аппроксимациями, что никак не помешает создать музыку, которую нужно не слушать — всё равно получится жуткий металлический звон, — а смотреть. Такой музыкой является, к примеру трэк стороны B сингла Windowlicker британского электронного музыканта Aphex Twin, чаще всего называемый «Уравнение» или «Формула», но имеющий более эпатажное название:

Пропустите до 5:30, чтобы увидеть патентованную ухмылку Ричарда. Прием не был нов даже в 99-ом году: к примеру, вот конец трэка Windowlicker:

Легко догадаться, что будет в трэке Look глитч-альбома Songs About My Cats.

Использование особенностей носителя

На виниловой пластике возможно напечатать две дорожки, как это иногда случалось. Например, в оригинальном издании The Monty Python Matching Tie and Handkerchief 1973 года мало того, что не были подписаны стороны пластинок, и не имелось списка трэков, так ещё и на стороне B были нанесены две паралелльные друг другу концентрические дорожки. Для прослушивания скрытой песни на «трехсторонней» пластинке была необходима лишь удачная установка иглы.

Такую же выходку провернул Mad Magazine на диске It’s a Super Spectacular Day, только дорожек было 8. На каждой из них красочно расписывались неприятности, которые могут с вами сегодня произойти. Записи в несколько дорожек были популярны ещё в 50-ых, но, как правило, использовались лишь в пластинках с аудиорассказами для детей, что позволяло получить несколько различных историй с одной двухсторонней пластинки.

Формат данных компакт-диска, описанный в Красной книге, допускает так называемый прегап — отступ от первого трэка. По умолчанию, он длится две секунды и содержит тишину. Множество музыкантов размещали в прегапе аудиоматериалы. К сожалению, обновление в Windows 95 сделало невозможным доступ системы к прегапу первого трэка, видимо, ради поддержки формата CD-Extra. Однако цифровые данные можно размещать следующим способом.

Винил, модемный сигнал, ZX Spectrum и программы

Как записать текстовый файл на виниловой пластинке? Американский коллектив Information Society смог без труда это сделать: название трэка 300bps N, 8, 1 (Terminal Mode or Ascii Download) альбома Peace and Love, Inc. явным образом указывало на то, как можно прочесть их послание. Модем на 300 бод позволял получить текстовый файл, содержавший рассказ группы о давлении на них бразильских государственных структур. Непонятно лишь, почему они выбрали столь странный формат для рассказа.

Atz Ok Atx3dt Connect 300

So we’re supposed to play in curitiba in 18 hours, but our bus is being held hostage by the local promoters. they’ve formed some unholy alliance with the brazilian counterpart of ascap: the prs. Rently the prs has the legal power to arrest people, and they want a piece of the national tour promoter’s money. the local security force, “gang mexicana”, has been bought out for 180 Zados and a carton of marlboros each. the only faction still operating in our defense is “big john”, our personal security man, and he’s hiding in his room because a local gang is out Is blood because of a 1982 knifing incident in which he was involved. our 345-pound road manager, rick only had this to say: “you wanted the life of a rock star!”. paul, jim and I real That this was one situation we were going to have to get out of ourselves.

We convened a hasty conference in the hotel lobby. paul suggested contacting our national tour promoter in sao paulo, but we remembered that he was in recife with faith no more, who had just arr For their brazilian tour. we thought about contacting our brazilian record company in rio, but they weren’t home. our ever-diligent american manager was arranging help of numerous forms, but he N new york, and just too far away to get anything moving in time.

And there were 6000 kids in curitiba who just wouldn’t understand.

We knew it was time for action. paul went up to the prs guys and invited them into the bar to discuss it like civilized men over a few brazilian drinks, offering each of them a cigar on his way. Amused prs heavies seemed to like the idea of a few free drinks, even if they knew they would never give us our bus back. when paul winked at jim and I on his way in, we went into action.

I stole off to my room to prepare while jim went into action. creeping carefully through a service duct, he managed to gain a vantage point some three meters above the bus, and dropped carefully The roof. after using his all-purpose swiss army knife (affectionately known as the “skit knife”) to jimmy open the roof hatch, he went through the darkened inside of the bus and remo He inside engine service panel. using some spare electronic parts he found while on an island in the amazon, he wired the entire bus for remote control, not unlike a remote control toy car.

Paul was having difficulties of his own.

“couldn’t you see your way clear to letting us fulfill our contractual obligations in curitiba? think of the kids!”

Through our translator, fabio, the prs man, aldo, said:

no. you americans think you own the world. hah! we’ll burn down our rain forest if we damn well please. we need room for cows. we want a mcdonald’s on every… oh, sorry, yes anyway, no. Ed 40% of your concert receipts to give to david bowie,” he said, winking to the local promoter, phillipe.

As paul continuted this elaborate distraction, jim effected an escape from the heavily guarded bus by crawling down into the cargo bay, cutting a hole in the floor with the swiss army knife’s ar Der, slipping into the manhole cover situated under the bus, and walking up to the hotel’s basement from there. jim called up to me in my room and gave the signal. we were now to meet at the bac Rance, with our tech guys. but first, paul would need some help getting away from his unwelcome guests, as things were getting ugly.

“he says he has lost his patience, and that he can think of other ways of extracting payment from you kurt and jim physically,” our trembling interpreter said.

The moment had come. jim began operating the bus from his back entrance vantage point. as the remote-controlled bus lurched towards the parking lot exit, the superstitious security youths fled i Ror. paul was pulling anxiously on his collar as the prs man began describing his collection of world war ii nazi ceremonial knives when a sudden crash split the tableau.

Jim had purchased me the gift of a complete black ninja stealth assassin outfit in aracaju. I had been gearing up and crawling through the air conditioning ducts all this time. as I crashed thro He cheap imitation-styrofoam hung ceiling tiles, skates first, I flashed ninja stars all about me. in the ensuing panic, paul escaped to the pre-arranged bus pick-up point. unfortunately, my ska Ere a poor choice of foot gear for escaping over the broken glass of the table I had landed on. were it not for the confusion and the ninja-star-inflicted-wounds delivered to the bad guys, I wou Ve been set upon while floundering on the glass-strewn carpet. as it happened, however, I leapt through the open door of the careening bus as it departed the city of maringa forever.

If only we had managed to get our equipment in the bus, too.

Every word of this story is true.

Имя трэка CLOAD «Q» альбома Information Retrieved Pt. B — это команда загрузки файла Q в Бейсике TRS-80, персонального компьютера начала 80-ых. Как видно, инди-группа Pinback зачем-то уместила на альбоме игру для давно устаревшего компьютера.

В ранние годы распространения персональной компьютерной техники звук для записи кассет ZX Spectrum вещался даже по телевидению. Встречались и трэки, целиком являющиеся программами, и если это были альбомы на виниле, их нужно было переписать на кассету. Чаще всего этим приемом пользовались коллективы из Великобритании.

К примеру, шестой трэк британских изданий альбома XL1 Пита Шелли содержал пульсации звуков, которые, будучи загруженными в «Спектрум», являли собой рудиментарную графику и тексты песен, воспроизводившиеся синхронно с проигрыванием альбома. Для таких же информационных целей служил трэк Hectic Electric с альбома New Anatomy группы Inner City Unit: программа содержала расписание выступлений, описание коллектива, трэков и т.д.

Thompson Twins выпустили на виниле целую видеоигру. Это типичный текстовый квест, который вряд ли будет интересен людям, никогда не оставлявшим на тетрадном листке карту ходов после часов игры.

Сингл Camouflage Криса Сиви включал созданную музыкантом ужасненькую игрушку Flying Train. Она была примечательна лишь своими взрывами. Крис также написал невключенную в альбом игру The Biz, являющуюся симулятором успешной музыкальной группы, испытывающей бурный карьерный рост.

Наиболее ироничное послание для ZX Spectrum создала шотландская группа Urusei Yatsura: программа просто выводила сообщение «Славьте сатану». В коде также содержались комментарии «Привет, Ник, Робин у вас?», «Сатанинское Послание №3 от Жреца Иуды», «Что грустней: а) находить это б) писать это».

Так или иначе, но музыканты прошлых лет очень много экспериментировали над своими поклонниками, чего сегодня, к сожалению, наблюдается меньше.

Источник

Рисуем звук. Часть 1

Привет! В прошлой статье я рассказывала про применение технологии акустической голографии и SVS. Идем дальше. Теперь рисуем звук!

В серии статей я расскажу для чего и как в системе визуализации звука SVS используется спектрограмма, как выбрать лучшую частоту для анализа даже в шумной среде, расскажу о кейсах, которые мы решили.

Физики под звуком понимают «воспринимаемое слухом физическое явление, порождаемое колебательными движениями частиц воздуха или другой среды». Например, натянутой гитарной струны.

Звук как физическое явление характеризуется тремя параметрами: высотой, силой, звуковым спектром.

Под спектрограммой понимают «изображение, показывающее зависимость спектральной плотности мощности сигнала от времени». Иными словами, спектрограмма – это графическое изображение звука.

Спектрограмму сформировать можно двумя способами: аппроксимировать как набор фильтров или рассчитать сигнал по времени с помощью оконного преобразования Фурье.

Распространенное представление спектрограммы – это двумерная диаграмма: на горизонтальной оси представлено время, по вертикальной оси — частота; третье измерение с указанием амплитуды на определенной частоте в конкретный момент времени представлено интенсивностью или цветом каждой точки изображения. Источники интенсивного звука отображаются красным цветом, а тихие области – темно-синим.

Например, на изображении представлена спектрограмма, полученная при исследовании работы компрессора системой SVS. Один из элементов издавал характерный стук (этот стук видим в виде полосы красного цвета).

Спектрограмма позволяет понимать окружающие звуки. Эта функция может помочь во время поиска неисправности оборудования, а также помочь оптимизировать и улучшить диагностику оборудования. В системе визуализации звука SVS спектрограмма нужна именно для этих целей. Хотите попробовать работу спектрограммы, тогда загляни сюда. В режиме реального времени, звук с микрофона преобразуется (только не забудьте разрешить доступ в браузере), в спектрограмму. При нажатии на спектрограмму приложение воспроизводит звук с соответствующей высотой тона.

Проанализировав спектрограмму аудиофайла можно увидеть хаотичное изображение. Например, профессиональные музыканты с помощью таких изображений анализируют музыку и определяют проблемные места. Открылись новые возможности для стеганографии. В спектрограммы зашифровывают целые изображения. Чем и пользуются некоторые энтузиасты: знаменитый диджей Aphex Twin в качестве секретного послания музыкант встроил в этот трек селфи, проявляющееся на логарифмической спектрограмме.

В следующей статье расскажу, как выбрать частоту для анализа звуковой среды.

Кстати, готова ответить на вопросы, пиши @ni_meleshko.

Если тебе интересно, как у нас в компании Арман дела, то следи тут, в Instagram.

Источник

Русские Блоги

спектр изображений Python

Исследование характеристик двумерной спектрограммы с преобразованием Фурье изображения

1. Сначала сделайте несколько важных выводов:

1. Амплитуда преобразования Фурье называется спектром Фурье или частотным спектром.

2. Нулевое положение F (u) обратно пропорционально ширине W «коробчатой» функции.

3. Теорема о свертке: преобразование Фурье свертки двух функций в пространственной области равно произведению преобразования Фурье двух функций в частотной области. f (t) * h (t) H (u) F (u)

4. Теорема выборки: если выборки получены с частотой дискретизации, в два раза превышающей наивысшую частоту функции, функция непрерывного ограничения полосы частот может быть полностью восстановлена ​​из ее набора выборок.

5. Сильное замешательство может даже вызвать полное непонимание.

6. Наиболее медленно изменяющаяся частотная составляющая (u = v = 0) пропорциональна среднему уровню серого изображения. Термин DC определяет средний уровень серого изображения.

7. Нулевое среднее значение означает, что имеется отрицательная градация серого.В настоящее время изображение не является истинным описанием исходного изображения, поскольку все отрицательные оттенки серого были обрезаны для отображения.

8. Добавление небольшой константы к фильтру высоких частот не повлияет на резкость, но действительно может предотвратить исключение составляющей постоянного тока и сохранить тон.

9. На спектрограмме центральная часть (около средней точки (0,0) УФ-системы координат) представляет низкочастотную часть исходного изображения.

10. Если исходное изображение имеет очень очевидные законы, например, простой узор регулярно смещается и заполняет весь график, то его частотный спектр обычно выглядит как круг ярких пятен вокруг начала координат.

11. Инвертируйте изображение в оттенках серого, и «узор» его спектра не изменится. (Личное понимание: инверсия только переворачивает черный и белый, но не меняет контраст при изменении уровня серого)

12. Если на спектрограмме больше темных точек, реальное изображение будет более мягким (потому что каждая точка не сильно отличается от окружения, а градиент относительно небольшой); наоборот, если на спектрограмме больше ярких точек, то реальное изображение Изображение должно быть четким, с четкими границами и большими различиями в пикселях по обеим сторонам границы.

13. Высокочастотная составляющая объясняет внезапное изменение сигнала, в то время как низкочастотная составляющая определяет общее изображение сигнала.

2. Анализ спектрограмм различных изображений.

1. Все черное изображение-спектрограмма тоже вся черная (Разрешение изображения 240 * 240）

18. Сделайте снимок и проведите различную обработку, а затем посмотрите на их спектрограммы соответственно.

Исходное изображение, обратное изображение, слабое размытие по Гауссу, сильное размытие по Гауссу, среднее серое изображение, обратное среднее серое изображение.

Обработанный код выглядит следующим образом:

Из вышесказанного видно, что после инверсии «узор» спектрограммы изображения не изменяется. Но на самом деле значение меняется. Значения центральных точек (120, 120) на 6 изображениях следующие:

По приведенному выше примеру можно сделать два вывода:

1. Если на изображении есть тонкие полоски, то вдоль направления тонких полосок нет изменения или небольшого изменения значения серого, так что спектрограмма имеет одинвертикальныйЯркая линия тонкой полоски. Это связано с тем, что получение спектрограммы цифрового изображения связано с изменением оттенков серого (градиентом) изображения.

2. Значение центральной точки (120, 120) изображения должно быть связано со средним уровнем серого изображения. В примере 3 (полностью белое изображение) уровень серого не изменяется, поэтому нет изменения частоты. Вся энергия сосредоточена в спектрограмме. В блоке одного белого пикселя в центре его значение составляет 61200 (чем выше разрешение изображения, тем больше предельное значение). В примере 18 значение центральной точки среднего спектра серого изображения составляет 47280, а среднее значение серого инвертировано. Спектр фигуры 13920, а 47280 + 13920 = 61200. Уровень серого для среднего изображения с серой шкалой составляет 198, а уровень серого для инвертированного среднего изображения с серой шкалой составляет 57.

Источник