про FLAC

Безотносительно к обсуждению, просто столкнулся с интересным фактом: сжал 21 мегабайт wav-файлов в 43-килобайтный RAR-архив:

http://www.fmpro.ru/mediafiles/time_beeps.rar

Ну, начнем по порядку.
В каком именно из 24-битных форматов записаны файлы?
Целочисленный или float (24bit float - это редкий формат, но иногда
встрачается)?
C паддингом?
- когда на семпл уходит 32бита для соответствия размеру машинного
слова (4 байта), из которых 24бита значмые а остальные 8 - нет;
Или без паддинга?
- чистые 24 бита, т.е. каждые посладователно идущие 3 байта
приходится на семпл.
Попытаемся выяснить из исходных данных:
Есть файл 60 секунд на 15 876 044 байт.
Cтандартный заголовок wav файла - как минимум 44 байта.
60 * 44100 - имеем 2646000 семплов.
Поделим размер файла без заголовка (15 876 000 байт) на 2646000
семплов,
имеем ровно 6 байт на семпл. Это означает что файл был стерео (!),
т.е. 2 канала
чистых 24 бита. Предположим, что фомат целочисленный.
Теперь шум. Файлы были стерео. А шум? Если шум был моно, то
результаты "идеального" сжатия должны быть не хуже чем 50% (т.к.
информация в обеих каналах повторяется).
Итак, предположим что шум в обоих каналах независимый, т.е. шум
стерео.
Классичекие алгоритмы архиваци общего назначения рассматривают
исходный файл как поток
байтов или машинных слов. Т.е. они "не знают" что там есть семплы,
особенно если размер семпла - 3 байта. Они будут строить словари из
наиболее часто повторющих байтовых последовательностей. И тут говорить
о распределениях и спектре исходного сигнала - безполезно, т.к. речь
должна идти о распределении значений и энтропии, скажем, на уровне
одного байта, а не семпла. Но и там есть какая-то зависимость (ведь
количество информации не меняется в зависимости от формы).
FLAC призван быть аудио архиватором и скорее всего распознает формат
звуковых файлов и рассматривает аудио информацию на уровне значений
семплов, а не байтов в них. Здесь, распределения о которых шла речь
должны заиграть в явном виде.
Белый шум - последовательность равномерно (uniform) распределенных и
не кореллируруемых значений. Теоретически, в чистом виде сжатся без
потерь не может, т.к. энтропия такого сигнала максимальна (т.е. такой
полностью заполняет канал при 0dBFS).
Броуновский шум
- по созвучию называется "коричневым", но ничего общего с коричневым
не имеет - его природа Броуновское движение :). Может быть получен
интеграцией (читай: последовательным суммированием) белого шума. В
этом случае значения становятся нормально распределенными (по Гауссу),
и появляется автокорелляция, т.е. возможность "предсказать" следующее
значение по предыдущим. Но такого рода предскзание - не
детерминированное, поэтому при сжатии без потерь смысла не имеет.
Наличе автокорелляции процесса отражается соответстующим "не белым"
спектром. Никаких формант, резонансных и периродическрх процессов нет.
Гауссовость распределения говорит о том, что сигнал можно более
рационально "уплотнить" по амплитуде. Например, продифиренцировав
такой сигнал (вычислив первую разность между двумя соседними семплами)
мы (опять!) получим белый шум, но существенно меньшей амплитуды.
Меньшая амплитуда для целочиесленного формата - меньшая энтропия, а
значит - можно упаковать сигнал используюя меньше бит на семпл без
потерь.
Розовый шум
- не вдаваясь в подробности, имеет Гауссовское распределение как и
Броуновский, но отличную автокорелляционную функцию. Следовательно,
тоже сущесвтует "упаковка" позволяющая
уменьшить энтропию, но гораздо меньшая т.к громкость (т.е.
спектральное заполнение) намного больше чем у Броуновского.
А теперь практика!
Пытаюсь воспроизвести эксперимент:
Генерирую 60 белого, коричневого и розового шума, независимо (!) в
каждом из каналов,
44100. Использовал Cool Pro, выбрал опцию "independent channels".
Нормализую под 0dbFS.
Сохраняю в целочисленном упакованном 24bit-ном формате wav.
Размер до сжатия: 15 876 044 (совпадает)
Жму RAR-ом (лень идти искать FLAC), сжатие максимальное, все
настройки по умолчанию, словарь 4096к.
Размеры после сжатия:
Белый - 15 328 150 (99%)
Розовый - 15 285 971 (чуть лучше, но всеравно %99)
Броуновский - 12 986 938 (82%)
Сомневаюсь, что FLAC покажет существенно лучший результат, т.к.
белый шум действительно не жмется! Кто еще не верит, может проделать
эксперименты сам.
Мой результат с теорией совпадает, а с изложеннием в начале поста -
нет. :-0
Где глюк?

Hello, Kirill!
You wrote on Fri, 3 Apr 2009 17:08:57 +0400:

KVT> Коэффициент сжатия соответственно получился соответственно:
KVT> 0.626 , 0.93 и 0.824

KVT> Что мы имеем? Лучше всего пожался белый шум ))) На втором месте
KVT> коричневый
KVT> шум. И наихудшие результаты у розового шума.

KVT> Для сравнения, архивация в RAR дала немного худшие коэффициенты, но
KVT> закономерность та-же.

KVT> 0.67 0.99 и 0.891

А всё просто - лосслесс архиваторы работают по принципу сокращения длины
наиболее часто употребляемых битовых последовательностей. Ну, скажем, можно
откидывать незачащие ноли "сверху" в отсчётах с малой амплитудой.
Таким образом сжатие возможно для сигналов с ненулевым матожиданием - только
и всего. Чем более детерминирован сигнал - тем лучше жмётся...

Чао!