разбор · кодирование
1.0
из 10
смотреть не обязательно — забрать выжимку и пункты
оценка машинная и частично зависит от длины ролика — спорите, открывайте оригинал
Кодирование информации: префиксные коды и неравенство Крафта
10 Hamming, Learning to Learn: Coding Theory I, 18 April 1995
Лекция Хэмминга о кодировании: как представлять информацию в бинарном виде, бороться с шумом и строить эффективные коды. Вводит понятия уникальной и мгновенной декодируемости, неравенство Крафта, обсуждает разницу между информацией и идеями.
Лекция Хэмминга о кодировании: как представлять информацию в бинарном виде, бороться с шумом и строить эффективные коды. Вводит понятия уникальной и мгновенной декодируемости, неравенство Крафта, обсуждает разницу между информацией и идеями.
что из этого моё
Прямой связи с моей работой нет, но принципы кодирования (префиксные коды, неравенство Крафта) могут быть полезны при проектировании эффективных промптов или форматов данных для LLM, чтобы минимизировать длину и однозначно размечать структуру.
Тезисы ролика
применимого к своей работе линза здесь не нашла
▸Используйте префиксные коды (ни один код не является префиксом другого) для уникальной и мгновенной декодируемости.
▸Проектируйте коды с учетом вероятностей символов: частые символы — короткие коды, редкие — длинные (как азбука Морзе).
▸Проверяйте неравенство Крафта: сумма 2^(-длина кода) ≤ 1. Если строго меньше 1, код можно улучшить (укоротить или добавить символ).
▸Включайте символ окончания (exit symbol) в код, чтобы знать, когда завершить декодирование.
о чём говорят, по времени
главы доводят до 35:32 · дальше по ролику меток нет
01
Введение в теорию информации00:18 ↗
Хэмминг объясняет модель передачи информации: источник, кодирование, канал с шумом, декодирование.
02
Коды переменной длины09:02 ↗
Обсуждаются коды переменной длины, как азбука Морзе, и проблема уникальной декодируемости.
03
Неравенство Крафта15:33 ↗
Формулируется и доказывается неравенство Крафта для существования уникально декодируемого кода.
04
Доказательство необходимости26:57 ↗
Доказывается, что для уникальной декодируемости неравенство Крафта должно выполняться.
05
Информация и идеи35:32 ↗
Хэмминг рассуждает о различии между информацией и идеями, о том, что идеи не передаются словами.