1.
Трансляция видео в интернете в интернете <ul><li>Макс Лапшин </li></ul><ul><li>[email_address] </li></ul><ul><li>http://erlyvideo.org / </li></ul>

2.
Требования к видео

3.
Требования к видео <ul><li>Получше качество </li></ul>

4.
Требования к видео <ul><li>Получше качество </li></ul><ul><li>Пониже битрейт </li></ul>

5.
Требования к видео <ul><li>Получше качество </li></ul><ul><li>Пониже битрейт </li></ul><ul><li>Поменьше задержка от прямого эфира </li></ul>

6.
Выберите два пункта?

7.
Нет, надо все три

8.
Как уменьшить битрейт, повысив качество? повысив качество?

9.
Улучшение качества и снижение битрейта — вопрос к кодекам

10.
Обратить внимание на: <ul><li>H.264 — MPEG-LA. Платный, с внятной схемой лицензирования. </li></ul><ul><li>VP8 — Google. Обещают свободу от патентов. </li></ul>

11.
Как работает видеокодек?

12.
25 раз в секунду захватывается сырое изображение с матрицы

18.
1 секунда из жизни эмигранта занимает 9 MB сырых кадров

19.
В сжатом виде 20 KB

20.
Видео разрезается на GOP-ы

21.
GOP — Group Of Pictures

22.
В начале GOP-а идет I-Frame

23.
I-Frame — по сути JPEG из сырого кадра

24.
За ним идут P-Frame

25.
Основная магия сжатия в Motion Vector Motion Vector

27.
CPU тратится на вычисление движений в кадре

28.
Нет возможности ускорить аппаратно

29.
Размер кадра снижается с 230KB вплоть до 35 байт

30.
Невозможно перемотать на произвольный кадр

31.
Проблема контейнеров <ul><li>Либо потоковая запись: flv </li></ul><ul><li>Либо перемотка в файле: mp4 </li></ul>

32.
После записи потока требуется постпроцессинг

33.
Оптимальный вариант: паковать в mp4 паковать в mp4

34.
Уменьшение каждого кадра: конфиг декодера

35.
В FLV и VP6 дублирование достигает 25% от кадра

36.
В H.264 это исправлено, вынесением наружу

37.
Поток нельзя воспроизвести без конфига декодера

38.
Мультибитрейт

39.
Один файл/поток кодируется несколько раз

40.
Для деградации потока надо: <ul><li>Что бы совпадали конфиги декодеров у видео разного качества </li></ul><ul><li>Дождаться I-Frame на видеопотоке нужного качества </li></ul><ul><li>Переключить клиента на щадящий битрейт </li></ul><ul><li>Молиться, что бы видеопотоки были синхронизированы </li></ul><ul><li>А как поднять обратно? </li></ul>

41.
Есть изыскания по однократному сжатию с мультибитрейтом

42.
Как же уменьшать задержку?

43.
Источники задержки <ul><li>Задержка кодирования </li></ul><ul><li>Задержка транспорта </li></ul><ul><li>Буфер у клиента </li></ul><ul><li>Декодирование </li></ul>

44.
libx264 умеет отдавать кодированные кадры через 30 мс кадры через 30 мс

45.
Можно играть в игры через видеопоток

46.
В ближайшее время будет использоваться на практике

47.
Пытаются передавать видео по UDP вместо TCP

48.
Голова поворачивается, уши остаются уши остаются

49.
Проблема не-TCP каналов: чем замещать нехватающую информацию? чем замещать нехватающую информацию?

50.
Работающая практика: <ul><li>Звук замещать тишиной </li></ul><ul><li>Видео предыдущим кадром, если есть время на пережатие </li></ul>

51.
Хочется иметь видеокодек, проставляющий QoS метки пакетам

52.
Транспорт в видеотелефонах должен был бы уметь перезапрашивать кадры по UDP

53.
Мало кто умеет

54.
Плотность информации в видеопотоке диктует выбор TCP диктует выбор TCP

55.
Каким транспортом доставлять?

56.
Файлы <ul><li>Самый надежный и простой транспорт </li></ul><ul><li>Нет отчета о доставке и просмотре </li></ul><ul><li>Большая задержка </li></ul><ul><li>Apple HTTP Live Streaming — очень плохой протокол </li></ul><ul><li>Microsoft Smooth Streaming — годный протокол </li></ul>

57.
MPEG-TS <ul><li>Идет со спутника </li></ul><ul><li>Работает без IP сетей </li></ul><ul><li>Может в себе нести что угодно </li></ul><ul><li>Огромные издержки на контейнер: до 25% </li></ul><ul><li>Поддерживает мультикаст </li></ul><ul><li>Используется для IP-TV из-за мультикаста </li></ul>

58.
RTSP <ul><li>Близок к SIP-у (тот же транспорт для контента) </li></ul><ul><li>По сути остался для мобильников </li></ul><ul><li>Ютуб раздает этим протоколом видео на мобильники </li></ul><ul><li>Отмирает </li></ul>

59.
RTMP <ul><li>Дизайн протокола по принципу надстройки курятника </li></ul><ul><li>Закрытый </li></ul><ul><li>Поддерживается флешем </li></ul><ul><li>Основной способ доставить прямую трансляцию в интернете </li></ul><ul><li>Есть наработки по Peer-to-peer: RTMFP </li></ul><ul><li>RTMFP уже взломан, в течении года расползется код </li></ul>

60.
HTML5 <video>

61.
Разброд и шатание

62.
Реалии тега <video> <ul><li>Опера и Firefox не хотят покупать H.264 </li></ul><ul><li>Apple не видит смысла в VP8 </li></ul><ul><li>Гугл пропихивает всем VP8, доставляющийся по WEBM (Matroska) </li></ul><ul><li>Microsoft готов согласиться со всеми </li></ul><ul><li>VP8 ощутимо хуже H.264 </li></ul><ul><li>Остальной IT мир только в процессе миграции на H.264 </li></ul><ul><li>Возможно получится два основных кодека: общий и «для веба» </li></ul>

63.
Что творится на клиенте?

64.
Буферизация видео <ul><li>Сглаживает неравномерность скорости сети </li></ul><ul><li>Увеличивает задержку </li></ul><ul><li>Непросто подобрать размер буфера </li></ul><ul><li>Хорошее правило: буфер размером в GOP </li></ul>

65.
Декодирование <ul><li>Пожалуй, самая развитая часть видеотракта </li></ul><ul><li>Аппаратная поддержка </li></ul><ul><li>Хорошие результаты даже на маломощных телефонах </li></ul>

66.
Что же использовать сегодня <ul><li>Adobe Flash Media Live Encoder или Wirecast для захвата видео в интерактивном режиме </li></ul><ul><li>VLC для транскодирования </li></ul><ul><li>RTMP сервер </li></ul><ul><li>Флеш для доставки пользователю </li></ul><ul><li>HTTP Live Streaming, если есть пользователи с iPad-ами </li></ul><ul><li>RTSP на мобильные телефоны </li></ul>

67.
Проблемы при трансляции <ul><li>Очень сложно выбрать нужный пользователю битрейт </li></ul><ul><li>Сильные флукуации качества канала </li></ul><ul><li>На сервере сложно узнать, видно видео или нет </li></ul><ul><li>Корпоративные прокси мешают RTMP/RTSP </li></ul><ul><li>Комфорт от просмотра живой трансляции гарантированно ниже, чем от скачанных с торрентов фильмов </li></ul>

68.
Выводы <ul><li>Видеокодеки подошли к порогу оптимизируемости живым человеком </li></ul><ul><li>Впереди основательная проработка инфраструктуры: мультибитрейт, QoS и т.п. </li></ul><ul><li>С транспортами видео вавилонское столпотворение: будут развиваться HTTP способы доставки </li></ul><ul><li>Пока что целиковые файлы или поток по RTMP + HLS </li></ul>

69.
Вопросы? <ul><li>Макс Лапшин </li></ul><ul><li>[email_address] </li></ul><ul><li>http://erlyvideo.org / </li></ul>