Este documento describe los protocolos y servicios multimedia para comunicaciones en tiempo real como VoIP y videoconferencia. Explica protocolos como SIP, RTP, RTCP y XMPP que permiten la integración de voz, video, mensajería instantánea y otros servicios. También analiza plataformas como Asterisk y Second Life, y conceptos como presencia, identidad y mundos virtuales.

1. Aplicaciones y Servicios Multimedia Joaquín Salvachúa Antonio Fumero

2. Guión Real-time Transport Protocol Session Initiation Protocol Mensajería SIP/SIMPLE Mensajería XMPP

3. Integración Integración de VoIP con: Web Email Presencia y mensajería instantánea Chats textuales Juegos Interactivos Telefonía por Internet Comunicaciones interactivas Web Juegos Email Presencia IM Chat voz video

4. Necesidad Azar y necesidad: Aparecen redes de banda ancha por aplicaciones Aparecen nuevas aplicaciones que utilizan redes de banda ancha. Concepto de “ killer application ” superado: Killer Cocktail No hay aplicaciones que sustituyen totalmente a todas Teoria del TAMBIÉN .

5. Real-time Transport Protocol (RTP)

6. Problemas TCP servía para todo excepto: Envío de audio Envío de vídeo Envío de información en tiempo real. Enfoque adaptativo no es suficiente

7. ¿Un protocolo nuevo? TCP necesita retransmisión Necesidad de vencimiento de temporizador Puede que la información retransmitida sea demasiado antigua. UDP no tiene confirmación ni datos sobre el contenido: No existe concepto de calidad de servicio (QoS).

8. Dos protocolos RTP Encapsulación de trafico en tiempo real RTCP Protocolo de reserva y garantía de calidad de servicio a determinados flujos RTP. Necesidad de garantías en todo el recorrido. Parte de un esquema mayor a nivel global.

9. Arquitectura

10. Objetivos El protocolo No garantiza nada, solo ofrece las facilidades necesarias para hacerlo. No esta asociado con ninguna aplicación concreta. Necesidad de una descripción de : Perfil de tráfico. Formato de codificación.

11. Objetivos Ligero: Implementación simple. Flexible: No indica algoritmos Neutral frente transporte Escalable: Unicast, multicast, broadcast Separación de datos y control Seguro: posibilidad de encriptación y autenticación.

12. Características Datos Temporización Detección de perdidas Etiquetado de contenidos Control Realimentación de QoS Estimación de miembros y detección de bucles.

13. Funcionalidad Segmentación realizada por UDP ó IP Re-secuenciación de paquetes. Detección de perdidas para estimación posterior. Sincronización entre media Sincronización labios y control de retrasos Realimentación de QOS y Velocidad Identificación de la fuente.

14. Posibles piezas Mezcladores Un flujo a partir de múltiples. Reduce el ancho de banda. Aparece como una nueva fuente. Traducciones Codificación de un solo media. Puede ser translación de protocolo (firewall) Cambio de codificación (ancho de banda).

15. Cabecera RTP Payload type: Tipo de media contenido SSRC: indicación de sincronización sequence number: ++ para detectar perdidas. P: padding (for encryption) M: marker bit; Indica comienzo de frame para delay. CC: content source count (for mixers) CSRC: lista de identificadores en mezclas.

16. Temporización en RTP Incrementado en 1 por cada muestra (e.g. 160 for 20 ms packets @ 8000 Hz) Comienzo aleatorio Velocidad constante para el audio (e.g. 8000 Hz for PCM-law, 44100 Hz for linear, 16-bit, 90 kHz for video) Múltiples imágenes de vídeo pueden tener el mismo (en silencios).

17. Típico : UDP, sin puerto fijo; RTCP port = RTP port (par) + 1 Típicamente el paquete de UDP esta limitado a unos cientos de bytes (OS, network, fragmentación) Necesidad de minimizar descarte y congestón. RTP en una red

18. RTCP ancho de banda Cada participante envía un paquete RTCP para que se sepa quienes están escuchando. Ancho de banda de la sesión: Audio N * flujos de video.

19. Sincronización entre flujos Necesidad de establecer sincronización entre múltiples flujos (vídeo, audio, transparencias). Necesidad de correlar los tics con tiempo real (depende de envío de temporizaciones aleatorias). Correlarlas con la generación de muestras.

20. RTCP Paquetes almacenables (similares a datos). sender report (SR): bytes enviados y velocidad. reports (RR): Jitter, Round-trip delay, perdidas. source description (SDES): nombre, email, localización CNAME (canonical name = user@host) explicit leave (BYE): para conocer quienes estan. extensions (APP): definidos por la aplicación (aún ninguno)

21. Referencias RTP: A Transport Protocol for Real Time Applications http://www.ietf.org.internet-drafts/draft-ietf-avt-rtp-new-02.txt RTP Profile for Audio and Video Conferences with Minimal Control http://www.ietf.org.internet-drafts/draft-ietf-avt-profile-new-04.txt The RTP specification is a product of the Audio Video Transport (AVP) http://www.ietf.org/html.charters/avt-charter.html . http://www.cs.columbia.edu/~hgs/rtp/faq.html

22. SIP como protocolo para los servicios multimedia del futuro

23. Requisitos Latencia BW VR NFS/SMB HD videoconf VideoConf MM-IM Text-IM Calendar DBMS Web VoD HD-VoD Email

24. Visión General H.323 MGCP/Megaco SDP TCP SIP UDP RTP RSVP RTSP Media encaps (H.261,MPEG) IPv4,IPv6 PPP Sonet AAL3/4 AAL5 ATM Ethernet PPP V.34 Physical link network transport Signaling Quality of Service reservation Media transport kernel Application daemon

25. SIP, H.323 y MGCP RTCP RTP IP MGCP MEGACO Control de la llamada Señalización Flujos multimedia Media H.225 Q.931 H.323 TCP RAS UDP SIP H.245 Audio/ Video RTSP

26. Arquitectura Terminal : Dispositivo final del usuario. Gateway: Traductor entre mundos no H.323 Gatekeeper: Gestión de una zona, identificación y recursos. MCU : Control y flujos multiusuario.

27. Protocolos Endpoint Gatekeeper Endpoint Gatekeeper RAS RAS Signalling (Q.931) H.245 RTP/RTCP Q.931/ H.245 Q.931/H.245 Q.931/ H.245 Annex G Gatekeeper Routed Signaling Direct Routed Signaling

28. Aplicaciones

29. Terminal Video I/O Equipment Audio I/O Equipment User Data Applications T.120, etc System Control User Interface Video Codec H.261, H.263 Audio Codec G.711, G.722 G.723, G.728 G.729 Receive Path Delay (jitter buffer) H.225.0 Layer Local Area Network Interface Call Control H.225.0 H.245 Control RAS Control H.225.0 System Control

30. SIP: Session Initiation Protocol Estándar del IETF (RFC 3261) Protocolo genérico de establecimiento de sesiones multimedia. Interoperabilidad con anteriores VoIP. Diseñado específicamente para IP e Internet: similar a HTTP. Permitirá la aparición de nuevos servicios y aplicaciones Escalable y flexible Bajo coste de establecimiento de llamada.

31. Protocolos de tiempo real ( IETF ) Control de flujos y sesión: SIP, RTSP Descripción de los flujos: SDP Transporte de datos t. Real: RTP / RTCP Reserva de recursos (QoS): RSVP / DiffServ

32. Direccionamientos @ La dirección SIP es similar a la de correo No tiene porque ser IP: [email_address] . Por ejemplo, son URL: sip:hostname@vovida.org sip:hostname@192.168.10.1 sip:14085551212@vovida.org

33. Componentes SIP Agentes de Usuario: Cliente que inicia las llamadas Mod o cliente y servidor. Servidores Proxy: Statefull : Con estado Stateless : Sin estado. Redirect Registration Proxy Server Redirect Server Registration Server Proxy Server UAS UAC

34. Es de Igual a Igual Peer-to-Peer SIP Components User Agent User Agent

35. Un sistema típico Redirect Server Location Server Registrar Server User Agent Proxy Server Gateway PSTN SIP Components Proxy Server

36. Despliegue SIP SIP proxy, redirect server SQL database sipd e*phone sipc Software SIP user agents Hardware Internet (SIP) phones SIPH.323 convertor NetMeeting sip323 H.323 rtspd SIP/RTSP Unified messaging RTSP media server sipum Quicktime RTSP clients RTSP SIP conference server sipconf T1/E1 RTP/SIP Telephone Cisco 2600 gateway Telephone switch Web based configuration Web server

37. Similar a HTTP

38. Mensajes SIP SIP Requests: INVITE – Initiates a call by inviting user to participate in session. ACK - Confirms that the client has received a final response to an INVITE request. BYE - Indicates termination of the call. CANCEL - Cancels a pending request. REGISTER – Registers the user agent. OPTIONS – Used to query the capabilities of a server. INFO – Used to carry out-of-bound information, such as DTMF digits. SIP Responses: 1xx - Informational Messages. 2xx - Successful Responses. 3xx - Redirection Responses. 4xx - Request Failure Responses. 5xx - Server Failure Responses. 6xx - Global Failures Responses.

39. SIP / SIMPLE – Presencia Nueva entidad: Presence Agent Entidad lógica Conoce el estado del usuario Recibe peticiones SUBSCRIBE Genera respuestas NOTIFY Co-located with proxy/registrar or User Agent

40. Señalización SIP

41. Jabber Protocolo abierto basado en XML Control de presencia Mensajería instantánea Extensible Seguro Distribuido Descentralizado

42. Jabber (2) Distintas implementaciones servidor de mensajería instantánea

43. XMPP

44. Cluster XMPP

45. Comunicación XMPP

46. Asterisk Centralita PBX completa Trabaja con la mayoría de protocolos VoIP Soporta VoiceMail, IVR, perfiles de usarios (contexto,…) Teléfonos SIP sin necesidad de licencia Ampliamente documentado Extensible (Seguridad ZRTP, SRTP,…)

47. Flash Maquina virtual en cada navegador. Similar a java. Mas especializado. Mayor integración con los SO. Flex : modelo C-S para app. distribuidas.

48. FLV Flash Video Format http://osflash.org/flv

49. RTMP

50. RTMP RTMP protocolo para enviar, en tiempo real, objetos, vídeo y audio usando una conexión TCP o HTTP. Es un contenedor de paquete de datos de AMF, audio o FLV. Una conexión puede multiplexar diversos canales. Similar al SIP-Trunking o IAX2.

51. Tipos de datos 0×01 Chunk Size changes the chunk size for packets 0×02 Unknown anyone know this one? 0×03 Bytes Read send every x bytes read by both sides 0×04 Ping ping is a stream control message, has subtypes 0×05 Server BW the servers downstream bw 0×06 Client BW the clients upstream bw 0×07 Unknown anyone know this one? 0×08 Audio Data packet containing audio 0×09 Video Data packet containing video data 0x0A - 0xE Unknown anyone know? 0x0F Flex Stream Stream with variable length 0×10 Flex Shared Object Shared object with variable length 0×11 Flex Message Shared message with variable length 0×12 Notify an invoke which does not expect a reply 0×13 Shared Object has subtypes 0×14 Invoke like remoting call, used for stream actions too.

52. Conexión HTTP RTMPT basically is a HTTP wrapper Usa POST de cliente a servidor. RTMPT requires the clients to poll for updates periodically in order to get notified about events that are generated by the server or other clients.

53. Mundos virtuales

54. Cyberspacio Metaverso Del ciberespacio al metaverso 1984 1992

55. MATRIX ¿Cambio de metáfora?

56. Second first – Life is life

57. HTTP cHTTP – certified HTTP REST LSL – Linden Scripting Language LLSD – Linden Lab Structured Data Elementos básicos http://wiki.secondlife.com/wiki/Main_Page

58. Funcionamiento ..Each "sim" or simulator of a portion of the virtual world in Second Life is created on a server running Debian GNU/Linux , Apache , Squid and MySQL ; currently there are several thousand of these PC boxes. To allow for fast response times, the virtual world is sent not as pixels or even as a mesh, but as a series of 3D primitives - "prims". The Second Life client creates the world by converting the stream of information about prims and their position into a visual representation...

59. Arquitectura Grid http://wiki.secondlife.com/wiki/Main_Page

60. Dominios separados http://wiki.secondlife.com/wiki/Main_Page

61. Escalabilidad http://wiki.secondlife.com/wiki/Main_Page

62. Multiversos

63. Identidad

64. Laws of identity http://www.identityblog.com/stories/2004/12/09/thelaws.html User Control and Consent. Technical identity systems must only reveal information identifying a user with the user’s consent Minimal Disclosure for a Constrained Use. The solution that discloses the least amount of identifying information and best limits its use is the most stable long-term solution. Justifiable Parties. Digital identity systems must be designed so the disclosure of identifying information is limited to parties having a necessary and justifiable place in a given identity relationship. Directed Identity. A universal identity system must support both “omni-directional” identifiers for use by public entities and “unidirectional” identifiers for use by private entities, thus facilitating discovery while preventing unnecessary release of correlation handles. Pluralism of Operators and Technologies. A universal identity system must channel and enable the inter-working of multiple identity technologies run by multiple identity providers Human Integration. The universal identity metasystem must define the human user to be a component of the distributed system integrated through unambiguous human-machine communication mechanisms offering protection against identity attacks. Consistent Experience Across Contexts. The unifying identity metasystem must guarantee its users a simple, consistent experience while enabling separation of contexts through multiple operators and technologies.

65. mIDm http://www.downes.ca/cgi-bin/page.cgi?post=32667 A user tries to access a page on a service to which a login is required. The service obtains the user's mIDm server location from the user's browser header The service redirects the user to the user's mIDm server along with a secret code The user logs on to the mIDm server (typically using cookies) and stores the secret code on the mIDm server The mIDm server returns the user to the service The service then independently checks the mIDm server to see whether the code has been stored The mIDm server returns the code and requested user information to the service On receiving the code, the service is satisfied, and proceeds to log in the user

66. OpenID – ¿Qué es? OpenID es un mecanismo de SSO distribuido Es un URI antoniofumero.myopenid.com https://irss.dit.upm.es/move/users/amfumero

67. OpenID – Elementos Identity provider Relying party End user / user agent

68. OpenID – ¿Cómo funciona?

69. OpenID – Elementos Identity provider Relying party End user / user agent

70. I4U – Mobile 2.0

75. SPAIN IS DIFFERENT