RabbitMQ y Symfony

Agenda
• Introducción a RabbitMQ
• RabbitMQ y Symfony
• Rabbit en la vida real
• Problemas

Quien Soy
• CTO en chicplace.com
• Apasionado de la Web
• 8 años en PHP
• Whovian y Aerotrastornado

¿Que es RabbitMQ?
• Sistema de mensajería
• Implementa AMQP
• Robusto
• Facil de Usar

Mensajes
• Body
• Body es lo que nosotros
decidamos (json/serialize/
binario/txt…)
• Header:
• Info para el broker
• Info para la aplicación

Mensajes
• Body
• Body es lo que nosotros
decidamos (json/serialize/
binario/txt…)
• Header:
• Info para el broker
• Info para la aplicación
Header
Content type
Content Encoding
Routing key
Delivery Mode
Message Priority
Message publishing timestamp
Expiration period
App Id
Body
{
"id": 0,
"guid":
"2cbe2352-6d0e-430b-8faf-122eea44ebf3",
"isActive": false,
"balance": "$3,243.34",
"picture": "http://placehold.it/
32x32",
"age": 25,
"eyeColor": "blue",
"name": "Lawanda Serrano",
"gender": "female",
"company": "ELEMANTRA",
"email":
"lawandaserrano@elemantra.com",
"phone": "+1 (827) 534-2331”
}

Colas
• Mensajes esperan a ser consumidos
• FIFO
• Persistente
• Exclusiva
• Autoborrado
• Round Robin

Exchanges
• Donde se envían mensajes
• Enrutar
• Tipos:
• Direct
• Fanout
• Topic
• Autoborrado

Direct Exchange
• Una cola C se subscribe a un
exchange con la clave X
• Nuevo mensaje con la clave Y
• Si X = Y enrutar a cola C

Fanout Exchange
• El exchange enrutará el
mensaje a todas las colas
subscritas

Topic Exchange
• Un mensaje es enrulado a
una o varias colas
dependiendo de un match
con un patrón.
https://access.redhat.com/site/documentation/en-US/Red_Hat_Enterprise_MRG/1.1/html/Messaging_User_Guide/chap-Messaging_User_Guide-
Exchanges.html

Persistencia
• ¿Que pasa cuando palma?
• Podemos guardar en disco la estructura
• Podemos guardar en disco los mensajes
• Si guardamos los mensajes debemos guardar la
estructura

https://www.youtube.com/watch?v=G1UKDccxj00

Saber Más
http://www.rabbitmq.com/

Saber Más
http://www.slideshare.net/old_sound

Saber Más
http://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf

Saber Más
http://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf
http://wedevelopers.com/2014/06/23/we-developers-034-rabbitmq/

https://www.youtube.com/watch?v=jxTngPDNqk8

RabbitMQ y Symfony
• RabbitMQBundle (https://github.com/videlalvaro/rabbitmqbundle)

RabbitMQ y Symfony
• Basado en PhpAmqpLib

RabbitMQ y Symfony
• Creación de Consumidores/Productores sencilla.

RabbitMQ y Symfony
• Conﬁguración de rabbit sencilla.

RabbitMQ y Symfony
• No excesivamente estable. Nuevas funcionalidades constantes

RabbitMQ y Symfony
• PhpAmqpLib (https://github.com/videlalvaro/php-amqplib)

RabbitMQ y Symfony
• La libreria de referencia.

RabbitMQ y Symfony
• La libreria de referencia.
• No te da muchas facilidades

RabbitMQ y Symfony
composer require oldsound/rabbitmq-bundle:1.3.*
Instalación
<?php 
public function registerBundles() 
{ 
$bundles = array( 
new OldSoundRabbitMqBundleOldSoundRabbitMqBundle(), 
); 
 
return $bundles; 
}

old_sound_rabbit_mq:
connections:
default:
host: 'localhost'
port: 5672
user: 'guest'
password: 'guest'
vhost: '/'
lazy: true
producers:
make_thumbnail:
connection: default
exchange_options:
name: 'make-thumbnail-exchange'
type: direct
durable: true
auto_delete: false
consumers:
make_thumbnail:
connection: default
exchange_options:
type: direct
durable: true
auto_delete: false
queue_options: {name: 'make-thumbnail-queue',durable: true}
callback: solilokiam.rabbitmq.make_thumbnail_consumer
RabbitMQ y Symfony
Conﬁguración

connections:
default:
host: 'localhost'
port: 5672
user: 'guest'
password: 'guest'
vhost: '/'
lazy: true
producers:
make_thumbnail:
connection: default
exchange_options:
name:
type: direct
durable: true
auto_delete: false
consumers:
make_thumbnail:
connection: default
exchange_options:
name:
type: direct
durable: true
auto_delete: false
queue_options: {
RabbitMQ y Symfony
Conﬁguración
old_sound_rabbit_mq:!
connections:!
default:!
host: 'localhost'!
port: 5672!
user: 'guest'!
password: 'guest'!
vhost: '/'!
lazy: true

connections:
default:
host: 'localhost'
port: 5672
user: 'guest'
password: 'guest'
vhost: '/'
lazy: true
producers:
make_thumbnail:
connection: default
exchange_options:
name:
type: direct
durable: true
auto_delete: false
consumers:
make_thumbnail:
connection: default
exchange_options:
name:
type: direct
durable: true
auto_delete: false
queue_options: {
RabbitMQ y Symfony
Conﬁguración
producers:
make_thumbnail:
connection: default
exchange_options:
type: direct
durable: true
auto_delete: false

connections:
default:
host: 'localhost'
port: 5672
user: 'guest'
password: 'guest'
vhost: '/'
lazy: true
producers:
make_thumbnail:
connection: default
exchange_options:
name:
type: direct
durable: true
auto_delete: false
consumers:
make_thumbnail:
connection: default
exchange_options:
name:
type: direct
durable: true
auto_delete: false
queue_options: {
RabbitMQ y Symfony
Conﬁguración
consumers:
make_thumbnail:
connection: default
exchange_options:
type: direct
durable: true
auto_delete: false

RabbitMQ y Symfony
protected function execute(InputInterface $input, OutputInterface $output)
{
$width = $input->getOption('width')?$input->getOption('width'):300;
$height = $input->getOption('height')?$input->getOption('height'):300;
!
$finder = new Finder();
$finder
->files()
->name('*.jpg')
->name('*.png')
->name('*.gif')
->in($input->getArgument('origin'));
!
foreach($finder as $file)
{
$messageArray = array(
'original_image_path' => $file->getRealPath(),
'destination_image_path' => $input->getArgument('destination').'/'.$file->getFileName(),
'width' => $width,
'height' => $height
);
!
$this->getContainer()->get('old_sound_rabbit_mq.make_thumbnail_producer')
->setContentType('application/json')
->setDeliveryMode(2)
->publish(json_encode($messageArray));
}
}

RabbitMQ y Symfony
protected
{
$width
$height
!
$finder
$finder
!
foreach
{
);
!
}
}
$this->getContainer()
->get('old_sound_rabbit_mq.make_thumbnail_producer')
->setContentType('application/json')
->setDeliveryMode(2)
->publish(json_encode($messageArray));

https://www.youtube.com/watch?v=zadD8X9MtUg

RabbitMQ y Symfony
Consumidor
class MakeThumbnailConsumer implements ConsumerInterface
{
public function execute(AMQPMessage $msg)
{
$data = json_decode($msg->body);
$imagine = new Imagine();
try
{
$imagine->open($data['original_image_path'])
->resize(new Box($data['width'],$data['height']))
->save($data['destination_image_path']);
} catch(Exception $e) {
return false;
}
return true;
}
!
}

RabbitMQ y Symfony
app/console rabbitmq:consumer make_thumbnail
app/console rabbitmq:consumer make_thumbnail -m 10
app/console rabbitmq:consumer make_thumbnail -l 256
app/console rabbitmq:consumer make_thumbnail -w
app/console rabbitmq:purge --no-conﬁrmation make_thumbnail

¿Para que sirve RabbitMQ?
• Procesos en batch.
• Desacoplar.
• Eventos asíncronos
• Logs

Velocidad
• Los productores producen a más velocidad de la que
los consumidores son capaces de consumir.
• Las colas se llenan
• Optimiza el consumidor• Arranca más consumidores
Problema
Solución

Diferencias de Velocidad
Problema
• Sobre la misma cola un consumidor procesa más
mensajes que el otro.
• Un consumidor acaba ocioso y el otro tiene mensajes
pendientes

http://www.cloudamqp.com/

Causa
• Algoritmo de round robin de las colas.

Causa
Mensaje1
Mensaje2
Mensaje3
Mensaje4
Mensaje5
Mensaje6
Productor

Causa
Mensaje1
Mensaje2
Mensaje3
Mensaje4
Mensaje5
Mensaje6
Productor
Mensaje1
Mensaje3
Mensaje5
Consumidor 1
Mensaje2
Mensaje4
Mensaje6
Consumidor 2

Solución
• channel.basic_qos(prefetch_count=1)

Solución
• channel.basic_qos(prefetch_count=1)
consumers:
make_thumbnail:
connection: default
exchange_options:
type: direct
durable: true
auto_delete: false
qos_options: {prefetch_size=0, prefetch_count: 1, global: false}

Pierdo la conexión
Problema
• RabbitMQ cierra la conexión TCP cada x minutos.
• Mi consumidor se queda colgado

Pierdo la conexión
• Hacer que el consumer muera al cabo de un tiempo de
inactividad.
consumers:
make_thumbnail:
connection: default
exchange_options:
type: direct
durable: true
auto_delete: false
idle_timeout: 60

Pierdo la conexión
Solución
• Hacer que el consumer muera al cabo de un tiempo de
inactividad.
consumers:
make_thumbnail:
connection: default
exchange_options:
type: direct
durable: true
auto_delete: false
idle_timeout: 60

Problemas de comunicación
Problema
• El formato de mensajes producidos no es entendido
por los consumidores.
• El formato de los mensajes cambia.

https://www.youtube.com/watch?v=9ITVzXB2DWY

Solución
• Documentación/Comunicación/Normas
• Introducir un traductor de mensajes

{
try
{
$makeThumbnailMsg = $this->translator($msg);
$imagine = new Imagine();
$imagine->open($makeThumbnailMsg->getOriginalImagePath())
->resize(new Box($makeThumbnailMsg->getWidth(),$makeThumbnailMsg->getHeight()))
->save($makeThumbnailMsg->getDestinationImagePath());
} catch(Exception $e) {
return false;
}
!
return true;
}

class MakeThumbnailTranslator implements TranslatorInterface
{
public function translateMessage($message)
{
$data = json_decode($message->body,true);
!
if(json_last_error() !== JSON_ERROR_NONE)
{
throw new Exception('WrongMessage');
}
!
$makeThumbnailMessage = new MakeThumbnailMessage();
$makeThumbnailMessage->setOriginalImagePath($data['original_image_path']);
$makeThumbnailMessage->setDestinationImagePath($data['destination_image_path']);
$makeThumbnailMessage->setWidth($data['width']);
$makeThumbnailMessage->setHeight($data['height']);
!
return $makeThumbnailMessage;
}
!
}

La importancia del orden
Problema
• Los mensajes han de ser consumidos en el mismo
orden que se han publicado.
• Quiero tener mas de un consumer para dar velocidad.

Solución
• Sección 4.7 protocolo AMQP: […]Specifically,
contents flowing through a single path within the
server will remain ordered For contents of a given
priority flowing through a single path, we define a
content processing path as consisting of one incoming
channel, one exchange, one queue, and one outgoing
channel.

Solución
Un consumer y punto

Organización
Problema
• Múltiples tipos de mensaje.
• Múltiples signiﬁcados.
• Muchos consumers vs. Un consumer
• Muchos Exchanges vs. Un exchange

Organización
Solución
• Organizar los exchanges por aﬁnidad.
• Una cola por exchange (direct o fanout)
• Todos los mensajes al mismo consumer
• Filtramos por type
public function execute(AMQPMessage $message)
{
if (!array_key_exists($message->get('type'), $this->workers)) {
return false;
}
!
return $this->workers[$message->get('type')]->doWork($message->body);
}

Organización
Solución
• Organizar los exchanges por aﬁnidad.
• Utilizar el routing de RabbitMQ
• Un consumer por tipo de mensaje
• Una cola por tipo de mensaje

multiple_consumers:
make_thumbnail:
connection: default
exchange_options:
type: direct
durable: true
auto_delete: false
queues:
make_thumbnail_video:
name: make-thumbnail-video
callback: solilokiam.rabbitmq.make_thumbnail_video
routing_keys:
- video
make_thumbnail_picture:
name: make-thumbnail-picture
callback: solilokiam.rabbitmq.make_thumbnail_picture
routing_keys:
- picture
make_thumbnail_log:
name: make-thumbnail-log
callback: solilokiam.rabbitmq.make_thumbnail_log
Organización
Solución

multiple_consumers:
make_thumbnail:
connection: default
exchange_options:
type: direct
durable: true
auto_delete: false
queues:
make_thumbnail_video:
name: make-thumbnail-video
callback: solilokiam.rabbitmq.make_thumbnail_video
routing_keys:
- video
make_thumbnail_picture:
name: make-thumbnail-picture
callback: solilokiam.rabbitmq.make_thumbnail_picture
routing_keys:
- picture
make_thumbnail_log:
name: make-thumbnail-log
callback: solilokiam.rabbitmq.make_thumbnail_log
Organización
Solución
composer require oldsound/rabbitmq-bundle:dev-master
app/console rabbitmq:multiple-consumer make_thumbnail

¿Donde esta la respuesta?
Problema
• Necesito una respuesta a los mensajes que lanzo.
• Quiero poder paralizar las llamadas.
• Lo quiero hacer con RabbitMQ.

Solución
rpc_clients:
string_reverser:
connection: default
rpc_servers:
string_reverse:
connection: default
callback: solilokiam.rabbitmq.string_reverser
qos_options: {prefetch_size: 0, prefetch_count: 1, global: false}

class StringReverser implements ConsumerInterface
{
protected $translator;
!
function __construct(TranslatorInterface $translator)
{
$this->translator = $translator;
}
!
{
$stringReverseMessage = $this->translator->translateMessage($msg);
!
return strrev($stringReverseMessage->getString());
}
!
}

class StringReverser implements ConsumerInterface
{
protected $translator;
!
function __construct(TranslatorInterface $translator)
{
$this->translator = $translator;
}
!
{
$stringReverseMessage = $this->translator->translateMessage($msg);
!
return strrev($stringReverseMessage->getString());
}
!
}
app/console rabbit:rpc-server string_reverse

{
$reversableString = $input->getArgument('reversable_string');
!
$message_array = array(
'string' => $reversableString
);
!
$requestIdentifier = microtime();
!
$client = $this->getContainer()->get('old_sound_rabbit_mq.string_reverser_rpc');
$client->addRequest(json_encode($message_array),'string_reverse',$requestIdentifier);
!
$replies=$client->getReplies();
!
$output->writeln($replies);
}

{
$reversableString = $input->getArgument('reversable_string');
!
$message_array = array(
'string' => $reversableString
);
!
$client = $this->getContainer()->get('old_sound_rabbit_mq.string_reverser_rpc');
!
$requestIdentifier = microtime();
!
$client->addRequest(json_encode($message_array),'string_reverse',$requestIdentifier);
!
$requestIdentifier2 = microtime();
!
$client->addRequest(json_encode($message_array),'string_capitalize',$requestIdentifier2);
!
$replies=$client->getReplies();
!
$output->writeln($replies[$requestIdentifier]);
$output->writeln($replies[$requestIdentifier2]);
}

Vamos a viajar
Problema
• Nuestra aplicación esta repartida por varias Regiones
• Queremos buena latencia.
• Queremos que los mensajes se propaguen.

Vamos a viajar
Solución
• Federation
https://www.rabbitmq.com/federation.html

Vamos a viajar
https://www.rabbitmq.com/federation.html

Vamos a viajar
Solución
• Shovel
• Se conecta a una cola en el broker de origen
• Consume el mensaje
• Publica el mensaje al broker de destino

[{rabbitmq_shovel,
[{shovels,
[{MyShovels1,
[{sources, [{broker,"amqp://guest:guest@Machine01/MyVHost"}]},
{destinations, [{broker, "amqp://guest:guest@Machine02/MyVHost"}]},
{queue, <<"MySourceQueue1">>},
{ack_mode, on_confirm},
{publish_properties, [{delivery_mode, 2}]},
{publish_fields, [{exchange, <<"MyDestExchange">>},
{routing_key, <<>>}]},
{reconnect_delay, 5}
]}
]
}]
}]
Vamos a viajar

¿Preguntas?
https://www.youtube.com/watch?v=YZ85_Bg-1QU

Muchas Gracias
@solilokiam
miquel@solilokiam.com

RabbitMQ y Symfony

Más contenido relacionado

La actualidad más candente

Destacado

Similar a RabbitMQ y Symfony

RabbitMQ y Symfony