Mikel Ruiz - Magento X-Files

Mikel Ruiz, CTO en On4u
Magento X Files

Co-Founder y CTO en On4u
Ingeniero Informático
Magento Partner desde 2009
MCD, MCSS, M2 trained
50+ proyectos Magento

Compartir eXperiencia
Otros puntos de vista
Terapia de grupo ;)
QUÉ BUSCAMOS
X
X
X

Descripción
X
X
Vemos en New Relic transacciones de +30s,
que parecen timeouts
Pero 1-5 pedidos/día se quedan en
un estado previo a ir a la pasarela
X
Cada 15 minutos se borran los pedidos que
no se han pagado (on hold)
X Magento EE con muchos pedidos
X Parece que la sesión se queda bloqueada
X El resto de peticiones funcionan bien
X $session->getLastOrderId()

SSL
Explicación X PHP dice… “Not a bug”

Descripción
X
X
Un cliente (hosting ACME) acaba de comprar
y activar un cert SSL
Resultado: redireccionamientos inﬁnitos en
Magento

Explicación
X
Además del hosting acme hay un cdn haciendo de
proxy.
X
Solución: Conﬁguramos la opción ofﬂoader header
HTTP_X_FORWARDED_PROTO
X Pero empiezan otros problemas… con redsys

Explicación
X El certiﬁcado se sirve desde Cloudfare con SNI y
Redsys no lo soporta. Vamos a migrar a nuestros
servidores, pero mientras tanto tenemos que
hacer algo con los callback.

Solución
X
Creamos una nueva URL de callback con un
certiﬁcado correcto en otro servidor y ponemos
un script que reenvía los datos a Magento
$url = ‘https://www.cliente.com/redsys/index/callback/’;
$fields = array(
'Ds_SignatureVersion' => urlencode($_POST['Ds_SignatureVersion']),
'Ds_Signature' => urlencode($_POST['Ds_Signature']),
'Ds_MerchantParameters' => urlencode($_POST['Ds_MerchantParameters'])
);
foreach($fields as $key=>$value) { $fields_string .= $key.'='.$value.'&'; }
rtrim($fields_string, '&');
$ch = curl_init();
curl_setopt($ch,CURLOPT_URL, $url);
curl_setopt($ch,CURLOPT_POST, count($fields));
curl_setopt($ch,CURLOPT_POSTFIELDS, $fields_string);
$result = curl_exec($ch);
curl_close($ch);

Descripción
X
X
Hosting cloud externo (otro dpto)
El cliente reporta un bug: no se ven
ciertos productos
X
X
Probamos y todo se ve bien…
… o no, o sí, o no…
X Balanceador? Caches?

Descripción
X
Se añade información al bug: a veces
tampoco se puede dar de alta un
producto
X
Parece que en el front los problemas
ocurren sólo con los últimos productos

Explicación
X
X
Conclusión: MySQL es consistente
dentro de la misma conexión…
… pero no entre conexiones

Solución
X Versión oﬁcial:
El Cloud de BBDD tiene varios nodos y
las tablas MyISAM no pueden trabajar
con varios nodos

Solución
X Solución
Quitar nodos

Descripción
X
X
X
Proyecto heredado con un mal diseño
Problemas en versiones viejas de IE
Diseño web + IE => X-Files !
X En este caso no parecía el típico “ms-standard”
X
Se rompían zonas enteras y los cambios no se
aplicaban
X Uno de los primeros proyectos con LESS

Explicación
X 4096 reglas, 32 hojas, < IE10 (tarde!)
X 32 bits: 5 bits (hojas) + 12 bits (reglas)

Solución
X
X
Separarlo en varios ﬁcheros CSS
Optimizar el tema

Descripción
X
X
Problemas de I/O al leer app/etc/local.xml
Todo tipo de consecuencias extrañas

Solución
X
X
Cargar primero el xml a un string y
después parsearlo
Aplicar parches Magento

Descripción
X
X
X
Entorno cloud con:
Servidores físicos superpotentes
Cabinas de discos duros ultra-rápidas y
ﬁables
Red de ﬁbra con tecnología alien.
Entorno probado y proporcionando alto
rendimiento y disponibilidad para
aplicaciones críticas (ERP, almacen,
etc.)
X
X
X … pero a veces iba leeeeento

Explicación
0MB/s
150MB/s
300MB/s
450MB/s
600MB/s
Write
X
X
X
Los discos tenían una cache muy
rápida pero a veces no consolidaban
correctamente.
Sin caches eran extremadamente
lentos
La cabina estaba físicamente en otro
ediﬁcio y algún router/switch perdía
paquetes (sic)

Solución
X Cambio de almacenamiento SSD local
X Reducir complejidad

Descripción
X
X
Gran volumen de tráﬁco
A veces sube la carga a tope
X
X
Cache layout mayor de 1.5MB
> 80.000 entradas SWATCH_*
X
X
Rumores con tamaños máximos en Memcached.
Finalmente pasamos a REDIS
X
Hay que reiniciar todos los fronts para
que vuelva a la normalidad

X
Explicación
Investigando muchas horas después...
2015-06-29T23:04:02+00:00 DEBUG (7): 24365END ADD LOCK
2015-06-29T23:04:02+00:00 DEBUG (7): 24365START REMOVE CACHE
2015-06-29T23:04:02+00:00 DEBUG (7): 24365END REMOVE CACHE
2015-06-29T23:04:02+00:00 DEBUG (7): 24365START SAVE CONFIG
2015-06-29T23:04:02+00:00 DEBUG (7): 24362START ADD LOCK
2015-06-29T23:04:02+00:00 DEBUG (7): 24362END ADD LOCK <---------- No debería llegar aquí, ni continuar
2015-06-29T23:04:02+00:00 DEBUG (7): 24362START REMOVE CACHE
2015-06-29T23:04:02+00:00 DEBUG (7): 24362END REMOVE CACHE
2015-06-29T23:04:02+00:00 DEBUG (7): 24362START SAVE CONFIG
2015-06-29T23:04:02+00:00 DEBUG (7): 24365END SAVE CONFIG
2015-06-29T23:04:02+00:00 DEBUG (7): 24365START REMOVE LOCK
2015-06-29T23:04:02+00:00 DEBUG (7): 24365END REMOVE LOCK
2015-06-29T23:04:03+00:00 DEBUG (7): 24362END SAVE CONFIG
2015-06-29T23:04:03+00:00 DEBUG (7): 24362START REMOVE LOCK
2015-06-29T23:04:03+00:00 DEBUG (7): 24362END REMOVE LOCK
X
Algo pasa con la cache de
conﬁguración

X
Explicación
Caches: no asumas que funcionan
X Magento asume que pueden fallar al leer

X
Explicación
Caches: no asumas que funcionan
X Magento asume que pueden fallar al leer
X … pero al escribir…

Solución
X Solución: implementar un bloqueo adecuado

XSolución Resultado:
2015-08-11T09:04:43+00:00 DEBUG (7): 1439283883.1402 3346 TRYING LOCK config_global.lock
2015-08-11T09:04:43+00:00 DEBUG (7): 1439283883.146 3346 LOCK ACQUIRED
2015-08-11T09:04:43+00:00 DEBUG (7): 1439283883.4296 2893 LOCK DENIED
2015-08-11T09:04:47+00:00 DEBUG (7): 1439283887.7088 3346 START REMOVE CACHE
2015-08-11T09:04:47+00:00 DEBUG (7): 1439283887.8648 3346 END REMOVE CACHE
2015-08-11T09:04:47+00:00 DEBUG (7): 1439283887.8649 3346 START SAVE CONFIG
2015-08-11T09:04:55+00:00 DEBUG (7): 1439283895.0935 3346 END SAVE CONFIG (7.2285659313202s)
2015-08-11T09:04:55+00:00 DEBUG (7): 1439283895.0937 3346 TRYING UNLOCK
2015-08-11T09:04:55+00:00 DEBUG (7): 1439283895.1078 3346 UNLOCKED SUCCESSFULLY

X-FILE REDISX-FILE REGULAR EXPRESSIONS

Descripción
X
X
X
Importador de CVS con descripciones
de producto
Error reportado: con descripciones de
más de 6.000 caracteres falla.
Lógica muy sencilla. Básicamente una
query a la BD.

Explicación
X
X
X Vemos segmentation fault en los logs
Primero pensamos en MySQL y
tamaño de campos
Las evidencias nos llevan a Zend

Explicación
/**
     * Remove parts of a SQL string that contain quoted strings
     * of values or identifiers.
     *
     * @param string $sql
     * @return string
     */
    protected function _stripQuoted($sql)
    {
        // get the character for delimited id quotes,
        // this is usually " but in MySQL is `
        $d = $this->_adapter->quoteIdentifier('a');
        $d = $d[0];

        // get the value used as an escaped delimited id quote,
        // e.g. " or "" or `
        $de = $this->_adapter->quoteIdentifier($d);
        $de = substr($de, 1, 2);
        $de = str_replace('', '', $de);

        // get the character for value quoting
        // this should be '
        $q = $this->_adapter->quote('a');
        $q = $q[0];

        // get the value used as an escaped quote,
        // e.g. ' or ''
        $qe = $this->_adapter->quote($q);
        $qe = substr($qe, 1, 2);
        $qe = str_replace('', '', $qe);

        // get a version of the SQL statement with all quoted
        // values and delimited identifiers stripped out
        // remove "foo"bar"
        $sql = preg_replace("/$q($qe|{2}|[^$q])*$q/", '', $sql);
        // remove 'foo'bar'
        if (!empty($q)) {
            $sql = preg_replace("/$q($qe|[^$q])*$q/", '', $sql);
        }

        return $sql;
    }

Explicación
$sql = preg_replace("/$q($qe|{2}|[^$q])*$q/", '', $sql);
$sql = preg_replace("/$q($qe|[^$q])*$q/", '', $sql);

Explicación
X
X
X
Todos los lenguajes tienen sistemas
parecidos a PHP para evitar recursiones
inﬁnitas, pero PHP no es muy claro con
errores en expresiones regulares.
Es un bug/feature/límite que ha heredado
Zend de PHP
Ese mismo error, por ejemplo en C#
hubiera dado un
PCRE_ERROR_MATCHLIMIT

Solución
/**
* Remove parts of a SQL string that contain quoted strings
* of values or identifiers.
*
* @param string $sql
* @return string
*/
{
// get the character for value quoting
// this should be '
$q = $this->_adapter->quote('a');
$q = $q[0];
// get the value used as an escaped quote,
// e.g. ' or ''
$qe = $this->_adapter->quote($q);
$qe = substr($qe, 1, 2);
$qe = preg_quote($qe);
$escapeChar = substr($qe,0,1);
// remove 'foo'bar'
if (!empty($q)) {
$escapeChar = preg_quote($escapeChar);
// this segfaults only after 65,000 characters instead of 9,000
$sql = preg_replace("/$q([^$q{$escapeChar}]*|($qe)*)*$q/s", '', $sql);
}
// get a version of the SQL statement with all quoted
// values and delimited identifiers stripped out
// remove "foo"bar"
$sql = preg_replace("/"("|[^"])*"/Us", '', $sql);
// get the character for delimited id quotes,
// this is usually " but in MySQL is `
$d = $this->_adapter->quoteIdentifier('a');
$d = $d[0];
// get the value used as an escaped delimited id quote,
// e.g. " or "" or `
$de = $this->_adapter->quoteIdentifier($d);
$de = substr($de, 1, 2);
$de = preg_quote($de);
// Note: $de and $d where never used..., now they are:
$sql = preg_replace("/$d($de|{2}|[^$d])*$d/Us", '', $sql);
return $sql;
}

Solución
{
…
// this segfaults only after 65,000 characters instead of 9,000
$sql = preg_replace("/$q([^$q{$escapeChar}]*|($qe)*)*$q/s", '',$sql);
…
$sql = preg_replace("/"("|[^"])*"/Us", '', $sql);
…
// Note: $de and $d where never used..., now they are:
$sql = preg_replace("/$d($de|{2}|[^$d])*$d/Us", '', $sql);
…
}
https://framework.zend.com/issues/browse/ZF-5063
http://www.pcre.org/original/doc/html/pcreapi.html
http://zend-framework-community.634137.n4.nabble.com/issues-with-Zend-Db-Statement-str

You are not alone, share your truth with us…
XMagento Files

¡THANK YOU!
Mikel Ruiz
mikel@on4u.es
www.on4u.es @weareon4u@on4u

Mikel Ruiz - Magento X-Files

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (18)

Similar a Mikel Ruiz - Magento X-Files

Similar a Mikel Ruiz - Magento X-Files (20)

Último

Último (16)

Mikel Ruiz - Magento X-Files