MuleSoft Madrid Meetup #6 slides 22nd April 2021

All contents © MuleSoft, LLC
22 de abril, 2021
Madrid MuleSoft Meetup #6 - DataWeave
Mario Martinez
API Lead
EPAM
Jesús Pablo Fernández
Responsable de Proyectos de Integración
Imagar Solutions Company

CONFIDENTIAL | © 2021 EPAM Systems, Inc.
DataWeave
Mario Martinez, API Lead en EPAM

Contenido
1 I N T R O D U C C I Ó N
6
2
3
4
5
¿ C Ó M O U S A R L O ?
¿ C Ó M O F U N C I O N A?
S Y N TA X I S
G E S T I Ó N D E M E M O R I A
M E J O R E S P R A C T I C A S
3

Audiencia técnica
4
El objetivo de esta presentación es mejorar el
conocimiento de DataWeave
Aconsejable conocimiento básico de
DataWeave, no vamos a cubrir nociones básicas
Introducción

¿Qué es DataWeave?
• Lenguaje de programación diseñado para transformar datos
• Transformar
• Acceso a los datos
• Expression language (reemplazó MEL en Mule 3)
• Representado como expresiones/scripts.
• Transform message: <ee:transform/>
• Expression: #[]
• Mule 3 : DataWeave 1
• Mule 4 : DataWeave 2
• Esta sesión se centra al 100% en DataWeave 2
5

¿Cómo se usa?
• Dentro de una aplicación Mule, a través de una expresión (#[])
o transform component
• A través de Anypoint studio, usando metadatos / datos de
muestra
• A través de herramienta on-line: https://dwlang.fun/
(no soportado oficialmente)
• Docker container: dw-container (no soportado oficialmente)
• Standalone version: dw-playground
(no soportado oficialmente)
• Bonus: DataWeave cli : dw-native (no soportado oficialmente)
6

¿Cómo funciona?
7
Data in Reader Data out
DW Script Writer
Canonical
model
Canonical
model

Anatomía
8
Headers/directives: DW versión, content types,
variables, funciones, etc.
Separa la cabecera del cuerpo
Body
%dw 2.0
input payload json
output csv header=false
---
payload

Gestión de la memoria
Creditos: Ravi Tamada
9

Streaming
• DataWeave admite end-to-end streaming. (No habilitado por defecto.)
• DataWeave procesa los datos transmitidos a medida que llegan sus bytes en lugar de escanear todo el
documento para indexarlo. Cuando está en modo "deferred", DataWeave pasa los datos de salida
transmitidos directamente al siguiente componente sin guardarlos en el disco.
• Streaming acelera el procesamiento de documentos grandes sin sobrecargar la memoria.
• IMPORTANTE: La unidad básica del Streaming es específica del formato de datos.
• CSV -> cada record individual
• JSON array -> cada elemento del array
• Accede a cada unidad de forma secuencial. Streaming no admite el acceso aleatorio a un documento
completo.
• Valido – acceso secuencial: payload map (myObject) -> upper(myObject)
• No Valido – acceso aleatorio: [ payload[0], payload[1] ]
10

Streaming - Experimental
• Para comprobar que su código puede procesar en Streaming, DataWeave
proporciona la siguiente anotación:
• @StreamCapable()
• El validador de DataWeave verifica un script con los siguientes criterios:
• Se hace referencia a la variable solo una vez.
• No se establece ningún selector de índice para acceso negativo,
como [-1]. No se encuentra ninguna referencia a la variable en una
lambda anidada.
• Si se cumplen todos los criterios, se permite Streaming
11
%dw 2.0
@StreamCapable() input payload application/json
output
application/json
---
payload.family map upper(member)

Buenas practicas
• Código limpio
• Evite los valores predeterminados $, $$, $$$
• Usar funciones existentes
• Especificar los tipos de datos en las funciones
• Código modular: bibliotecas / funciones reutilizables
• Depurar a través de logs
• Testing - DataWeave como lenguaje de aserción
12

Código limpio
• Estructura tu código como lo harías con cualquier otro lenguaje de
programación
• Utilice variables y funciones, evite el código monolítico
• Puede crear variables en línea usando do {}
• Si es necesario, incluya documentación!
• // This is a comment
• /*
* Another comment
*/
13

Código limpio
%dw 2.0
output application/json
// Static valid code value which, for sure, represents something
var VALID_CODE = 'HD'
/*
* Returns true when the code is valid
*/
fun validateCode(code: String) : Boolean =
do {
// Using do {} only for demo purposes
var isValidCode = VALID_CODE == code
---
isValidCode
}
---
validateCode('HA') // expects false
14

Evitar valores predeterminados $, $$, $$$
15
%dw 2.0
---
payload map {
$.elements map {
which: $.elementIwant
}
}
%dw 2.0
---
payload map (parentElement) -> {
parentElement.elements map (childElement) -> {
which: childElement.elementIwant
}
}

Usar funciones existentes
16
%dw 2.0
---
(payload filter (record) -> (record.age > 10))[0]
%dw 2.0
import firstWith from dw::core::Arrays
---
payload.message firstWith (record) -> (record.age > 10)

Especificar los tipos de datos en las funciones
17
fun findById(elements, id) =
elements firstWith ((element) -> element.id == 5)
---
findById(payload.fake, 4)
fun findById(elements: Array, id: String) : Object =
elements firstWith ((element) -> element.id == 5)
---
findById( { fake: "object"} , 4 )

• Extraer código en archivos ".dwl" dentro de src/main/resources. Ejemplo:
• src/main/resources/library.dwl
• Library.dwl file contiene una funcion "MyFunction"
• Reutilice el código cuando sea necesario: import library::MyFunction
• Siempre que su archivo ".dwl" esté ubicado en su classpath, ¡Todo listo!
Bonus: puede hacer referencia a archivos ".dwl" usando "${file::myFile.dwl}"
18
Código modular: bibliotecas / funciones
reutilizables

Depurar a través de logs
• "log ()" sin modificar el valor. Útil para depurar transformaciones complejas.
19
var data = {
meetup: {
location: 'madrid'
}
}
---
upper(log("LOCATION: ",
data.meetup.location))
org.mule.weave.v2.model.service.DefaultLoggingService$: LOCATION: - "madrid"

Testing - DataWeave assertion library
• Proporciona una forma programática de testear respuestas sin librerias externas.
• Evita comparar respuestas completas. Por ejemplo, comparar dos JSON Strings.
• Intuitivo y flexible
20
import * from dw::test::Asserts
---
do {
payload must [
beObject(),
notBe(beEmpty()),
$.id== "munit-test-Id",
$.clientId == "munit-meetup-client",
$.cityCode == "MADRID"
]
}
<munit-tools:assert doc:name="Assert API JSON response" >
<munit-tools:that ><![CDATA[#[${file::meetup/assert-response.dwl}]]]></munit-tools:that>
</munit-tools:assert>

¡GRACIAS!
¿PREGUNTAS?

22/04/2021
Jesús Pablo Fernández
Responsable Técnico de Proyectos de Integración (Imagar Solutions Company S.L.)
Madrid MuleSoft Meetup #6
DataWeave

23
● Uso de Lookups externos en Transformaciones
● Conversión entre múltiples formatos
● Mapeo con concatenaciones avanzadas
● Mapeos anidados
● Mapeo de estructuras complejas
Agenda

24
Encuentra los ejemplos aquí
https://www.ricston.com/wp-content/uploads/2021/04/meetup_dataweave.zip

Uso de Lookups externos en
Transformaciones

26
Uso de Lookups externos en Transformaciones
{
"NumeroFactura": "EJ001",
"FechaVencimiento": "23/04/2021",
"Conceptos": [
{
"Cantidad": 2,
"Referencia": "ART001"
},
{
"Cantidad": 10,
}
],
"Vendedor": {
"ID": "000000000A",
"Referencia": "VEN001"
}
}
Entrada: Salida:
{
"NumeroFactura": "EJ001",
"Estado": "PENDIENTE",
"Conceptos": [
{
"Cantidad": 2,
"Referencia": "ART001",
"Nombre": "Articulo1",
"Descripcion": "Articulo de ejemplo 1",
"Importe": 500
},
{
"Cantidad": 10,
"Importe": 5423
}
],
"Vendedor": {
"ID": "000000000A",
"Referencia": "VEN001",
"Nombre": "Vendedor 1",
"Apellidos": "Apellido 1 Apellido 2"
},
"Total": 55230
}

Conversión entre múltiples
formatos

28
Conversión entre múltiples formatos
Entrada: Salidas:
{
"Vendedores" : [
{
"Nombre":"Nombre 1",
"Apellido" : "Apellido 1",
"Edad" : 25,
"Pais":"España",
"Seccion" : "Salesforce",
"Responsable":"Responsable 1"
},
{
"Nombre":"Nombre 2",
"Apellido" : "Apellido 2",
"Edad" : 30,
"Pais":"España",
"Seccion" : "Mulesoft",
"Responsable":"Responsable 2"
}
]
}
Nombre,Apellido,Edad,Pais,Seccion,Responsable
Nombre 1,Apellido 1,25,España,Salesforce,Responsable 1
Nombre 2,Apellido 2,30,España,Mulesoft,Responsable 2
<?xml version='1.0' encoding='UTF-8'?>
<Data>
<Vendedores>
<Nombre>Nombre 1</Nombre>
<Apellido>Apellido 1</Apellido>
<Edad>25</Edad>
<Pais>España</Pais>
<Seccion>Salesforce</Seccion>
<Responsable>Responsable 1</Responsable>
</Vendedores>
<Vendedores>
<Nombre>Nombre 2</Nombre>
<Apellido>Apellido 2</Apellido>
<Edad>30</Edad>
<Pais>España</Pais>
<Seccion>Mulesoft</Seccion>
<Responsable>Responsable 2</Responsable>
</Vendedores>
</Data>
{
"Data": {
"Vendedores": [
{
"Nombre": "Nombre 1",
"Apellido": "Apellido 1",
"Edad": 25,
"Pais": "España",
"Seccion": "Salesforce",
"Responsable": "Responsable 1"
},
{
"Nombre": "Nombre 2",
"Apellido": "Apellido 2",
"Edad": 30,
"Pais": "España",
"Seccion": "Mulesoft",
"Responsable": "Responsable 2"
}
]
}
}
Nombre 1,Nombre 2

Mapeo con concatenaciones
avanzadas

30
Mapeo con concatenaciones avanzadas
Entrada: Salidas:
{
"Data1": [
{
"Descripción": "Articulo de ejemplo 1",
"Importe": 500,
},
{
"Importe": 5423,
}
],
"Data2": [
{
"Importe": 44,
},
{
"Importe": 12,
}
]
}
{
"Importe": 500,
"NombreExtra": "Articulo3"
}
[
{
"Importe": 500,
},
{
"Importe": 5423,
},
{
"Importe": 44,
},
{
"Importe": 12,
}
]
"Articulo1;Articulo3"
"50044"

32
Transformaciones anidadas
Entrada: Salidas:
[
{
"Id": 1,
"Opportunity": "0064H00001Fu8oQQAR",
"Name": "Project 1",
"Type": "type1",
"AccountDetails": {
"Country": "ESP",
"AccountID": "00001"
}
},
{
"Id": 2,
"Type": "type1",
"AccountDetails": {
"Country": "ESP",
}
},
{
"Id": 3,
"Opportunity": "0064H00001Fu8oXXXX",
"Type": "type1",
"AccountDetails": {
"Country": "ESP",
}
}
]
[
{
"Id": 1,
"Type": "type1",
"AccountDetails": {
"Country": "ESP",
},
"Manager": {
"Email": "test@tests.com",
"Country": "ESP",
"FirstName": "Test",
"ID": "000000000A",
"LastName": "Test",
"type": "User"
},
"StartDate": "2020-11-10",
"Type": "type1",
"EndDate": "2020-12-10"
},
{
"Id": 2,
"Type": "type1",
"AccountDetails": {
"Country": "ESP",
},
"Manager": {
"Email": "test@tests.com",
"Country": "ESP",
"FirstName": "Test",
"ID": "000000000A",
"LastName": "Test",
"type": "User"
},
"StartDate": "2020-11-10",
"Type": "type1",
"EndDate": "2020-12-10"
},
{
"Id": 3,
"Opportunity": "0064H00001Fu8oXXXX",
"Type": "type1",
"AccountDetails": {
"Country": "ESP",
}
}
]

Mapeo de estructuras complejas

34
Mapeo de estructuras complejas
Entrada: Salidas:
[
{
"NumeroPedido": "EJ001",
"Estado": "ENVIADO",
"Pedido": {
"Descripcion": "Test",
"Comprador": "Comprador ficticio 1",
"Productos": [
{
"SID": "00001",
"Cantidad": 2,
"Importe": 500
},
{
"SID": "00002",
"Cantidad": 10,
"Importe": 5423
}
],
"Vendedor": {
"ID": "000000000A",
"Referencia": "VEN001"
},
"Total": 1000
}
}
...
]
[
{
"Cantidad": 2,
"Importe": 500,
"NumeroPedido": "EJ001"
},
{
"Cantidad": 10,
"Importe": 5423,
},
{
"Cantidad": 2,
"Importe": 500,
}
...
]

35
Enlaces de interés
https://docs.mulesoft.com/mule-runtime/4.3/dataweave-pattern-matching
https://docs.mulesoft.com/mule-runtime/4.3/dataweave-flow-control
https://docs.mulesoft.com/mule-runtime/4.3/dw-mule-functions-lookup
https://docs.mulesoft.com/mule-runtime/4.3/dataweave-functions-lambdas
https://docs.mulesoft.com/mule-runtime/4.3/dataweave-create-module

MuleSoft Madrid Meetup #6 slides 22nd April 2021

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (9)

Similar a MuleSoft Madrid Meetup #6 slides 22nd April 2021

Similar a MuleSoft Madrid Meetup #6 slides 22nd April 2021 (20)

Más de Ieva Navickaite

Más de Ieva Navickaite (6)

Último

Último (19)

MuleSoft Madrid Meetup #6 slides 22nd April 2021