Curso de AWK (David Barreto)

108/03/15
Ing. David Barreto Llano (david-barreto.com)
Introducción al Lenguaje de
Programación AWK

208/03/15
Características del Lenguaje
Lenguaje de programación orientado a datos
Basado en la detección de patrones en los datos por medio
de expresiones regulares
Es un lenguaje muy simple que no permite la creación de
clases u objetos
Solo implementa variables, arreglos asociativos y
estructuras de control
Ideal para el procesamiento de logs
Liviano, rápido e integrado con el shell de Linux
Tiene un set limitado de funciones predefinidas

308/03/15
Historia de AWK
AWK fue Creado en 1977 en “AT&T Bell Laboratories”
El nombre del lenguaje son las siglas de los apellidos de sus
creadores: Aho, Weinberger y Kernighan
En 1985 se crea una nueva versión del lenguaje y se bautiza
como NAWK (New AWK)
Entre 1986 y 1989, un equipo de voluntarios, con ayuda de
Richard Stallman (fundador del movimiento del software libre)
crea una versión libre de NAWK pero más potente y es
llamado GAWK (GNU AWK)

408/03/15
Las diferentes versiones de AWK
Algunos sistemas mantienen AWK y NAWK como programas
independientes
Algunos sistemas han renombrado AWK como OAWK (Old
AWK) e internamente redireccionan AWK hacia NAWK o
hacia GAWK
Algunos sistemas mantiene de forma independiente todas las
versiones del lenguaje: AWK, NAWK y GAWK
El sistema operativo Canaima trae la versión AWK
redireccionado a NAWK. Canaima no trae de forma nativa
GAWK
Para instalar GAWK en Canaima: sudo apt-get install gawk
Para instalar GAWK en Windows: (Google) GAWK for Widows

508/03/15
¿Cómo determinar la versión de AWK?
$> man awk

608/03/15
Estructura Básica
Un programa AWK consta de un conjunto de reglas, que
buscan patrones sobre los archivos de entrada y ejecuta
acciones si encuentra una coincidencia
$1 == "abc" || $2 > 30 {
suma = $1+$2+5
print(suma)
}
Patrón
Regla
Acción

708/03/15
Estructura Básica
Los campos de cada entrada se acceden usando números
precedidos por el símbolo de dólar
$1 = Accede al primer campo de la entrada
$2 = Accede al segundo campo de la entrada
$N = Accede al enésimo campo de la entrada (N={1,2,3,..})
$0 = Accede a toda la entrada
Si se trata de acceder a un campo inexistente AWK retorna
un string vacío

808/03/15
Estructura Básica
Existen reglas especiales que se ejecutan una sola vez al
inicio (BEGIN) y al final (END)
Si se omite el patrón de una regla, la acción se ejecuta
siempre para todas las entradas
Si se omite la acción, no se realiza ninguna operación
Las reglas se ejecutan en el mismo orden en que son
definidas

908/03/15
Estructura Básica
Los campos de cada entrada se acceden usando números
precedidos por el símbolo de dólar
$1 = Accede al primer campo de la entrada
$2 = Accede al segundo campo de la entrada
$N = Accede al enésimo campo de la entrada (N={1,2,3,..})
$0 = Accede a toda la entrada
Si se trata de acceder a un campo inexistente AWK retorna
un string vacío

1008/03/15
Ejemplos de Uso
$2 == "Oriente" {
print($1)
}
David Caracas
Gabriela Occidente
Jonathan Centro
Albany Oriente
Albany
$2 == "Caracas" {
print($1)
}
$1 == "Gabriela" {
print($2)
}
David Caracas
Gabriela Occidente
Jonathan Centro
Albany Oriente
David
Occidente
BEGIN { print("Inicio") }
{ print($2) }
END { print("Fin") }
David Caracas
Gabriela Occidente
Jonathan Centro
Albany Oriente
Inicio
Caracas
Occidente
Centro
Oriente
Fin

1108/03/15
Ejecutar BEGIN
Leer próxima entrada
Validar el patrón en la entrada ¿Hay coincidencia?
¿Fin del archivo?
Ejecutar END
Ejecutar acción
Algoritmo de ejecución de AWK (resumen)
NO
NO
SI
SI

1208/03/15
Formas de Ejecutar de AWK
Desde la línea de comandos
gawk '{ print($1) }' optimizacion_v2.txt
Desde la linea de comandos usado como parte de un “pipe” del
shell
cat optimizacion_v2.txt | gawk '{ print($1) }'
Desde un archivo
gawk -f procesador.awk optimizacion_v2.txt
gawk -f procesador.awk optimizacion_v2.txt > resultado.txt

1308/03/15
David Barreto, (0416) 629-0508, Caracas
David Mercado, (0416) 613-4416, Oriente
Jerald Almeida, (0212) 705-7456, Caracas
Víctor Prieto, (0426) 896-7706, Centro
optimizacion_v1.txt
procesador.awk
{ print($1) }
{ print($1, $4) }
BEGIN {
FS = ","
}
{ print($1, $3) }
BEGIN {
FS = ","
OFS = ";"
}
{ print($1, $3) }
BEGIN {
FS = ","
OFS = ";"
}
$3 == "Caracas" {
print($1, $3)
}
BEGIN {
FS = ","
OFS = ";"
}
$3 == " Caracas" {
print($1, $3)
}
BEGIN {
FS = ", "
OFS = ";"
}
$3 == "Caracas" {
print($1, $3)
}
BEGIN {
FS = ", "
OFS = ";"
}
$1 ~ /David/ {
print("David de " $3)
}
gawk -f procesador.awk optimizacion_v1.txt
¿Qué resultado genera cada
uno de estas variantes del
archivo "procesador.awk"?

1408/03/15
Comentarios en el Código
Los comentarios son líneas de texto dentro del código que
son ignoradas por el interpretador
Funcionan como referencias documentales para el
programador
En AWK los comentarios se inician con el símbolo "#"
No existe un símbolo de comentario multilínea
# Compara el campo 1 con el valor 5
# e indica si hay match
$1 == 5 {
print("match!") # Texto de referencia
}

1508/03/15
Función interna del lenguaje "print"
Imprime resultados en la consola o en un archivo de salida e
inserta un salto de línea (n) al final
{ print($1) }
David Caracas
Gabriela Occidente
Jonathan Centro
Albany Oriente
David
Gabriela
Jonathan
Albany{ print $1 }
{ print($1, $2) }
{ print("Hola " $1) }
Hola David
Hola Gabriela
Hola Jonathan
Hola Albany
David Caracas
Gabriela Occidente
Jonathan Centro
Albany Oriente
optimizacion_v2.txt

1608/03/15
Estructuras de control
Estructura if-else
Estructura for
if(power > 15) {
print("BTS de alta potencia")
} else {
print("BTS de baja potencia")
}
for(i=0; i<5; i++) {
print(i)
}

1708/03/15
Arreglos
AWK tiene un manejo muy básico de los arreglos
En AWK todos los arreglos son asociativos
No hay forma de inicializar un arreglo con valores
celdas[88] = "Catia"
celdas[140] = "Altamira"
celdas["23"] = "San Martín"
celdas["Modcell"] = 1
#Esto no es válido...
frutas = ["fresa", "mora", "piña"]
#Esto si es válido...
frutas[0] = "fresa"
frutas[1] = "mora"
frutas[2] = "piña"

1808/03/15
Arreglos
Operaciones básicas
Buscar un índice dentro de un arreglo
#Asignación de valores a un arreglo
capitales["Venezuela"] = "Caracas"
capitales["Colombia"] = "Bogotá"
#Lectura de valores de un arreglo
print(capitales["Venezuela"])
#Eliminación de valores de un arreglo
delete capitales["Venezuela"]
if("Colombia" in capitales) {
print("Colombia es un índice del arreglo")
} else {
print("Colombia no es un índice del arreglo")
}

1908/03/15
Arreglos
Recorrer todos los elementos de un arreglo
Buscar un valor dentro de un arreglo
for(i in capitales) {
print(capitales[i])
}
found = 0
for(capital in capitales) {
if(capitales[capital] == "Caracas") {
found = 1
break
}
}
if(found) {
print("Caracas es un valor del arreglo")
}

2008/03/15
Arreglos: Consideraciones Especiales
Para emular una inicialización de un arreglo en una sola
línea, se debe hacer uso de la función split
Cuando se hace referencia a un elemento del arreglo que no
existe, AWK automáticamente le asigna el valor del string
vacío
split("fresa mora piña", frutas, " ")
capitales["Venezuela"] = "Caracas"
capitales["Colombia"] = "Bogotá"
#En otros lenguajes esto daría un error
cap_ecuador = capitales["Ecuador"] #cap_ecuador == ""

2108/03/15
Función interna del lenguaje "printf"
Similar a print pero permite un mayor control del formato
No inserta de forma automática un salto de línea al final
David Caracas
Gabriela Occidente
Jonathan Centro
Albany Oriente
{ printf("%s pertenece a %sn", $1, $2) }
David pertenece a Caracas
Gabriela pertenece a Occidente
Jonathan pertenece a Centro
Albany pertenece a Oriente

2208/03/15
Letras de control de formato
%i, %d: Imprime números enteros (integers)
%s: Imprime cadenas de texto (strings)
%f: Imprime valores de punto flotante (floats)
awk 'BEGIN{printf("%i %s tienen %f bolívaresn",5,"personas",2500)}'
5 personas tienen 2500.000000 bolívares

2308/03/15
Modificadores del formato
Posición (N$): Permite usar variables por posición
Precisión (.N): Indica la cantidad de decimales para imprimir
gawk 'BEGIN{printf("%1$s: CELL %1$s; SECTOR %2$in", "00981", 2)}'
00981: CELL 00981; SECTOR 2
gawk 'BEGIN{printf("En la cuenta hay %.2f bolívaresn", 7800)}'
En la cuenta hay 7800.00 bolívares

2408/03/15
Redireccionamiento de la Salida
Por default, la salida de AWK (print, printf) va directamente a
la consola
El redireccionamiento de la salida se puede definir desde el
comando de invocación o dentro del propio código
awk 'BEGIN{print("hola")}' > salida.txt
BEGIN {
print("hola") > "salida.txt"
}

2508/03/15
Redireccionamiento de la Salida
Dentro del código, existen dos formas de redireccionamiento:
borrar y agregar (>) o solo agregar (>>)
#Si salida.txt no existe, AWK lo crea automáticamente
BEGIN {
print("hola") > "salida.txt" #Borra el contenido primero
print("chao") > "salida.txt" #Agrega la información
}
#Si salida.txt no existe, AWK lo crea automáticamente
BEGIN {
print("hola") >> "salida.txt" #Agrega la información
print("chao") >> "salida.txt" #Agrega la información
}

2608/03/15
Variables Predefinidas
FS (Field Separator): Separador de campo de entrada
OFS (Output Field Separator): Separador de campo de salida
RS (Record Separator): Separador de fila de entrada
ORS (Output Record Separator): Separador de fila de salida
NF (Number of Fields): Cantidad de campos de la fila actual
NR (Number of Records): Cantidad de filas del archivo
FNR (actual Record Number): Número de la fila actual

2708/03/15
FS: Separador de Campo de Entrada
Define el caracter o conjunto de caracteres que serán usados
para la separación de los campos de una "entrada"
BEGIN {
FS = ";"
}
{ print($2) }
David; Caracas
Gabriela; Occidente
Jonathan; Centro
Albany; Oriente
Caracas
Occidente
Centro
Oriente
BEGIN {
FS = "..."
}
{ print($2) }
David...Caracas
Gabriela...Occidente
Jonathan...Centro
Albany...Oriente
Caracas
Occidente
Centro
Oriente
optimizacion_v2.txt

2808/03/15
Su valor por defecto es el caracter vacío (" "). Este es un
caso especial que incluye cualquier cantidad de espacios
consecutivos o tabulaciones (t)
Ignora los espacios en blanco al inicio o al final de la entrada
{ print($2) }
David Caracas
Gabriela Occidente
Jonathan Centro
Albany Oriente
Caracas
Occidente
Centro
Oriente
{ print($2) }
David Caracas
Gabriela Occidente
Jonathan Centro
Albany Oriente
Caracas
Occidente
Centro
Oriente

2908/03/15
El separador de campo puede ser definido como una
expresión regular
BEGIN {
FS = "--[abcd]--"
}
{ print($2) }
David--a--Caracas
Gabriela--b--Occidente
Jonathan--c--Centro
Albany--d--Oriente
Caracas
Occidente
Centro
Oriente
BEGIN {
FS = "(=)+"
}
{ print($2) }
David======Caracas
Gabriela===Occidente
Jonathan===Centro
Albany=====Oriente
Caracas
Occidente
Centro
Oriente

3008/03/15
Si se usa el string vacío ("") como separador de campo, cada
caracter de la entrada se convierte en un campo
independiente
BEGIN {
FS = ""
}
{ print($2) }
David; Caracas
Gabriela; Occidente
Jonathan; Centro
Albany; Oriente
a
a
o
l

3108/03/15
OFS: Separador de Campo de Salida
Define el o los caracteres de separación de los campos, al
momento de "imprimir" resultados en la consola o en un
archivo de texto
BEGIN {
FS = "--"
OFS = "; "
}
{ print($1, $2) }
David--Caracas
Gabriela--Occidente
Jonathan--Centro
Albany --Oriente
David; Caracas
Gabriela; Occidente
Jonathan; Centro
Albany; Oriente
BEGIN {
FS = "--"
OFS = "; "
}
{
$1 = $1
print($0)
}
David--Caracas
Gabriela--Occidente
Jonathan--Centro
Albany --Oriente
David; Caracas
Gabriela; Occidente
Jonathan; Centro
Albany; Oriente

3208/03/15
NF: Número de campos de la entrada
El campo NF es una variable propia del lenguaje que nos
informa cuantos campos hay por entrada
Se define automáticamente para cada entrada procesada
Es usado para acceder al último (penúltimo, antepenúltimo,
etc.) elemento de una entrada
{ print(NF) }
a b c d
x y
3 2 5
4
2
3
{ print($NF) }
a b c d
x y
3 2 5
d
y
5
{ print($(NF-1)) }
a b c d
x y
3 2 5
c
x
2
random_v1.txt

3308/03/15
El Campo $0: Impresión con separador
Cuando se imprime el campo $0, se imprime la entrada
completa igual a como aparece en la fuente
Para imprimir la entrada con el nuevo caracter se separación
(OFS), se debe primero realizar una asignación "dummy"
BEGIN {
OFS = ", "
}
{ print($0) }
David Caracas
Gabriela Occidente
Jonathan Centro
Albany Oriente
David Caracas
Gabriela Occidente
Jonathan Centro
Albany Oriente
BEGIN {
OFS = ", "
}
{
$1 = $1
print($0)
}
David Caracas
Gabriela Occidente
Jonathan Centro
Albany Oriente
David, Caracas
Gabriela, Occidente
Jonathan, Centro
Albany, Oriente

3408/03/15
Valores Booleanos
AWK no implementa las constantes True o False como la
mayoría de los lenguajes para definir valores booleanos
En su lugar, AWK toma el valor 0 y el string vacío como
False y cualquier otro valor como True
Las expresiones lógicas en AWK retornan 1 (True) ó 0 (False)
if(5 == 5) # 1 (True)
if("Juan") # 1 (True)
if(34567) # 1 (True)
if(0) # 0 (False)
if("") # 0 (False)

3508/03/15
Operadores Lógicos
Operador AND: Ambas condiciones deben cumplirse
Operador OR: Al menos una condición debe cumplirse
Operador NOT: Negación de la expresión
(5 >= 3) && (4 < 6)
(5 >= 6) && (4 < 6)
(5 >= 3) || (4 == 3)
(5 >= 5) || (4 <= 5)
!(3 == 3) || !(2 > 1)
!((3 > 4) && (5 == 3))
# 1 (True)
# 0 (False)
# 1 (True)
# 1 (True)
# 0 (False)
# 1 (True)

3608/03/15
Patrones Combinados
Bolígrafo 30 64.99
Lápiz 80 15.50
Borrador 0 8.75
Libro 0 350.00
Cuaderno 12 199.99
Libreta 19 235.00
$1 ~ /^L/ && $3 > 30 {
print($0)
}
$1 == "Lápiz" || $1 == "Borrador" {
print($0)
}
$3 >= 30 && $3 <= 100 {
print($0)
}
($1 ~ /[Bb]/ && $2 > 0) || $3 <= 20 {
print($0)
}
inventario.txt

3708/03/15
Expresiones Regulares
Una expresión regular es un conjunto de símbolos que
permiten realizar una búsqueda por patrones de texto
Las expresiones regulares usualmente están demarcadas
entre símbolos de slash (/)
/uan/
El operador de coincidencia es el símbolo ~
$1 ~ /uan/ { … }
Se puede aplicar el operador de negación sobre el operador
de coincidencia !~
$1 !~ /uan/ { … }
AWK permite usar expresiones regulares para definir
variables del lenguaje como FS y RS

3808/03/15
Ejemplos de Expresiones Regulares
Buscar las palabras que contengan la secuencia "in"
Buscar las palabras que empiecen por "L"
Liso
Lino
Pino
limón
512
$1 ~ /in/ {
print($1)
}
Lino
Pino
Liso
Lino
Pino
limón
512
$1 ~ /^L/ {
print($1)
}
Liso
Lino
random_v2.txt

3908/03/15
Ejemplos de Expresiones Regulares
Buscar las palabras que empiecen por "L" o "l"
Buscar las palabras que terminen con "no"
Liso
Lino
Pino
limón
512
$1 ~ /^[Ll]/ {
print($1)
}
Liso
Lino
limón
Liso
Lino
Pino
limón
512
$1 ~ /no$/ {
print($1)
}
Lino
Pino

4008/03/15
Buscar las "palabras" que consten exclusivamente de números
Buscar las palabras contengan una secuencia que inicia con "i",
seguida de cualquier letra, seguida de la letra "o"
Liso
Lino
Pino
limón
512
$1 ~ /^[0-9]$/ {
print($1)
}
512
Liso
Lino
Pino
limón
512
$1 ~ /i.o/ {
print($1)
}
Liso
Lino
Pino

4108/03/15
Buscar las "palabras" que contengan una secuencia que inicie
con 1 y tenga al menos un 8 a continuación
con 1 y tenga cero, uno o varios 8 a continuación
189
21889
2198
8888
1982
$1 ~ /1(8)+/ {
print($1)
}
189
21889
189
21889
2198
8888
1982
$1 ~ /1(8)*/ {
print($1)
}
189
21889
2198
1982

4208/03/15
con 1 y tenga al menos dos 8 a continuación
Buscar las "palabras" que contengan una secuencia que tenga
entre 2 y 4 números ocho consecutivos
189
21889
2198
8888
1982
$1 ~ /1(8){2,}/ {
print($1)
}
21889
189
21889
2198
8888
1982
$1 ~ /(8){2,4}/ {
print($1)
}
21889
8888

4308/03/15
Funciones
Las funciones son bloques de código reutilizables
function comando_btseqp(bts, potencia) {
printf("BTS: %s - Power: %0.f", bts, potencia)
}
$2 == 507 {
comando_btseqp($1, $3)
}

4408/03/15
Funciones
Las funciones en AWK pueden definirse en cualquier parte
del código fuente
Si se invoca una función sin definir uno o más parámetros,
estos adquieren automáticamente el valor del string vacío
Dentro de una función no es posible definir variables locales.
Para ello, se definene parámetros para los cuales nunca se le
asignan argumentos
function comando(bts, potencia, i) {
i = 3
printf("%i) BTS: %s - Power: %0.f", i, bts, potencia)
}
2 == 507 {
i = 2
comando_btseqp($1, $3)
print(i)
}

Curso de AWK (David Barreto)

Más contenido relacionado

La actualidad más candente

Destacado

Similar a Curso de AWK (David Barreto)

Curso de AWK (David Barreto)