RHA030-6.1

1. Linux RHC030
Modulo 8. Herramientas de Procesos de String
Relator : Cristian Leiva
Linux
1

2. Unidad 8 – Herramientas de Procesos de
String
 Conteo de palabras y codificación de texto
 Búsqueda de Texto: grep
 Introducción a las expresiones regulares
 Ordenando todo: sort y uniq
 Extraer y reunir texto: cut y paste
 Rastreo de diferencias: diff
 Traducción de texto: tr
 Revisión ortográfica: aspell
 Formatear texto (fmt) y dividir archivos (split)
© 2007 Linux. Todos los derechos reservados.
2

3. Conteo de palabras y codificación de texto
 Conceptos Claves
 Cuando se almacena texto, los equipos transforman los caracteres en
una representación numérica. Este proceso se conoce como
codificación del texto.
 A fin de cubrir las demandas de una variedad de idiomas, se han
desarrollado diversas técnicas de codificación. Estas técnicas están
representados por una variedad de conjuntos de caracteres.
 La técnica de codificación más prevalente y antigua se conoce como
el conjunto de caracteres ASCII, el cual sirve aún como el denominador
menos común entre otras técnicas.
 El comando wc cuenta el número de caracteres, palabras y líneas en
un archivo. Cuando se aplica a datos estructurados, el comando wc
puede convertirse en una herramienta versátil de conteo.
 El comando cat tiene opciones que permiten la representación de
caracteres de no impresión tal como el caracter NEWLINE.
 Los comandos head y tail tienen opciones que le permiten imprimir
sólo un cierto número de líneas o un cierto número de bytes de un
archivo, (un byte suele correlacionarse con un caracter).
© 2007 Linux. Todos los derechos reservados.
3

4. Codificación
 Codificación de Datos
– Convertir la información en valores numéricos es llamada
codificación de los datos.
 Codificación de Texto
– Codificación ASCII simplemente toma las letras, números y
comunes caracteres de puntuacion Inglés (los que se
encuentran en un teclado), y los asigna a un número entero
entre 0 y 255.
 Unicode (UCS)
– Supera las limitaciones de ASCII e ISO 8859 basado en
tecnicas de codificación.
 Unicode Transformation Format (UTF-8)
–Balance entre la flexibilidad de Unicode, y la viabilidad de
ASCII, con: longitud variable de codificación.
© 2007 Linux. Todos los derechos reservados.
4

5. Visualización de secuencias de control
 Los archivos de texto de Linux (y Unix) por lo general se
adhieren a la convención de que el último caracter del archivo
debe ser un avance de línea para la última línea de texto.
 El comando cat indica la presencia de la presencia de
tabulaciones, avances de línea y otras secuencias de control
[student@station student]$ cat -A /etc/hosts
# Do not remove the following line, or various programs$
# that require network functionality will fail.$
127.0.0.1^Ilocalhost.localdomain^Ilocalhost station.example.com $
127.0.0.1^Irha-server$
[student@station student]$ head –n2 /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
[student@station student]$
© 2007 Linux. Todos los derechos reservados.
7

6. Comando Word Count (wc)
 El comando wc cuenta el numero de caracteres, palabras y
lineas.
 Tomará su entrada ya sea de archivos llamados en su línea
de comandos o desde su entrada estándar.
wc [-c] [-l] [-w] [filename…]
© 2007 Linux. Todos los derechos reservados.
8

7. Búsqueda de Texto: grep
 Conceptos Claves
 grep es un comando que imprime en pantalla líneas coincidentes
con un patrón de una cadena de texto especificado.
 grep suele utilizarse como filtro para reducir salida a sólo lo
deseado.
 grep -r buscará de modo recursivo bajo un directorio
determinado.
 grep -v imprime líneas NO coincidentes con una cadena o patrón
de texto.
 Muchas de las opciones permiten a los usuarios especificar el
formato de salida de grep.
© 2007 Linux. Todos los derechos reservados.
9

8. Búsqueda de contenido de archivo de texto
 grep: general regular expression parser
 Herrramienta útil para la búsqueda de palabras específicas
o secuencias de caracteres en el contenido de archivo de
texto.
 Hay en realidad tres nombres diferentes para la
herramienta grep
–fgrep
•Hace una búsqueda rápida de patrones simples. Utilice este
comando para localizar rápidamente patrones sin caracteres
comodines, útil para buscar una palabra común.
–grep
•Búsqueda de patrones con expresiones regulares comunes.
–egrep
•Búsqueda de patrones con expresiones regulares extendidas de
gran alcance.
© 2007 Linux. Todos los derechos reservados.
10

9. grep
© 2007 Linux. Todos los derechos reservados.
11

10. Muestra todas las ocurrencias de una cadena
de texto en un archivo
[student]$ cat file
This file has some words.
It also has even more words.
[student]$ grep even file
It also has even more words.
[student]$
[student]$ echo Every cat has one tail. > general
[student]$ echo No cat has nine tails. > specific
[student]$ echo Therefore, every cat has ten tails. > fallacy
[student]$ grep cat general specific fallacy
general:Every cat has one tail.
specific:No cat has nine tails.
fallacy:Therefore, every cat has ten tails.
[student]$
© 2007 Linux. Todos los derechos reservados.
12

11. Obtención de números de línea
[student]$ fgrep -n dictionary
/usr/share/dict/words 12526:dictionary
[student]$ fgrep -nr dictionary /usr/share/dict
linux.words:12526:dictionary
words:12526:dictionary
© 2007 Linux. Todos los derechos reservados.
13

12. Ignorar mayúsculas o minúsculas
[student]$ cat rhyme
The cat
sat on
the mat
at home.
[student]$ grep the rhyme
the mat
[student]$ grep -in the rhyme
1:The cat
3:the mat
© 2007 Linux. Todos los derechos reservados.
14

13. Expresiones Regulares (cont.)
 Una expresión regular es una secuencia de:
–Caracteres literales
–Comodines
–Modificadores
–Anclas
Comodines literales
Caracteres
 Modificadores
 Anclas
–Los modificador comodines coinciden con cualquier
–Los caracteres literales coinciden únicamente
–Un caracteres altera el significado del caracter con
–Las anclas establecen el expresión, un el patrón tal
contexto para punto
caracter. Dentro deletras, dígitos ejemplo, la (“.”) los
ellos mismos. Las una
patrón precedente inmediato. Por y la mayoría de
como "el comienzo de caracter, ya sea
línea" o "el final espacio,
coincide con cualquieruna de caracteresunde una
caracteres son coincide
expresión “ab*c”ejemploscon cadenas deliterales
texto “ac”,
palabra". Por dígito, puntuación, cualquier cosa.
ejemplo, la expresión “cat” coincidiría
una letra, un “abbbc”lasasí sucesivamente porque el
“abc”,a continuación y excepciones).
(vea “abbc”,
con cualquier ocurrencia de las tres letras mientras
asterisco (“*”) es un modificador que significa
que “^cat” sólo coincidirían con las líneas que
“cualquier número de (incluyendo cero)”.
comienzan por “cat”.
© 2007 Linux. Todos los derechos reservados.
17

14. Ordenando todo: sort y uniq
 Conceptos clave
 El comando sort clasifica datos en orden alfabético.
 sort -n ordena numéricamente.
 sort -u clasifica y suprime duplicados.
 sort -k y -t clasifica en un campo específico en datos en patrones.
© 2007 Linux. Todos los derechos reservados.
20

15. El comando sort
 En su forma más simple, el comando sort clasificará
en orden alfabético líneas
[madonna@station madonna]$ cat /etc/sysconfig/mouse
FULLNAME="Generic - 2 Button Mouse (PS/2)"
MOUSETYPE="ps/2"
XEMU3="yes"
XMOUSETYPE="PS/2"
DEVICE=/dev/psaux
[madonna@station madonna]$ sort /etc/sysconfig/mouse
DEVICE=/dev/psaux
FULLNAME="Generic - 2 Button Mouse (PS/2)"
MOUSETYPE="ps/2"
XEMU3="yes"
XMOUSETYPE="PS/2"
© 2007 Linux. Todos los derechos reservados.
21

16. Opciones para especificar el orden de
clasificación
© 2007 Linux. Todos los derechos reservados.
22

17. Sort Order
[madonna@station madonna]$ ls -s /var/log/m* | sort
1236
/var/log/maillog.4
20
/var/log/maillog
216
/var/log/messages.3
3104
/var/log/maillog.1
4
/var/log/messages
[madonna@station madonna]$ ls -s /var/log/m* | sort -n
4
/var/log/messages
20
/var/log/maillog
216
/var/log/messages.3
1236
/var/log/maillog.4
3104
/var/log/maillog.1
© 2007 Linux. Todos los derechos reservados.
23

18. Sort Keys
Opciones para especificar teclas de clasificación
[madonna@station madonna]$ head /etc/passwd | sort -t: -k6
bin:x:1:1:bin:/bin:/sbin/nologin
En resumen, hemos visto que el comando sort
puede utilizarse para clasificar datos estructurados,
mediante la opción -k para especificar el campo de
clasificación(quizás más de una vez) y la opción -t
para especificar el delimitador del campo.
news:x:9:13:news:/etc/news:
[madonna@station madonna]$ ls -l /var/log/m* | sort -n -k5
root:x:0:0:root:/root:/bin/bash
-rw------- 1 root root
651 Oct 5 05:40 /var/log/messages
sync:x:5:0:sync:/sbin:/bin/sync
-rw------- 1 root root
31187 Oct 5 06:05 /var/log/maillog
halt:x:7:0:halt:/sbin:/sbin/halt
-rw------- 1 root root
216885 Sep 22 10:22 /var/log/messages.3
daemon:x:2:2:daemon:/sbin:/sbin/nologin
-rw------- 1 root root
387345 Oct 5 04:07 /var/log/messages.1
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
-rw------- 1 root root
567049 Sep 14 04:08 /var/log/messages.4
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
© 2007 Linux. Todos los derechos reservados.
24

19. El comando uniq
 El programa uniq se utiliza para identificar, contar o suprimir
registros duplicados en la información clasificada.
© 2007 Linux. Todos los derechos reservados.
25

20. Conteo de instancias de datos
 Los switches de parametros -d y -u permiten que el comando uniq
identifique un dato unico o repetido (-c permite contar ocurrencias)
[madonna@station madonna]$ sort -n -u
[madonna@station madonna]$ sort -n trial0 | uniq trial1 | uniq -c
4
14
[madonna@station madonna]$ head trial1
16
45
10
66
10
[madonna@station madonna]$ sort -n trial1 | uniq -d
5
10 7
10
10 8
6
1313
9
7
138
10
8
9 11
8
9
1310
12
10
4 13
10
8 14
8
4 15
6
1 16
2 17
2 18
© 2007 Linux. Todos los derechos reservados.
26

21. Extraer y reunir texto: cut y paste
 Conceptos clave
 El comando cut extrae textos de archivos de texto, basados
en columnas especificadas por bytes, caracteres o campos.
 El comando paste fusiona dos archivos de texto por línea.
© 2007 Linux. Todos los derechos reservados.
27

22. Extracción del texto con cut
 El comando cut extrae columnas de texto desde un archivo
de texto
Opciones para el comando cut.
Especificaciones de intervalo
© 2007 Linux. Todos los derechos reservados.
28

23. Extracción de texto por posición de
caracter con cut -c
[student]$ cat /proc/interrupts
CPU0
0:
4477340
XT-PIC timer
1:
25250
XT-PIC keyboard
2:
0
XT-PIC cascade
3:
7344
XT-PIC ehci-hcd
[student]$ grep '[[:digit:]]:' /proc/interrupts | cut -c1-15
0:
4512997
1:
27954
2:
0
3:
7344
[student]$ grep '[[:digit:]]:' /proc/interrupts | cut -c1-5,340: timer
1: keyboard
2: cascade
3: ehci-hcd
© 2007 Linux. Todos los derechos reservados.
29

24. Extracción de campos de texto con cut -f
 El comando cut también sirve para extraer texto que no está
estructurado por la posición de caracteres, sino por un
caracter delimitador tal como un TABULADOR o “:”.
[student@rosemont hwdata]$ head -15 pcitable
[student@rosemont hwdata]$ cut -s -f3,4 pcitable | head
# This file is automatically generated from isys/pci.
"unknown"
"Dynalink|IS64PH ISDN Adapter"
0x0675 0x1700 "unknown"
"Dynalink|IS64PH ISDN Adapter"
"hisax"
"Dynalink|IS64PH ISDN Adapter"
0x0675 0x1702 "hisax"
"Dynalink|IS64PH ISDN Adapter"
"unknown"
"Arris|CM 200E Cable Modem"
0x09c1 0x0704 "unknown"
"Arris|CM 200E Cable Modem“
© 2007 Linux. Todos los derechos reservados.
30

25. Comando paste
 El comando paste sirve para combinar archivos múltiples en
una sola salida.
[student@station student]$ cat file-1
File-1 Line 1
File-1 Line 2
File-1 Line 3
[student@station student]$ cat file-2
File-2 Line 1
File-2 Line 2
File-2 Line 3
student@station student]$ paste file-1 file-2
File-1 Line 1
File-2 Line 1
File-1 Line 2
File-2 Line 2
File-1 Line 3
File-2 Line 3
© 2007 Linux. Todos los derechos reservados.
31

26. Rastreo de diferencias: diff
 Conceptos clave
 El comando diff resume las diferencias entre dos
archivos.
 El comando diff es compatible con una gran variedad
de formatos de salida que pueden escogerse mediante
varias opciones.
Al comando diff se le puede pedir que ignore ciertos
tipos de diferencias tales como el uso de espacios en
blanco o de mayúsculas.
 El comando diff -r resume de modo recursivo las
diferencias entre los dos directorios.
 Al comparar directorios, se le puede pedir al comando
diff que ignore los archivos cuyos nombres de archivo
coincidan con patrones especificados.
© 2007 Linux. Todos los derechos reservados.
32

27. Comando diff
 El comando diff está diseñado para comparar dos archivos
similares, pero no idénticos y que generen salida que describa
exactamente la diferencia.
[blondie]$ diff README.pam_ftp.orig README.pam_ftp
11,12c11,12
<
<
could login only with email adress
"ignore"
allow invalid email adresses
-->
>
could login only with email address
"ignore"
allow invalid email addresses
18a19
> Spelling corrections applied by blondie, 22 Sep 2003
© 2007 Linux. Todos los derechos reservados.
33

28. Opciones para especificar el formato de
salida diff
© 2007 Linux. Todos los derechos reservados.
34

29. Traducción de texto: tr
 Conceptos clave
 El comando tr traduce lectura de datos desde la entrada estándar.
 En su forma más básica, el comando tr realiza sustituciones byte
por byte.
 Al utilizar la opción -d, el comando tr borrará caracteres
especificados desde un flujo.
 Al utilizar la opción -s se comprimirá una serie de caracteres
repetidos en un flujo a una sola instancia del caracter.
© 2007 Linux. Todos los derechos reservados.
35

30. Comando tr
 El comando tr es una utilidad muy versátil que realiza
traducciones de caracter en flujos.
 Traducir puede suponer sustituir un caracter por otro,
borrar caracteres o "comprimirlos" (contrayendo
secuencias repetidas de un caracter en uno).
 El comando tr no espera nombres de archivo como
argumentos.
 el comando tr opera exclusivamente en el flujo de
entrada estándar, reservando los argumentos de línea de
comandos para especificar conversiones.
© 2007 Linux. Todos los derechos reservados.
36

31. Uso de tr para traducir caracteres
 tr command expects to be called with two arguments, each of
which specify a range of characters
[madonna@rosemont madonna]$ echo "abcdefghi" | tr fed xyz
abczyxghi
[madonna@rosemont madonna]$ cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1
localhost.localdomain localhost rha-server
[madonna@rosemont madonna]$ tr a-z A-Z < /etc/hosts
# DO NOT REMOVE THE FOLLOWING LINE, OR VARIOUS PROGRAMS
# THAT REQUIRE NETWORK FUNCTIONALITY WILL FAIL.
127.0.0.1
LOCALHOST.LOCALDOMAIN LOCALHOST RHA-SERVER
© 2007 Linux. Todos los derechos reservados.
37

32. Revisión ortográfica: aspell
 Conceptos clave
– El comando aspell -c realiza revisiones ortográficas
interactivas en los archivos.
– El comando aspell -l realiza una revisión ortográfica en
el flujo de entrada estándar.
– El comando aspell dump puede utilizarse para ver el
maestro del sistema o el directorio personal de un
usuario.
– Los comandos aspell create personal y aspell merge
personal pueden utilizarse para crear o añadirse al
directorio personal del usuario de una lista de palabras.
© 2007 Linux. Todos los derechos reservados.
38

33. Using aspell
 aspell es el utilitario primario para revisar la ortografía de los
archivos de texto.
[prince@station prince] aspell -c toelvis
Hey Elvis!
I heard you were about to take the lab test for the string
procesing workbook in Red Hat Academy. IIRC, its prety
straightforward, if you've been keeping up with the exercises.
LOL, Prince
=========================================
1) processing
6) preceding
2) precessing
7) professing
3) precising
8) promising
4) proceeding
9) proposing
5) prosing
i) Ignore
I) Ignore all
r) Replace
R) Replace all
a) Add
x) Exit
=========================================
?
© 2007 Linux. Todos los derechos reservados.
39

34. Formatear texto (fmt) y dividir
archivos (split)
 Conceptos clave
 El comando fmt puede reformatear texto a diferentes
anchuras.
 Al usar la opción -p, el comando fmt sólo reformateará texto
comenzado por el prefijo especificado, preservando el prefijo.
 El comando split puede utilizarse para dividir un archivo
sencillo en múltiples archivos basados en un número de líneas
o en un número de bytes.
© 2007 Linux. Todos los derechos reservados.
40

35. Comando fmt
 Al igual que la mayoría de los comandos de procesador
de texto encontrados en este cuaderno, el comando
fmt interpreta argumentos como nombres de archivos
en los cuales operar, u operar en entrada estándar si
ninguno es provisto. Su salida se escribe a la salida
estándar.
[elvis@station elvis]$ fmt -w60 side_effect.gvim
One side effect of the variety of text editors in Linux,
and in particular the coexistence of text editors and
word processors, is the inconsistencies with which word
wrapping is handled.
[elvis@station elvis]$ fmt -40 side_effect.gvim
One side effect of the variety of text
editors in Linux, and in particular the
coexistence of text editors and word
processors, is the inconsistencies with
which word wrapping is handled.
© 2007 Linux. Todos los derechos reservados.
41

36. Comando split
 Es usado cuando se desea dividir un archivo en
archivos más pequeños, cada uno con un número
especificado de líneas o bytes.
elvis@station elvis]$ split -200 pointless.txt sub_pointless_
[elvis@station elvis]$ wc sub_pointless_a*
200
1800
8892 sub_pointless_aa
200
1800
9000 sub_pointless_ab
200
1800
9000 sub_pointless_ac
200
1800
9000 sub_pointless_ad
200
1800
9001 sub_pointless_ae
66
594
3036 sub_pointless_af
1066
9594 47929 total
© 2007 Linux. Todos los derechos reservados.
42

37. © 2007 Linux. Todos los derechos reservados.
43