Este documento presenta un enfoque pragmático para el desarrollo de métricas de seguridad de la información. Propone que las métricas deben ser predictivas, relevantes, accionables, genuinas, significativas, precisas, oportunas, independientes y económicas. Explica el marco GQM para definir objetivos, preguntas y métricas, y ofrece ejemplos como mapas de calor, escalas de calificación y catálogos de métricas. El objetivo es ayudar a las organizaciones a medir y mejorar su
2. Metamétricas
Un enfoque PRAGMÁTICO
de métricas de administración de seguridad informática
Presentado por: Ing. Gabriel Álvarez Solis
Krag Brotby / Gary Hinson
Nov 2013
(Traducción E.Fdez.T.)
4. ¿Por qué métricas?
“El juicio de un hombre no puede
ser mejor que la información sobre
la que se ha basado..”
Arthur Hays Sulzberger, 1947
Lámina
4
5. ¿Por qué métricas?
•
•
•
•
•
•
•
Lámina
5
Tenga en cuenta que
medimos para administrar
y ------ Necesitamos :
Métricas estratégicas – para navegar
Métricas administrativas – para administrar
Métricas operacionales – para operar
6. ¿ Para quién son las métricas?
CEO
CISO
Lámina
6
Information
Security
7. ¿Para quién son las métricas?
CEO
CIO
IT
Lámina 7
CISO
Information
Security
8. Las métricas …
• Estratégicas son para los gerentes para saber si el programa va o no en su
curso
•
• Administrativas, para la administración del programa día a día
•
• Operacionales, para asegurarse de que la maquinaria está funcionando
adecuadamente
Lámina
8
10. ¿Para quién son las métricas?
CIO
CISO
Finance
IT
Information
Security
Lámin
a 10
VP
Production
Toronto
factory
Perth
factory
VP
Marketing
Sales
Business
units
CFO
C-suite
CEO
11. ¿Para quién son las métricas?
Local
communities &
society at large
Owners,
stockholders
Authorities,
industry regulators
Stakeholders
Customers,
suppliers, business
partners
CIO
CISO
Finance
IT
Information
Security
Lámina 11
VP
Production
Toronto
factory
Perth
factory
VP
Marketing
Sales
Business
units
CFO
C-suite
CEO
12. Audiencias de Métricas
Owners – for reassurance
External
stakeholders
Security
metrics
audiences
Regulators & authorities – for
reassurance & compliance
Customers, local communities &
Society at large – for reassurance
Senior management,
C-suite, Board
Middle/junior
management
Operations
Lámina 12
Peers
For strategic purposes,
governance & assurance
For information security
management & process
improvement
For operational reasons e.g. to
configure & manage security controls
For benchmarking comparison
& sharing good practices
13. ISO27k
ms
xi o
&a
s
es
iple
l i ci
rinc
Po
P
ss R i sk
me
nt
Ri
sk
an
aly
si s
Ri
sk
mi
tig
ati
on
di
t
as
se
s
ery
Au
ce
ie
ov
ien
lic
rr
ec
si l
Po
cy
Re
& s
s on
w ati
La gul
re
s
ste
e
rti
en
sa
pa
ng
Di
rd
nti
3
Co
ds
dar
tan
S
&
es
elin dures
id
Gu roce
p
Manage
& contain
Resolve
ce
an
pli
om
14.
co Busin
nti
nu ess
ity
React
.C
15
Identify
ma 4 . R
na isk
ge
me
nt
Prepare
cy
oli
.P
5
13. Incident
management
Learn
ISO/IEC
27002
Specify security
Implement
10.
Ops Comms
&
man
agem
ent
Test
Inventory
s
gg
& ing
al e
rtin
g
Pa
tch
ing
Mo
nit
ori
Co ng
nfi
gs
up
Lo
s
Ba
i ve
Ar
ch
ta
ck
s
on
Da
cti
tio
n
Fu
n
ca
pli
ms
Ap
ste
Sy
tw
o
rk
l
Ne
i ca
ys
Ph
Classification
en 9. P
8. H
vir hy
secu R
rity
on sic
me al
&
nt
al
s
Maintain
& support
Lámina 13
Liaison
Ownership
11
.
co Ac
n ce
tr s
o s
l
Develop
or acquire
Reporting
tion
aniza
. Org
6
7. Asset
management
Design
are
oftw
12. S pment
lo
deve
Structure
Ai r
Joiners
Movers
Leavers
Ph
Awareness,
training &
education
ys
co
i ca
nd
la
itio
&f
Po
cc
loo
nin
we
es
d
g
s
r
Fir
e
14. Objetivos y resultados
Metrics
Actions and
Decisions
Information
security goals
(reduce incidents,
increase assurance)
Business
outcomes
(market share,
profit etc.)
time and uncertainty
Lámina 14
Figura adaptada de Hauser and Katz Metrics: You Are What You Measure
www.mit.edu/~hauser/Papers/Hauser-Katz Measure 04-98.pdf
16. Objetivos
GQM
Preguntas
Goals
Questions
Maintain Acme’s
price premium
What does ‘Protect Acme’s
IP’ actually mean?
What IP is Acme’s, in fact?
Push into
new markets
Protect
Acme’s IP
Protect Acme’s IP from what?
Protect which IP?
How should Acme’s IP be protected?
Lámina
16
Maximize value
of the distribution,
service & support
outlets
Why protect Acme’s IP?
17. GQM
Objetivos
Preguntas
Métricas
Goals
Questions
Metrics
Maintain Acme’s
price premium
What does ‘Protect Acme’s
IP’ actually mean?
What IP is Acme’s, in fact?
Push into
new markets
Protect Acme’s IP from what?
Relative value of
different forms of IP
Most-Least important factors
determining the value of IP
Protect
Acme’s IP
Protect which IP?
IP investments
Comparative IP valuations
How should Acme’s IP be protected?
Lámina 17
Maximize value
of the distribution,
service & support
outlets
Why protect Acme’s IP?
18. Media docena de señales …
“Cada Oficial de Seguridad (CSO) debe
tener media docena de señales qué vigilar
en forma regular. Estos indicadores pueden
ser “métricas de supervivencia,” los
botones rojos en un tablero del que se
espera usted se haga cargo, el cual
monitorea el bienestar de su organización,
o un problema que preocupa a la gerencia.”
George K. Campbell
Lámina
18
21. PRAGMATIC
Metametrics
Predictive – forward-looking
Relevant – to the business and infosec
Actionable – controllable, do-able
Genuine – can’t be faked or falsified
Meaningful – to the audience
Accurate – enough to be useful
Timely – here and now
Independent – hence verifiable
Cheap – always a bonus!
Lámina 21
22. Metametrics
PRAGMATIC
Predictiva – Ayuda a manejar
situaciones, tomar decisiones y
mejorar las cosas para el futuro
Relevante – Para el especialista en
materia, ya sea de seguridad de
información, gobierno, riesgo,
cumplimento o control entre otros
Accionable – Proporciona información
para poder tomar acciones
Genuina – Los números resultantes
están basados en los hechos y no
pueden ser fácilmente manipulados
deliberadamente
Lámina 22
23. Metametrics
PRAGMATIC
Meaningful/Significativa – Para la audiencia a la
que va dirigida, sin crear incertidumbre o
excepticismo
Accurate/Precisa – Real y precisa para permitir
control mesurado? proporcional (nos
detenemos? O seguimos avanzando? Más rápido,
o lento?
Timely/Oportuna – Obtenga la información en el
momento en que se requiere para la toma de
decisiones
Independiente – Medida objetiva, basándose en
evidencia que pueda ser verificable; y
Costo-efectiva/Económica – Genera más valor
que lo que cuesta el recopilar, analizar, presentar
y utilizar la métrica
Lámina 23
24. Ejemplo de mapa de calor
Perth factory
Toronto factory
Global distribution, service and support
Manufacturing operations
Manufacturing operations
QC
QC
Goods in
Packaging and dispatch
Procurement
Packaging
and dispatch
Supplier
relations
Goods in
Sales and marketing
▲
Infosec
Risk
IT
C-suite
Finance
HR
R&D
HQ
Legal & compliance
Lámina 24
25. Un análisis de profundidad
Ventas y Mercadotecnia estatus de infosec, May 2012:
69%
Risk management
79%
Policy ▲
61%
Organization
44%
Asset management
20%
HR security
31%
Physical & environmental
58%
Comms & ops management
58%
Access control ▲
69%
Software development
73%
Incident management
10%
Business continuity ▼
39%
Compliance
51%
OVERALL
Lámina
25
31. Metamétricas avanzadas
• So-pesando el criterio
PRAGMÁTICO
• Compilando, graduando,
compartiendo y comparando
catálogos de métricas
• Medidas creativas: más por menos
• Sistema de métricas de seguridad
de Información
• Medir cualquier cosa
Lámina
31
36. Gracias por su atención
Contacto en México: Innovative-Soft
Ing. Gabriel Álvarez Solis
gas@innovative-soft.com
Tel. 044-55-3018-5456
Contacto con el autor:
Krag Brotby
kragby@gmail.com
Lámina 36