Interacción entre agentes inteligentes

sistemas inteligentes
interacción entre agentes

Faraón Llorens

Curso 2012-2013
Máster Universitario en Tecnologías de la Informática
Departamento de Ciencia de la Computación e Inteligencia Artificial

sistemas inteligentes:
interacción entre agentes

¿de qué vamos a hablar?

2

agentes que interactúan

Imagine que se han descubierto un conjunto de reglas aplicables a todos los
participantes, llamadas “óptimas” o “racionales”. Estas reglas son desde luego
óptimas, en el caso de que los demás participantes se atengan a ellas. Queda
por ver lo que sucedería si uno de los participantes no siguiera las reglas. Si de
aquí resultan consecuencias beneficiosas para ellos, y en particular
perjudiciales para los que cumplen las reglas, se pondría muy en duda la
“solución” mencionada anteriormente /.../
Independientemente de la manera en que formulemos los principios básicos y la
justificación objetiva de un “comportamiento racional”, habrá que tener en
cuenta las condiciones que conllevan todos los comportamientos posibles de
“los otros”.
Theory of Games and Economic Behavior.
John von Neumann y Oskar Morgenstern
3


debate

¿nos podemos fiar de los demás?

¿los humanos somos animales sociales?

¿cómo se define la interacción entre humanos?

¿cómo se puede gestionar la interacción entre agentes?

¿dejarías que una máquina tomara decisiones por ti?

4


Teoría de Juegos

estudia los conflictos entre seres racionales

que desconfían uno del otro

y la toma de decisiones en estos ambientes

5


empecemos con un ejemplo sencillo:

reparto de un pastel (o de una herencia)

entre 2 personas

entre 3 personas

…

6


la teoría de juegos

estudia la pugna entre unos oponentes

que piensan

y que pueden ser capaces de engañar al otro

7


un agente debe prever las acciones de los otros
agentes en su propia tarea de planificación

y cómo puede influir en las acciones de otros agentes
en beneficio de sus propios objetivos

8


los efectos de las acciones de otros agentes

sobre nuestro agente pueden ser

favorables,

neutros

o perjudiciales

para los objetivos de nuestro agente

9


la relación entre los agentes puede ser

cooperativa
o
competitiva

10


negociación

11


podemos definir la negociación como

una actividad en la que dos partes,

cuyos intereses son en parte complementarios y

en parte opuestos,

tratan de alcanzar un acuerdo

que satisfaga al máximo los intereses de uno y de otro,

al tiempo que facilita la realización de nuevas negociaciones
en el futuro

12


negociación distributiva

las posibles ganancias están fijadas de antemano

lo que uno gana, el otro lo pierde

juegos de suma cero

13


los juegos de suma cero implican estrictamente competición

los encuentros de suma cero en la vida real son muy raros …

… pero la gente tiende a actuar en muchos escenarios
como si fuesen de suma cero

14


negociación integrativa

ponerse de acuerdo en colaborar para hacer un pastel
mayor, lo que supone que ambos pueden ganar

estrategias ganar-ganar

15


Nosotros
Perder Ganar
Perder Estúpido Malévolo
Otros
Ganar Imprudente Inteligente

16


Adverso
clima de la (-) Preocupación por la tarea (+)
(tenso, competitivo,
Cooperativo
(retador, excitante,
negociación desagradable)
creativo)

Esquivo
Complaciente
(bajo de energía,
(amistoso, moderado,
frustrante,
agradable)
insatisfacción)

(-) Preocupación por las personas (+)

17


información

La ventana de Johary (Joseph Luft y Harry Ingram)

Lo sé yo No lo sé yo
Lo saben los demás Área abierta Área ciega
No lo saben los
Área oculta Área desconocida
demás

18


MAPAN

mejor alternativa para un acuerdo negociado

¿qué alternativas tengo si no consigo un acuerdo
satisfactorio en esta negociación?

19


si el acuerdo propuesto mejora la MAPAN,

entonces lo aceptamos,

pero si es inferior,

lo rechazamos e intentamos renegociar el tema

20


objetivo

elaborar la MAPAN propia,

procurar que no sea conocida por la otra parte,

e intentar descubrir cuál es la MAPAN de los contrarios

21


las zonas en que se mueve una negociación son:

 utopía: zona difícil de alcanzar

 ideal: acuerdo ventajoso para nosotros

 equilibrio: zona de los negociadores inteligentes

 mínimo: zona de poco beneficio (“salvar los muebles”)

 punto de ruptura: en el que nos levantamos de la mesa

22


piensa con la cabeza

y luego deja hablar a tu corazón

23


el análisis DAFO

se emplea para establecer el diagnóstico estratégico

y lo podemos utilizar como sistema de toma de decisiones
acerca de la estrategia más conveniente en una negociación

24


análisis DAFO
análisis externo:

 Amenazas

 Oportunidades

análisis interno:

 Fortalezas

 Debilidades

25


Análisis externo
Amenazas Oportunidades
Estrategia
Análisis interno

Estrategia
Fortalezas defensiva o
ofensiva
reactiva

Estrategia de
Estrategia de
Debilidades reorientación
supervivencia
(creatividad)

26


la negociación automática

puede ahorrar tiempo a los humanos

además de realizar contratos más beneficiosos

27


negociación
(formalización matemática)

 función de utilidad: diferencia entre el beneficio de
conseguir un objetivo y el coste invertido para lograrlo.

 espacio de transacciones: acción que un agente hace y que
lleva asociada una utilidad.

 estrategias y protocolos de negociación: reglas que
gobiernan la negociación, incluyendo cómo y cuándo finaliza
la misma.

28


existen distintas técnicas de negociación:
 votación (“voting”)

 subasta (“auction”)

 pacto (“bargaining”)

 mecanismos de mercado (“market mechanisms”)

 contratación (“contracting”)

 coaliciones (“coalition formation”)

29


necesitamos un modelo del entorno en el que actuarán los
agentes:
 los agentes de forma simultanea eligen realizar una
acción y obtenemos una salida como resultado de
esas acciones
 la salida depende de la combinación de las acciones

 asumimos que cada agente puede realizar dos
acciones posibles, C (cooperar) y D (defraudar o
desertar)

30


podemos caracterizar el escenario en forma de una
matriz de decisión

agente/jugador

agente/jugador

31


el dilema del prisionero
Dos hombres, acusados de infringir conjuntamente la ley, han sido confinados por la
policía en habitaciones separadas sin poder intercambiarse mensajes. La situación
es la siguiente:
- El jefe de policía les propone a cada uno de ellos un pacto. Si uno de ellos testifica
contra su compañero quedará libre, pero el otro será sentenciado con prisión.
- Pero hay una trampa, ya que si ambos testifican el uno contra el otro, se condenará
a los dos.
- Al mismo tiempo, cada uno de ellos tienen sus buenas razones para creer que si
ninguno confiesa, ambos tendrán una sentencia menor (la policía carece de pruebas
suficientes para condenarlos por la acusación principal).
Se informa a ambos que al otro prisionero se le está haciendo la misma propuesta y
se les concede un corto plazo de tiempo para que mediten la cuestión, pero en
ningún momento uno podrá conocer la decisión del otro.
32



Jugador i Jugador j Ptos. i Ptos. j

Coopera Coopera 3 3

Coopera Defrauda 1 4

Defrauda Coopera 4 1

Defrauda Defrauda 2 2

33


La acción racional individual es defraudar:
garantiza una ganancia mínima de 2, mientras que la
cooperación garantiza una ganancia de al menos 1

Así que la deserción es la mejor respuesta a todas las posibles
estrategias:
ambos agentes defraudan y obtienen una ganancia de 2

Pero la intuición nos dice que no es la mejor opción:
seguramente ambos deberían cooperar y así cada uno
obtendría una ganancia de 3

34


esta aparente paradoja es el
problema fundamental de las interacciones entre agentes

parece implicar que la
cooperación no ocurrirá en sociedades de agentes egoístas

¿podemos recuperar la cooperación?

35


argumentos para recuperar la cooperación

no todos somos Machiavello

el otro prisionero es mi colega

la sombra del futuro …

36


una respuesta
jugar al juego más de una vez

si tu sabes que te volverás a encontrar
de nuevo con tu oponente,
entonces el incentivo para defraudar
parece evaporarse

37


(iterativo)

cada jugador sabe que va a interactuar varias veces
con su oponente

podemos tener en cuenta lo ocurrido en el pasado

38


(iterativo)

juego en línea

http://www.wadzar.fr/prisonniers.php

39


algunas estrategias del
dilema del prisionero iterativo

 siempre cooperar
 siempre desertar
 aleatoriamente
 donde las dan, las toman
 rencoroso
 mezclas
 …

40


la cooperación
es la elección racional
en el dilema del prisionero
que se repita de manera infinita

41


el dilema del prisionero es ubicuo

ejemplos del mundo real:
 reducción de las armas nucleares

 transporte privado versus transporte público

 moratoria para la caza de ballenas

 …

42


otros juegos 2 x 2 simétricos

dadas las 4 posibles salidas del juego cooperar y
defraudar (simétrico), hay 24 posibles ordenaciones
de las salidas:

 CC >i CD >i DC >i DDcooperación

 DC >i DD >i CC >i CDbloqueo mutuo

 DC >i CC >i DD >i CDdilema del prisionero

 DC >i CC >i CD >i DDjuego del gallina

 CC >i DC >i DD >i CDcaza del ciervo
43


el juego del gallina

juego de carreras de coches (James Dean en Rebelde sin Causa):
dos jugadores corren el uno hacia el otro hacia una aparente colisión
frontal: el primero en desviarse de la trayectoria es el gallina
ambos jugadores evitan el choque (cooperan)
o continúan con la trayectoria (desertan)
44


juegos de n personas

participan un número arbitrario de personas

son más complicados de estudiar

45


 La negociación es una habilidad humana, común a todas las
personas pero que adquiere gran importancia entre las
habilidades que un directivo debe tener.
 Se trata de un proceso cognitivo de orden superior y muy
evolucionado.
 Aunque intercambiamos cosas desde muy antiguo, esta
habilidad ha ido evolucionando con el tiempo encontrando
procedimientos muy sofisticados, más allá del trueque inicial
 Aprendemos a negociar desde que nacemos y continuamos en
la vida diaria en multitud de actividades cotidianas (entre niños
en el colegio y los juegos, padres-hijos, profesores-
estudiantes, marido-mujer, jefes-empleados, …).

47

 Clásicamente se distinguen dos tipos de negociadores, el competitivo
(duro) y el cooperativo (suave).

 Modelo equilibrado:
 Sea solucionador de problemas
 Su objetivo debe ser un resultado eficiente y amistoso
 Sea suave con la gente y duro con el problema
 Proceda independientemente de la confianza/desconfianza en la otra parte
 Busque los intereses esenciales
 Céntrese en intereses, no en posiciones
 Tenga un límite inferior razonablemente prefijado
 Genere alternativas para el beneficio mutuo
 Trate de llegar a un acuerdo independientemente de las personalidades
 Piense y manténgase abierto a razonamientos. Ceda ante los principios, no
a la presión

48

 Antes, período de preparación:
 Definición del objetivo de la negociación (lo que queremos negociar y lo que no queremos negociar)
 Nuestros objetivos (máximos, medios, mínimos y punto de ruptura)
 Elaboración del BATNA
 Establecer la ZOPA


Recopilación de información
Condicionantes de las negociaciones
fases de la


El equipo propio
La agenda negociación
 El escenario (la situación)
 El entrenamiento.

 Durante, tiempo entre el primer encuentro y el cierre (con acuerdo o sin él):
 Establecimiento de la agenda
 Intercambio de información (puntos de coincidencia y discrepancias, posiciones)
 Argumentaciones, ofrecimiento de alternativas, regateos, …
 Comunicación: verbal (oral y escrita) y no verbal
 Control emocional de los negociadores

 Después, momento de ponernos de acuerdo sobre lo que nos hemos puesto de acuerdo (al final de la
negociación hay que resumir lo acordado y acordar lo resumido):
 Conseguir una redacción de los acuerdos aceptable por ambas partes
 Reflexionar sobre el proceso y los resultados (tomar nota para el futuro)

49

MAPAN (“Mejor Alternativa Para un Acuerdo Negociado)

¿Qué haré si no consigo un acuerdo satisfactorio en esta negociación?

 “La MAPAN es el único estándar que puede protegerle a usted de aceptar
acuerdos que son demasiado desfavorables para sus intereses y de rechazar
acuerdos que le interesaría aceptar. Si el acuerdo propuesto mejora su MAPAN,
entonces debe aceptar, pero si es inferior, lo debe rechazar e intentar renegociar
el tema”

 Las MAPAN no son fáciles de visualizar. Esquema:
 Listado de las acciones a llevar a cabo si no se concluye la negociación con un acuerdo
 Mejorar algunas de las ideas más prometedoras y convertirlas en opciones prácticas
 Seleccionar la opción que parezca mejor

 Objetivo: elaborar la MAPAN propia, procurar que no sea conocida por la otra
parte, e intentar descubrir cuál es la MAPAN de los contrarios.

50

ZOPA (“Zona de Posible Acuerdo”)

 Antes de sentarnos a negociar debemos marcarnos unos límites
mínimos y máximos, tanto de lo que se desea lograr como de lo que se
está dispuesto a ceder.
 Por ejemplo, en una comprar, la ZOPA está comprendida entre lo
máximo que está dispuesto a pagar el comprador y el mínimo que está
dispuesto a cobrar el vendedor.

 Las zonas en que se mueve una negociación son:
 Utopía: zona difícil de alcanzar
 Ideal: acuerdo ventajoso para nosotros
 Equilibrio: zona de los negociadores inteligentes
 Mínimo: zona de poco beneficio (“salvar los muebles”)
 Punto de ruptura: punto en que nos levantamos de la mesa.

51

 El análisis DAFO se emplea para establecer el diagnóstico estratégico y
lo podemos utilizar como sistema de toma de decisiones acerca de la
estrategia más conveniente en una negociación.

 Análisis externo: nos permite identificar las amenazas (peligro
planteado por una tendencia desfavorable del entorno, que conduciría,
si no se acometen acciones adecuadas, a la pérdida de la posición
negociadora) y las oportunidades (conjunto de circunstancias
favorables en un mercado específico en el que la empresa podría
desarrollar con éxito determinadas acciones).
 Análisis interno: nos permite identificar las fortalezas (puntos
fuertes, bazas con las que cuenta la empresa) y las debilidades
(carencias de la empresa).

 Una vez realizado el análisis intente guardar un equilibrio entre el
realismo (nos hace conscientes de nuestras limitaciones) y el idealismo
(nos permite evaluar nuestras oportunidades). “Piense con la cabeza, y
luego deje hablar a su corazón”.
52


Negociación

 Función de utilidad: diferencia entre el beneficio de
conseguir un objetivo y el coste invertido para lograrlo.

 Espacio de transacciones: acción que un agente hace y que
lleva asociada una utilidad.

 Estrategias y Protocolos de Negociación: reglas que
gobiernan la negociación, incluyendo cómo y cuándo finaliza
la misma.

53


Utilidad y Preferencia

 Asumimos que tenemos dos agentes: Ag = {i, j}
 Dichos agentes son egoístas: tienen unos intereses particulares y
unas preferencias sobre el entorno
 Asumimos Ω = {ω1, ω2, …} como el conjunto de salidas sobre las
preferencias de los agentes
 Capturamos las preferencias con las funciones de utilidad:
ui : Ω → R
uj : Ω → R
 Estas funciones de utilidad permiten una ordenación de preferencias
en función de estas salidas:
ω ≥i ω’ sii ui(ω) ≥ ui(ω’)
ω >i ω’ sii ui(ω) > ui(ω’)
54


 Necesitamos un modelo del entorno en el que actuarán
estos agentes:
 los agentes de forma simultanea eligen realizar una acción y
obtenemos una salida en Ω como resultado de esas acciones
 la salida depende de la combinación de las acciones
 Asumimos que cada agente puede realizar dos acciones
posibles, C (“cooperar”) y D (“defraudar” o “desertar”)

 El comportamiento del entorno viene dado por la función
transformadora del estado :

55


 La siguiente es una función transformadora del estado :

(Este entorno es sensible a las acciones de ambos agentes)

 Esta es otra:

(Ningún agente tiene influencia sobre este entorno)

 Y esta es otra:

(Este entorno está controlado por j)

56


Acción Racional
 Supongamos que tenemos un caso en el que ambos agentes tienen
influencia sobre la salida y que tienen las siguientes funciones
utilidad:

 Abusando de la notación:

 Entonces, las preferencias del agente i son:

 “C” es la elección racional para i, ya que i prefiere todas las salidas
obtenidas a partir de C sobre todas las de D.
57


 Podemos caracterizar el escenario en forma de una
matriz de decisión :

 El agente i es el jugador de la columna
 El agente j es el jugador de la fila

58


Estrategias Dominantes

 Dada una estrategia particular (C o D) del agente i, habrá un
numero de posibles salidas

 Decimos que s1 domina a s2 si cada posible salida para i jugando s1
es preferida sobre cada posible salida para i jugando s2

 Un agente racional nunca jugará una estrategia dominable

 Así, podemos borrar las estrategias dominables

 Desafortunadamente, no siempre hay una única estrategia no
dominable

59


Equilibrio de Nash
 En general, diremos que dos estrategias s1 y s2 están en equilibrio
de Nash si:
 Suponiendo que el agente i juega s1, el agente j no puede hacer nada
mejor que jugar s2
 Suponiendo que el agente j juega s2, el agente i no puede hacer nada
mejor que jugar s1

 Ningún agente tienen ningún incentivo para desviarse del
equilibrio de Nash

 Desafortunadamente:
 No todo escenario de interacción tiene un equilibrio de Nash
 Algunos escenarios de interacción tiene más de un equilibrio de Nash

60


Interacciones Competitivas y de Suma Cero
 Las preferencias de los agentes son diametralmente opuestas y
tenemos escenarios estrictamente competitivos

 Los encuentros de suma cero son aquellos en los que la suma de
las utilidades es cero:

ui(ω) + uj(ω) = 0 ∀ω∈Ω

 Los juegos de suma cero implican estrictamente competición

 Los encuentros de suma cero en la vida real son muy raros …
 … pero la gente tiende a actuar en muchos escenarios como si
fuesen de suma cero

61


bibliografía

Poundstone, W. (1995).
El Dilema del prisionero. John von
Neumann, la teoría de juegos y la
bomba.
El Libro de Bolsillo. Sección:
Ciencia y Técnica, 1747, Alianza
Editorial, Madrid.
Dibujo de Bill Mauldin de 1960
Metamagical Themas:Questing for the Essence of Mind and
Pattern, Douglas R. Hofstadter, Basic Books, 1985
62


bibliografía

“An Introduction to MultiAgent Systems”
Michael Wooldridge
John Wiley & Sons, 2002

http://www.csc.liv.ac.uk˜mjwpubsimas

63


bibliografía

“El pequeño libro de las grandes
decisiones”
50 modelos para el pensamiento estratégico
Mikael Krogerus y Roman Tschäppeler

64

Interacción entre agentes inteligentes

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (16)

Destacado

Destacado (20)

Similar a Interacción entre agentes inteligentes

Similar a Interacción entre agentes inteligentes (20)

Último

Último (20)

Interacción entre agentes inteligentes

Notas del editor