Lecture 04 florent perronnin - large-scale visual recognition with ecplicit embedding
•
0 recomendaciones•287 vistas
ICVSS 2014 slides
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (19)
Destacado
Destacado (14)
Más de mustafa sarac
Más de mustafa sarac (20)
Lecture 04 florent perronnin - large-scale visual recognition with ecplicit embedding
- 3. 𝐹 𝑥 𝑦 𝑦∗ = arg max 𝑦 𝐹(𝑥, 𝑦; 𝑊) 𝐹(𝑥, 𝑦; 𝑊)
- 4. 𝐹 𝑥 𝑦 𝑦∗ = arg max 𝑦 𝐹(𝑥, 𝑦; 𝑊) → 𝐹(𝑥, 𝑦; 𝑊) Φ( ) Φ( ) Θ( ) Θ( )
- 5. 𝑎 𝑏 Φ 𝑎 Φ 𝑏 : Φ(𝑥)𝑥 = 𝑎 𝑏 𝑐 Φ(𝑎) Φ(𝑏) Φ(𝑐) 𝑅 𝑑
- 6. 𝑢 𝑣 Θ 𝑢 Θ 𝑣 : Θ(𝑦) 𝑢 𝑣 𝑧 Θ(𝑢) Θ(𝑣) Θ(𝑧) 𝑦 = 𝑅 𝑒
- 7. • • • →
- 9. • • •
- 10. →
- 11. • • →
- 13. • → • • →
- 17.
- 19. • • •
- 20. • • •
- 23. Φ → • X = 𝑥1, … , 𝑥 𝑇 • 𝑥 𝑡 𝜑 𝑥𝑡 • 1 𝑇 𝜑 𝑥 𝑡 𝑇 𝑡=1
- 24. • → • 𝜑 𝑏𝑜𝑣 𝑥𝑡 = [0, … , 0, 1, 0, … , 0] • →
- 25. 𝝋
- 26. 𝝋
- 27. 𝝋
- 28. 𝝋 •
- 29. 𝝋 • •
- 32. {𝜇1, … , 𝜇 𝑁} X = 𝑥1, … , 𝑥 𝑇 • 𝑁𝑁 𝑥 𝑡 = arg min 𝜇 𝑖 𝑥 𝑡 − 𝜇𝑖 • 𝑣𝑖 = (𝑥 𝑡 − 𝜇𝑖)𝑥 𝑡: 𝑁𝑁 𝑥 𝑡 =𝜇 𝑖 • 𝑣𝑖 ℓ2 3 x v1 v2 v3 v4 v5 1 4 2 5 ① ② ③
- 33. 𝑣𝑖 = (𝑥𝑡 − 𝜇𝑖)𝑥 𝑡: 𝑁𝑁 𝑥 𝑡 =𝜇 𝑖
- 34. 𝜑 𝑣𝑙𝑎𝑑 𝑥𝑡 = 0, … , 0, (𝑥𝑡−𝜇𝑖), 0, … , 0 • • → 𝐷 𝑫𝑵
- 37. 𝑢 𝜆 𝑥𝑡 𝑔 𝜆 (𝑥𝑡) = 𝛻𝜆 log 𝑢 𝜆(𝑥𝑡)
- 38. 𝐹𝜆 = 𝐸 𝑥~𝑢 𝜆 𝑔 𝜆(𝑥)𝑔 𝜆(𝑥) 𝑇 𝐾 𝑥, 𝑧 = 𝑔 𝜆(𝑥) 𝑇 𝐹𝜆 −1 𝑔 𝜆(𝑧)
- 39. 𝐹𝜆 = 𝐸 𝑥~𝑢 𝜆 𝑔 𝜆(𝑥)𝑔 𝜆(𝑥) 𝑇 𝐾 𝑥, 𝑧 = 𝑔 𝜆(𝑥) 𝑇 𝐹𝜆 −1 𝑔 𝜆(𝑧) 𝐹𝜆 −1 = 𝐿 𝜆 𝑇 𝐿 𝜆 𝜑 𝜆 𝑓𝑣(𝑥𝑡) = 𝐿 𝜆 𝑔(𝑥𝑡)
- 40. 𝑢 𝜆 𝑢 𝜆(𝑥) = 𝑤𝑖 𝑢𝑖(𝑥) 𝑁 𝑖=1 𝑢𝑖 𝑥 = 1 (2𝜋) 𝐷/2 Σ 𝑖 1/2 exp − 1 2 (𝑥 − 𝜇𝑖)′Σ𝑖 −1 (𝑥 − 𝜇𝑖) → 𝜆 = 𝑤𝑖, 𝜇𝑖, Σ𝑖, 𝑖 = 1 … 𝑁 Σ𝑖 = 𝑑𝑖𝑎𝑔(𝜎𝑖 2) → 𝑤𝑖, 𝜇𝑖 𝜎𝑖
- 41. 𝛾𝑡(𝑖) 𝑥 𝑡 𝑖 𝜑 𝑤 𝑥 𝑡 = 𝛾𝑡(1) 𝑤1 , … , 𝛾𝑡(𝑁) 𝑤 𝑁 𝜑 𝑏𝑜𝑣 𝑥 𝑡 = [0, … , 0, 1, 0, … , 0] → 𝜑 𝜇 𝑥 𝑡 = 𝛾𝑡 1 𝜎1 𝑤1 𝑥 𝑡 − 𝜇1 , … , 𝛾𝑡 1 𝜎1 𝑤 𝑁 𝑥 𝑡 − 𝜇 𝑁 𝜑 𝑣𝑙𝑎𝑑 𝑥 𝑡 = 0, … , (𝑥 𝑡−𝜇𝑖), … , 0 → 𝜑 𝜎 𝑥 𝑡 = 𝛾𝑡 1 2𝑤1 𝑥 𝑡−𝜇1 2 𝜎1 2 − 1 , … , 𝛾𝑡 𝑁 2𝑤 𝑁 𝑥 𝑡−𝜇 𝑁 2 𝜎 𝑁 2 − 1 → → 𝜑 𝜇 𝜑 𝜎 → 𝟐𝑫𝑵
- 42. 𝜑 𝑏𝑜𝑣 𝑥 = [0, … , 0, 1, 0, … , 0] 𝑤 𝑇 𝜑 𝑏𝑜𝑣(𝑥)
- 43. 𝜑 𝑏𝑜𝑣 𝑥 = [0, … , 0, 1, 0, … , 0] 𝑤 𝑇 𝜑 𝑏𝑜𝑣(𝑥) →
- 44. 𝜑 𝑣𝑙𝑎𝑑 𝑥 = 0, … , (𝑥 − 𝜇𝑖), … , 0 𝑤 𝑇 𝜑 𝑣𝑙𝑎𝑑(𝑥)
- 45. 𝜑 𝑣𝑙𝑎𝑑 𝑥 = 0, … , (𝑥 − 𝜇𝑖), … , 0 𝑤 𝑇 𝜑 𝑣𝑙𝑎𝑑(𝑥) →
- 46. 𝜑 𝑓𝑣 𝑥 𝑡 = … , 𝛾𝑡 𝑖 𝜎𝑖 𝑤𝑖 𝑥 𝑡 − 𝜇𝑖 , 𝛾𝑡 𝑖 2𝑤𝑖 𝑥 𝑡 − 𝜇𝑖 2 𝜎𝑖 2 − 1 , … 𝑤 𝑇 𝜑 𝑓𝑣(𝑥)
- 47. 𝜑 𝑓𝑣 𝑥 𝑡 = … , 𝛾𝑡 𝑖 𝜎𝑖 𝑤𝑖 𝑥 𝑡 − 𝜇𝑖 , 𝛾𝑡 𝑖 2𝑤𝑖 𝑥 𝑡 − 𝜇𝑖 2 𝜎𝑖 2 − 1 , … 𝑤 𝑇 𝜑 𝑓𝑣(𝑥) → →
- 48. • ℓ2 • 𝑧 𝑠𝑖𝑔𝑛 𝑧 𝑧 𝛼 0 ≤ 𝛼 ≤ • → 𝛼 = 1/2
- 49. 𝜆 = 𝑤𝑖, 𝜇𝑖, Σ𝑖, 𝑖 = 1 … 𝑁 X = 𝑥1, … , 𝑥 𝑇 • 𝑥 𝑡: • 𝛾𝑡 𝑖 = 𝑤 𝑖 𝑢 𝑖 𝑥 𝑡 𝑤 𝑘 𝑢 𝑘 𝑥 𝑡 𝑁 𝑘=1 • 𝜑 𝜇 += … , 𝛾𝑡 𝑖 𝜎 𝑖 𝑤𝑖 𝑥 𝑡 − 𝜇𝑖 , … 𝜑 𝜎 += … , 𝛾𝑡 𝑖 2𝑤 𝑖 𝑥 𝑡−𝜇𝑖 2 𝜎𝑖 2 − 1 , … • ℓ2 • •
- 53. • •
- 55. • • •
- 57. • • •
- 58. • • • • →
- 59. • • • →
- 61. • → • • →
- 62. • • • •
- 63. • • • •
- 65. 𝒴 = 1, … , 𝑘 Θ 𝑦 = [0, … , 0, 1, 0, … , 0]
- 66. • {−1, +1} 𝐵(1/2) • • →
- 67. • {−1, +1} 𝐵(1/2) • • • • −1 … +1 +1 … +1 +1 … −1
- 68. • {−1, +1} 𝐵(1/2) • • • •
- 69. • • → Θ 6 = →
- 70. → → →
- 72.
- 73. 7 × 5 1 = 2 = 3 = 𝐴 = 𝐵 =
- 74. 7 × 5 • → • 1 = 2 = 3 = 𝐵 = Θ 𝑦 = Φ(𝑠𝑦𝑛𝑡ℎ𝑒𝑠𝑖𝑠 𝑦 ) 𝐴 =
- 76. 𝑛 × 𝑘 𝑌 →
- 78. • • • •
- 79. • • • •
- 80. 𝐹 𝑦∗ = arg max 𝑦 𝐹(𝑥, 𝑦; 𝑊) Φ(𝑥) ∈ 𝑅 𝑑 Θ(𝑦) ∈ 𝑅 𝑒 𝒅 ≠ 𝒆 𝐹(𝑥, 𝑦; 𝑊) Φ( ) Φ( ) Θ( ) Θ( )
- 81. 𝑤 𝑦 𝑑 = 𝑒 𝐹 𝑥, 𝑦 = 𝑤 𝑦 𝑇Φ 𝑥 • 𝑊 = 𝑤1 , … , 𝑤 𝑘 𝑑 × 𝑘 𝑘 • Θ(𝑦) Θ 𝑦 = [0, … , 0, 1, 0, … , 0] 𝑇 𝐹 𝑥, 𝑦; 𝑊 = [ Φ 𝑥 𝑇 ] 𝑊 Θ(𝑦)
- 82. 𝑑 ≠ 𝑒: 𝐹 𝑥, 𝑦; 𝑊 = [ Φ 𝑥 𝑇 ] 𝑊 Θ(𝑦) 𝑊 𝑑 × 𝑒 → → 𝑊
- 83. 𝑑 ≠ 𝑒: 𝐹 𝑥, 𝑦; 𝑊 = [ Φ 𝑥 𝑇 ] 𝑊 Θ(𝑦) 𝑊 𝑑 × 𝑒 • 𝐹 𝑥, 𝑦; 𝑊 = −| 𝑊 𝑇Φ 𝑥 − Θ 𝑦 |2 • 𝐹 𝑥, 𝑦; 𝑊 = −| Φ 𝑥 − 𝑊Θ 𝑦 |2
- 84. → U 𝑊 𝑊 = 𝑈 𝑇 𝑉 • 𝑈 𝑟 × 𝑑 • 𝑉 𝑟 × 𝑒 𝐹 𝑥, 𝑦; 𝑊 = Φ 𝑥 𝑇 𝑊Θ(𝑦) 𝐹 𝑥, 𝑦; 𝑈, 𝑉 = 𝑈Φ 𝑥 𝑇 𝑉Θ 𝑦 = Φ′ 𝑥 𝑇Θ′ 𝑦 Φ′ 𝑥 = 𝑈Φ 𝑥 Θ′ 𝑦 = 𝑉Θ 𝑦 → 𝑟 → 𝑟 ≪ 𝑑, 𝑒
- 86. •
- 87. • •
- 88. • • •
- 89. • • • →
- 90. • •
- 91. • Ψ 𝑥, 𝑦 = Φ 𝑥 ⊗ Θ 𝑦 𝑑𝑒 • 𝑤 𝑑𝑒 𝑊 𝐹 𝑥, 𝑦; 𝑊 = Φ 𝑥 𝑇 𝑊Θ 𝑦 = 𝑤 𝑇 Ψ 𝑥, 𝑦 → →
- 92. Θ = [Θ 1 , … , Θ 𝑘 𝑒 × 𝑘 𝐹 𝑥, . ; 𝑊 = Θ 𝑇(Φ 𝑥 𝑇 𝑊) → Φ(𝑥) 𝑧 = 𝑊 𝑇Φ 𝑥 Θ 𝑇 𝑧 𝑊 Θ
- 93. Θ = [Θ 1 , … , Θ 𝑘 𝑒 × 𝑘 𝐹 𝑥, . ; 𝑊 = Θ 𝑇(Φ 𝑥 𝑇 𝑊) → • Φ(𝑥) 𝑧 = 𝝈(𝑊 𝑇 Φ 𝑥 ) Θ 𝑇 𝑧 𝑊 Θ
- 94. Θ = [Θ 1 , … , Θ 𝑘 𝑒 × 𝑘 𝐹 𝑥, . ; 𝑊 = Θ 𝑇(Φ 𝑥 𝑇 𝑊) → • • → Φ(𝑥) 𝑧 = 𝝈(𝑊 𝑇 Φ 𝑥 ) Θ 𝑇 𝑧 𝑊 Θ
- 95. • • • •
- 96. • • • •
- 97. • → 𝑊 • → 𝑊 Θ
- 98. 𝚯 𝑊 𝑊 →
- 99. 𝚯 𝑊 𝑊 →
- 100. 𝚯 𝑊 arg max 𝑊 1 𝑛 𝐹(𝑥𝑖, 𝑦𝑖 𝑛 𝑖=1 ; 𝑊) 𝑊 𝐹 𝑥, 𝑦; 𝑊 = −| 𝑊 𝑇Φ 𝑥 − Θ 𝑦 |2 𝐹 𝑥, 𝑦; 𝑊 = −| Φ 𝑥 − 𝑊Θ 𝑦 |2 → 𝐹 𝑥, 𝑦; 𝑈, 𝑉 = −| 𝑈Φ 𝑥 − 𝑉Θ 𝑦 |2 →
- 101. 𝚯 𝑊 𝑥 = , 𝑦+ = , 𝑦− = 𝐹 𝑥, 𝑦+ ; 𝑊 > 𝐹 𝑥, 𝑦− ; 𝑊 →
- 102. 𝚯 𝑊 ℓ 𝑥, 𝑦; 𝑊 = max𝑗 Δ 𝑦, 𝑦𝑗 − 𝐹 𝑥, 𝑦; 𝑊 + 𝐹 𝑥, 𝑦𝑗; 𝑊 Δ 𝑦, 𝑦𝑗 𝑦 𝑦𝑗 • 𝑦 = 𝑦𝑗 𝑦 ≠ 𝑦𝑗 • → arg max 𝑊 1 𝑛 ℓ(𝑥𝑖, 𝑦𝑖 𝑛 𝑖=1 ; 𝑊) 𝑊
- 103. 𝚯 𝑊 ℓ 𝑥, 𝑦; 𝑊 = max 0, Δ 𝑦, 𝑦𝑗 − 𝐹 𝑥, 𝑦; 𝑊 + 𝐹 𝑥, 𝑦𝑗; 𝑊𝑘 𝑗=1
- 104. 𝚯 𝑊 ℓ 𝑥, 𝑦; 𝑊 = max 0, Δ 𝑦, 𝑦𝑗 − 𝐹 𝑥, 𝑦; 𝑊 + 𝐹 𝑥, 𝑦𝑗; 𝑊𝑘 𝑗=1 𝑦 = , 𝑥+ = , 𝑥− = 𝐹 𝑥+, 𝑦; 𝑊 > 𝐹 𝑥−, 𝑦; 𝑊
- 105. 𝚯 𝑊 Δ 𝑦+, 𝑦− − 𝐹 𝑥, 𝑦+; 𝑊 + 𝐹 𝑥, 𝑦−; 𝑊 = Δ 𝑦+, 𝑦− − 𝑥 𝑇 𝑊 𝑦+ − 𝑦− →
- 106. 𝑊 𝚯 • •
- 107. 𝑊 𝚯 arg max 𝑊,Θ 1 𝑛 ℓ(𝑥𝑖, 𝑦𝑖 𝑛 𝑖=1 ; 𝑊, Θ) + 𝜆 2 Θ − Θ 𝑝𝑟𝑖𝑜𝑟 2 → • Θ = Θ 𝑝𝑟𝑖𝑜𝑟 𝑊 • Θ 𝑊
- 108. • • • •
- 109. • • • •
- 110. → • → • → → → →
- 111. • • →
- 112. •
- 113. • • → → → →
- 114. • • → → → → →
- 115. • • •
- 116. • • • • •
- 117. ∞