Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

Τεσνικέρ Αναγνώπιζηρ Πποηύπων και Μησανικήρ
Μάθηζηρ για Εθαπμογέρ Ανάλςζηρ Πολςμέζων

Γηάλλεο Κνκπαηζηάξεο
Δξεπλεηήο B’
Οκάδα Πνιπκέζσλ
Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη
Δπηθνηλσληψλ,
Δζληθφ Κέληξν Έξεπλαο θαη Σερλνινγηθήο Αλάπηπμεο

Πεξηερφκελα
• Δηζαγσγή
• Ομαδοποίηζη κε ρξήζε Κ-κέζσλ γηα Καηάηκεζε εηθφλσλ
• Καηηγοπιοποίηζη θαη Αλαγλψξηζε αληηθεηκέλσλ κε
ρξήζε SVM
• Επεξεπγαζία Ομιλίαρ (Σήμαηορ) + Ομαδοποίηζη γηα
δηάγλσζε
• Ομαδοποίηζη ζε θνηλσληθφ πεξηερφκελν κε ρξήζε
γξάθσλ + Δθαξκνγέο ζε θηλεηά
• ΔΚΔΣΑ - ΙΠΣΗΛ
• ΢χλνςε - Πξνβιήκαηα θαη Δθαξκνγέο

Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ

2

Αιγφξηζκνο Κ-Μέζσλ
Καηάηκεζε εηθφλσλ

Αιγφξηζκνο  Δπεθηάζεηο  Δθαξκνγέο


3

•

Κιαζηθφο αιγφξηζκνο κε επηβιέςηκεο
(unsupervised) ομαδοποίηζηρ (clustering)

•

Βαζηθφο ζηφρνο ε αλαθάιπςε δομήρ (structure)
ζε κε νξγαλσκέλα δεδνκέλα (unlabeled data)

Dk (p) = p - p k
p = ( x, y)


4

•

Δθαξκνγέο ζε πάξα πνιινχο ηνκείο: ηαηξηθή, marketing, βηνινγία θηι

•

Π.ρ. Φ = ηηκή πίεζεο, Υ = θαξδηαθφο ξπζκφο, 3 θαηεγνξίεο αζζελψλ =
ΥΓΙΕΙΣ, ΝΟΣΟΥΝΤΕΣ, ΕΠΙΠΛΕΟΝ ΕΞΕΤΑΣΗ


5

Καηάηκεζε ζε εηθφλεο
•

Οη εηθφλεο απνηεινχλ
(γηα ηνλ ππνινγηζηή)
έλα απφ ηα πην
δχζθνια
πξνβιήκαηα
αλαθάιπςεο δνκήο

•

Η καηάημηζη ζε
πεπιοσέρ
(segmentation)
απνηειεί βαζηθφ
ηκήκα ηεο
επεμεξγαζίαο

•

Δθαξκνγέο
•
•
•
•

Ιαηξηθέο εηθφλεο
Ρνκπνηηθή
Γνξπθνξηθέο
Φπζηθέο


6

Παξαδείγκαηα θαηάηκεζεο


7

Δθαξκνγή Κ-Μέζσλ ζε επεμεξγαζία εηθφλαο

•
•

Υψξνο δεδνκέλσλ είλαη νη θωηεινόηηηερ ηων pixels I(p) θαη φρη νη
ζέζεηο ηνπο
Ο αιγφξηζκνο Κ-Μέζσλ δε ιακβάλεη ππφςε ηνπ ηε ρσξηθή πιεξνθνξία

Dk (p) = I(p) - Ik

8

Αιγφξηζκνο Κ-Μέζσλ κε πεξηνξηζκφ
ζπλεθηηθφηεηαο
Component
Labeling
Παξάκεηξνη θαλνληθνπνίεζεο

l1
l2 p - Sk
Dk (p) = 2 I(p) - Ik + 2 A
sI
sS
Ak

Φωπικό κένηπο
IL

I L ,k

2

Ia

I a ,k

2

Ib

I b ,k

2


9

Δηθφλεο κε Έληνλε Τθή

• Νέα παξαιιαγή ηνπ αιγνξίζκνπ Κ-κέζσλ κε πεξηνξηζκφ
ζπλεθηηθφηεηαο, ζπλδπάδεη ραξαθηεξηζηηθά έληαζεο, ζέζεο
θαη πθήο


10

Τπνινγηζκφο Τθήο
• Δθαξκνγή θίιηξνπ
• Γηα ππνινγηζκφ πθήο: Discrete Wavelet Frames (DWF)

D p,sk

Jp
I p

I ss skk
J s

2

M
p S sk
Mk

1

T p


Ts sk

11

Πεηξακαηηθά απνηειέζκαηα
΢χγθξηζε
•

ΚΜ1

•

ΚΜ2

•

Πξνηεηλφκελνο
αιγφξηζκνο


12

΢χγθξηζε
•

Blobworld

•



13

΢χγθξηζε
•

ΚΜ1

•

ΚΜ2

•

MRSST

•

Blobworld

•


(KM1: 142.9, KM2: 6.5)

105.3

12.2

1.3

(KM1: 205.8, KM2: 15.3)

187.1

40.0

1.8

(KM1: 66.2, KM2: 39.6)

106

45.8

2.2

(KM1: 147.5, KM2: 70.9)

136.2

34.7

50.3


14

΢χγθξηζε
•

ΚΜ1

•

ΚΜ2

•

MRSST

•

Blobworld

•


(KM1: 85.7, KM2: 11.2)

57.5

29.5

9.9

(KM1: 71.7, KM2: 62.5)

22.6

48.5

7.8

(KM1: 44.4, KM2: 44.4)

68.8

89.3

5.7

(KM1: 61.3, KM2: 63)

86.3

55.1

60.9


15

Εςαιζθηζία ηηρ μεθόδος ζε αλλαγέρ
ηων ηιμών ηων καηωθλίων
• Παξάκεηξνο εθηίκεζεο αξρηθψλ
ηηκψλ γ=0.4 (0.3, 0.5)
• Καηψθιη η θίιηξνπ ππφ ζπλζήθε
• Καηψθιηα κεγέζνπο πεξηνρήο μ, ς
• Καηψθιη ζπλελψζεσλ κ
• Πιήζνο L κπινθ γηα εθηίκεζε
αξρηθψλ ηηκψλ
• Βάξνο ραξαθηεξηζηηθψλ πθήο ι1
• Καηψθιηα ζχγθιηζεο
ηξνπνπνηεκέλνπ αιγνξίζκνπ KMCC

16

Οκαδνπνίεζε - ΢πκπεξάζκαηα
• Άκεζε εθαξκνγή δε δίλεη πάληα ηα επηζπκεηά
απνηειέζκαηα
• ΢ρεδίαζε αλάινγα κε ην πξφβιεκα
• Γεδνκέλα – Υψξνο ραξαθηεξηζηηθψλ
• Φσηεηλφηεηα, ρξσκαηηθφο ρψξνο, πθή, θίλεζε

• Πξν-επεμεξγαζία δεδνκέλσλ
• Component Labeling
• Φίιηξν ππφ ζπλζήθε
• Καλνληθνπνηήζεηο

• Τπνινγηζκφο παξακέηξσλ
• ΢πλάξηεζε απφζηαζεο
• Αξηζκφο θέληξσλ (αιγφξηζκνο maxmin)

• Αμηνιφγεζε
• ΢πγθξίζεηο

20

Δορυφορικά
τηλεπιςκοπικά
δεδομζνα MODIS από το
Dataset του Γνϊραςη
μετά την πυρκαγιά του
2007. Φυςικό ζγχρωμο
ςφνθετο 3-2-1
(αριςτερά) και
ψευδζγχρωμο 5-4-3
ςφνθετο (δεξιά).

Υπολογιςμόσ δεικτϊν
NDVI ςτα δορυφορικά
δεδομζνα πριν
(αριςτερά) και μετά
(δεξιά) την πυρκαγιά του
2007

Αποτελζςματα από την
εφαρμογή αλγορίθμων
κατάτμηςησ (αριςτερά) με
χρήςη προςαρμοςμζνου
κατωφλίου και αποτζλεςμα
τησ μορφολογικήσ
επεξεργαςίασ
(μορφολογικό opening με
δομικό ςτοιχείο μεγζθουσ
ενόσ εικονοςτοιχείου,
δεξιά).

Κατάτμηςη τηλεπιςκοπικϊν
δεδομζνων TERASAR-X με τη μζθοδο
των επιπεδοςυνόλων για την
ανίχνευςη του υδρογραφικοφ
δικτφου
(Συνεργαςία με ΕΜΠ, η
ανάπτυξη αλγορίθμων κατάτμηςησ
ζγινε από το EΜΠ, εργαςτήριο
τηλεπιςκόπιςησ, ςτα πλαίςια του
ζργου ΓΝΩΡΑ΢Η, www.gnorasi.gr)

Support Vector Machines - SVMs
Καηεγνξηνπνίεζε - Αλαγλψξηζε
αληηθεηκέλσλ


24

Καηάηκεζε αλαγλψξηζε αληηθεηκέλσλ
(object recognition – assign labels)

Αξρηθή
εηθφλα

Απνηειέζκαηα
αλαγλψξηζεο


25

Classification – Καηεγνξηνπνίεζε
(Καηάηαμε – Σαμηλφκεζε)
• Καηεγνξηνπνίεζε ησλ δεδνκέλσλ καο ζε θαηεγνξίεο
(classes)
• Αλαπαξάζηαζε δεδνκέλσλ δηαλχζκαηα
ραξαθηεξηζηηθψλ (κεηαζρεκαηηζκφο)
• ΢πλήζσο επηβιεπφκελε (supervised) δηαδηθαζία
•
•
•
•

Γλσζηέο θιάζεηο
Παξαδείγκαηα κε γλσζηέο θιάζεηο πνπ ρξεζηκνπνηνχληαη ζηε
δηαδηθαζία εθκάζεζεο (learning – training set)
Δθαξκνγή ζε δεδνκέλα κε άγλσζηεο θιάζεηο (testing)
Γηαδηθαζία κεραληθήο κάζεζεο (machine learning)

• Δθαξκνγέο
•
•
•
•

Μεραληθή φξαζε
Αλαγλψξηζε θσλήο
Βηνινγία
Μεραλέο αλαδήηεζεο


26

Μεραλέο Γηαλπζκάησλ ΢ηήξημεο
(Support Vector Machines - SVMs)
• Δπξέσο δηαδεδνκέλε κέζνδνο επηβιεπνκέλεο
(supervised) κεραληθήο εθκάζεζεο (machine
learning) γηα θαηεγνξηνπνίεζε (classification):
• Υεηξίδεηαη απνηειεζκαηηθά πξνβιήκαηα πνιχ κεγάιεο
δηάζηαζεο (high-dimensionality problems)
• Απμεκέλε δπλαηφηεηα γελίθεπζεο (generalization ability)
• Απνηειεζκαηηθή αλίρλεπζε θαη κνληεινπνίεζε ζχλζεησλ
ζρέζεσλ θαη ζπζρεηίζεσλ κεηαμχ ησλ δεδνκέλσλ

• ΢ηε βαζηθή ηνπ έθδνζε είλαη δπαδηθφο ηαμηλνκεηήο

(Binary classifier)


27

Γηάλπζκα
ζηήξημεο

Πεξηγξαθή SVM
F ( x)

Γηαρσξηζηηθφ ππεξ-επίπεδν
Απφζηαζε πξνηχπσλ
απφ ην ππεξ-επίπεδν
• Πξνζδηνξηζκφο ζην ρψξν δηαρσξηζηηθνχ ππεξ-επηπέδνπ (separating hyperplane), πνπ κεγηζηνπνηεί ηελ ειάρηζηε απφζηαζή ηνπ απφ ηα 2 ππφ εμέηαζε
πξφηππα
• Σα δείγκαηα ησλ πξνηχπσλ πνπ βξίζθνληαη θνληχηεξα ζην δηαρσξηζηηθφ ππεξεπίπεδν απνηεινχλ ηα δηαλχζκαηα ζηήξημεο (support vectors)


28

Video


29

Πξν-επεμεξγαζία εηθφλαο
• Καηάηκεζε ή θαη εθαξκνγή ζε νιφθιεξε ηελ
εηθφλα
• Δμαγσγή νπηηθψλ πεξηγξαθέσλ – δηάλπζκα
ραξαθηεξηζηηθψλ
• Κιηκαθνχκελν ρξψκα (Scalable Color)
• Ιζηφγξακκα αθκψλ θσηεηλφηεηαο (Luminance Edge
Histogram)
• Πεξηγξαθέαο ζρήκαηνο πεξηνρήο (Region-Based Shape)
• Οκνγελήο πθή (Homogenous Texture)
• Local Features (SIFT)


33

SIFT Local Features


34

Αλαγλψξηζε αληηθεηκέλσλ κε SVMs
• Αληηθείκελα ελδηαθέξνληνο:
• Οπξαλφο, βιάζηεζε, βξάρηα, έδαθνο, θηίξην, λεξφ

• Δθπαίδεπζε ελφο SVM γηα θάζε θαηεγνξία αληηθεηκέλσλ
• Υξήζε ραξαθηεξηζηηθνχ δηαλχζκαηνο πεξηνρήο

• Κάζε SVM ππνινγίδεη κία εθ ησλ πζηέξσλ πηζαλφηεηα γηα
ηελ πνζνηηθή πεξηγξαθή ηεο ζπζρέηηζε πεξηνρήοαληηθεηκέλνπ
1
p=
1+e-m×dist
• Κάζε πεξηνρή αμηνινγείηαη απφ φια ηα εθπαηδεπκέλα SVMs
• Υξήζε πνιπσλπκηθήο ζπλάξηεζεο ππξήλα
• Γηάζηαζε αξρηθνχ δεηγκαηηθνχ ρψξνπ: 433

35

Δλδεηθηηθά απνηειέζκαηα αλαγλψξηζεο
΢χλνιν ππνζέζεσλ
πεξηνρήο
Οπξαλφο: 0.11
Νεξφ:
0.09
Κηίπιο:
0.89
Βξάρηα: 0.51
Έδαθνο: 0.31
Βιάζηεζε: 0.35


36

Δλδεηθηηθά απνηειέζκαηα αλαγλψξηζεο
αληηθεηκέλσλ (ζπλέρεηα)

Αξρηθή
εηθφλα

Απνηειέζκαηα
αλαγλψξηζεο


37

http://mklab-services.iti.gr/trec2010/index.php?login=true


39

Forensic Image Retrieval for Nudity Detection
• Police needs to search in unknown hard-drives to identify suspicious digital content
• Workflow to satisfy the requirements

Folder scanning and Image/video identification

Automatic indexing and feature/metadata extraction

Search Engine, Results presentation and Report generation

Indexing and Search
Image
Dataset

Query by visual example
•MPEG-7 descriptors
•R-tree structure for indexing

Visual Feature extraction
•MPEG-7 color & texture descriptors
•Dense SIFT GRAY & Dense SIFT RGB

Nudity Concept detection based on SVM classification
New
Image

Nudity
detection model

Probability of
Nudity
Search Engine with results and reports

Visual Features
(MPEG-7, SIFT)
Support Vector
Machines
Training Image
Dataset

Δπεμεξγαζία Φσλήο γηα
Καηεγνξηνπνίεζε – Γηάγλσζε
Ήπησλ Μνξθψλ Άλνηαο
΢πλεξγαζία κε IBM Israel ζηα πιαίζηα ηνπ
έξγνπ Dem@Care http://www.demcare.eu/
http://youtu.be/mGACsdCx6Qc


42

Dem@Care Project


43

Diadohokinetic (DDK) Test
DDK tests are used by speech-language pathologists for assessment of
motor speech impairments, e.g. dysarthria
Quick and accurate production of rapid, alternating sound tokens
involving different parts of mouse, e.g. “puh-tuk-kuh—puh-tuh-kuh—
…”
Usually measurements are done manually and include the DDK rate statistics

Our hypothesis and research direction:
The DDK test may challenge both motor and cognitive control over speech
production
Motor and cognitive faults deteriorate the temporal regularity of the audio
signal normally expected in this type of utterances
We can develop a regularity measure of the DDK performance
Is the DDK regularity useful in distinguishing between Control/MCI/AD
groups?

44

Towards DDK Regularity Measure: Waveform
Envelope
Waveform  Instantaneous energy contour
KUH

KUH

0.8

TUH
0.6

TUH

PUH

PUH

0.4

0.2

0

-0.2

-0.4
1.1

1.2

Token #n

1.3

1.4

1.5

1.6

1.7

1.8

Token #n+1


45

Towards DDK Regularity Measure: Energy
Modulation Spectrum
Long-term Fourier Transform of the Envelope
8

x 10

10

Energy Modulation Spectrum. K=31.8644

7
6

Harmonic structure
indicates long-term
periodicity of the
waveform envelope

5
4
3
2
1
0

0

5

10
15
20
Modulation frequency, Hz

25

30

F0=1.8 Hz, i.e. 1.8 tokens per second on average


46

DDK Regularity Analysis Examples
Good performance
8

x 10

10

Poor performance


4

7

2.5

4

2

3

1.5

2

1

1


3

5

11

3.5

6

x 10

0.5

0

0

5

10
15
20

25

30

0

0

5

10
15
20

25

30

F0 utility func. Max=0.012036 K=2.3936

F0 utility func. Max=0.042138 K=9.8176

0.014

0.045

0.012

0.04
0.035

0.01

0.03

0.008
0.025

0.006

0.02
0.015

0.004

0.01

0.002
0.005
0

0
1

1.5

2
Modulation F0, Hz

2.5

3

1

1.5

2
Modulation F0, Hz


2.5

3

48

DDK Regularity Mapping for all the
Participants
DDK Regularity of Group Participants
0.045

0.04

Statistically significant
inter-group differences
with T-test pvalues:

DDK Regularity

0.035

Control vs. MCI

p<0.05%

MCI

0.025

p<1.45%

Control vs. AD

0.03

p<1.65%

vs. AD

0.02

0.015

Control

MCI

AD

0.01
Participants


49

Οκαδνπνίεζε ζε Κνηλσληθά Γίθηπα
Θεσξία Γξάθσλ


50

Γξαθήκαηα
• Γνκέο πνπ κνληεινπνηνχλ ζρέζεηο θαη δηαζπλδέζεηο
(connections)

nodes

G = (V, E)
edges


51

Vertex & edges indicate degrees
• Degree of a graph vertex v: the
number of graph edges which
touch v.
• Indegree of a graph vertex v: the
number of inward directed graph
edges from a given graph vertex
in a directed graph
• Outdegree of a graph vertex v:
The number of outward directed
graph edges from a given graph
vertex in a directed graph.

undirected

directed

52

Degrees & adjancencies
Adjacency matrix on an undirected graph : A(i,j), i,j <= n
v1

v2
v3

v5

v4

degree of a vertex v
(number of edges incident upon it):

kv

A(v, w)
w


53

Μεξηθά παξαδείγκαηα
Webpage www.x.com
href=“www.y.com”
href = “www.z.com”

x
y

a

z

b

Webpage www.y.com
href=“www.x.com”
href = “www.a.com”
href = “www.b.com”
Webpage www.z.com
href=“www.a.com”


54

Μεξηθά παξαδείγκαηα

Κόμβοι – Πξσηεΐλεο
Ακμέρ – Αιιειεπηδξάζεηο
΢εκαληηθφ ξφιν παίδεη ν
ηξφπνο παξνπζίαζεο
(visualization)


55


56

blogosphere as a graph

technical - gadgets

nodes = blogs
edges = hyperlinks

society - poli cs

h p://datamining.typepad.com/gallery/blog-map-gallery.html


9

57

social web as a graph

announcement of Mubarak’s resigna on

nodes = twi er users
edges = retweets on #jan25 hashtag

h p://gephi.org/2011/the-egyp an-revolu on-on-twi er/


10

58

Αλάιπζε Γξάθσλ
• ΢ε πνιιέο εθαξκνγέο ηα γξαθήκαηα εκθαλίδνπλ
ζπγθεθξηκέλεο δνκέο
• ΢χλνια θφκβσλ πνπ εκθαλίδνπλ πην έληνλεο ζπζρεηίζεηο ζε
ζρέζε κε ηνπο γεηηνληθνχο ηνπο
• Graph clustering
• Ρφινο ζπγθεθξηκέλσλ θφκβσλ ζην γξάθν
intra-community edge

inter-community edge

59

Αλάιπζε Τπν – Γξάθσλ / Τπν - Γνκψλ (subgraphs)
k=3 (triangle)

k=4

k=5

• k-clique
Each node is
connected to all k-1
nodes

• N-clique

N=2 (star)

N is the length of
the path allowed to
all other members

2-core

• k-core
all vertices have
degree at least k

4-core
3-core


1-core
0-core
31

62

Αλάιπζε Γξάθσλ (1/2)


63

Ανάλυση Γράφων (2/2)
• 1st step:
(μ, ε) – core detection
• 2nd step:
Local expansion
• 3rd step:
Characterization of
remaining vertices as hubs
or outliers


64

Eθαξκνγέο ζε Πεξηερφκελν απφ
Κνηλσληθά Γίθηπα
ClustTour, ThessFest, IMC
http://www.clusttour.gr
http://thessfest.socialsensor.eu/app/
http://mklab.iti.gr/imc


65

Photo sharing social networks and applications

5,000,000,000 εικόνεσ
(΢επ. 2010)


66

Challenges in Social Media network mining
No prior assumptions about structure:
Complex & evolving structure
No possibility for knowing structural features (e.g. number of clusters
on a graph) in advance
 Unsupervised

Scale
Tens of millions of active users frequently contributing loads of
content links + metadata (tags, comments, ratings)
 Efficient - scalable

Quality
Spam is very common. Only a portion of user contributions is worth
further analysis.
 Noise resilient

67

Hybrid photo Clustering


68

68

landmark

event

69

Photo clustering results
Geographic localization of results was also found to be very high.
Most clusters correspond to landmarks or events.
baptism

EVENTS

LANDMARKS
conference

castels


70

70

Sample results:
[Visual] vs. [Tag] vs. [Visual + Tag]
VISUAL
HYBRID

TAG


71

71

clusttour.gr application
PHOTOS & METADATA
tags: sagrada familia,
cathedral, barcelona

SPATIAL CLUSTERING + TEMPORAL ANALYSIS

taken: 12 May 2009
lat: 41.4036, lon: 2.1743

CLASSIFICATION TO LANDMARKS/EVENTS
COMMUNITY DETECTION

VISUAL
TAG

HYBRID

S. Papadopoulos, C. Zigkolis, Y. Kompatsiaris, A. Vakali. “Cluster-based Landmark and Event Detection on Tagged Photo
Collections”. In IEEE Multimedia Magazine 18(1), pp. 52-63, 2011


72


73

Διαθέςιμο ςτο AppStore
http://clusttour.gr/itunes


74

Η Θεςςαλονίκη μέςα από το ClustTour
“Everything is automatic and when we say everything we mean everything”


75


77


78


79


80


81


82

΢πκπεξάζκαηα – Πεξηνρέο Πξνβιήκαηα
• Αλαγλψξηζε πξνηχπσλ
• Δπξεία ρξήζε ηερληθψλ αλαγλψξηζεο πξνηχπσλ ζε
εθαξκνγέο αλάιπζεο πνιπκέζσλ θαη θνηλσληθψλ
δηθηχσλ
• Απαηηνχληαη εμεηδηθεπκέλεο ιχζεηο θαη ζπλδπαζκφο
ηερληθψλ
• Η απηφκαηε επεμεξγαζία είλαη απαηηεηηθφ πξφβιεκα

• Πξνβιήκαηα - Δθαξκνγέο
• Μεγάινο φγθνο δεδνκέλσλ – Big Data - Social Media Data Mining – real–time – scalability
• Semantic Gap – Visual Similarity
• eHealth – Personalized Health
• Security – Forensics

83

Improve My City
App for Citizens Reporting Issues in Municipalities – Regions
Currently used by Thermi Municipality, Thessaloniki, Greece
http://mklab.iti.gr/imc/

Why do we need an app for that?
• Municipalities and Regions cover large areas
– Issues collection, prioritization and addressing is time
consuming and costly
– Regional authorities want to listen (or at least show they are
listening) what their citizens are saying

• Citizens want to participate
– Social Networks create new culture and technical possibilities
– They are interested in their everyday problems (especially if
they receive timely feedback)

• Citizens can become a cost and time efficient real-time
sensor of issues and the best source for solution ideas
and prioritization (Collective Intelligence)

Features at a Glance
• Login – authentication
– Synchronization with web
version

• Map and list-based view of
issues
– Close to current location

• Customized filters per
category and distance
• New issue
– Location + image

• Issue comment and voting
• Greek and English

Report an
Issue
Category
Title
Description
Image
GPS Position
Reverse
geocoding

Features










List View of
issues with
current progress
Local cache
(SQLite)
Filter by distance
from current
position (km)
Efficient
bandwidth usage
Filter by Category

Features
Full integration
with web-based
app, backend and
database
Easily customizable
for other
municipalities –
regions – cases
Authorities must
provide feedback
and adapt their
processes
Web based app and backend developed by URENIO Research Unit, Aristotle University of
Thessaloniki

Future Plans
• Open source distribution (under discussion)
• Augmented Reality Visualization for future and on-going
projects
– Library for Android, 3D objects support, OpenGL

• Automatic image (and issue – topic - category) annotation
using visual-based processing

Multimedia Group
http://mklab.iti.gr
Information Technologies Institute
http://www.iti.gr

Urban and Regional Innovation Research
http://www.urenio.org
Aristotle University of Thessaloniki

Smart City Services
Municipality of Thermi - Greece
https://smartcity.thermi.gov.gr/

“Google play„ search: Multimedia Group - CERTH-ITI,
http://mklab.iti.gr/imc

CERTH – www.certh.gr
•

ΓΓΔΣ – Τπ.
Παηδείαο (1020% (2012) <
10% (2013)
ζπκκεηνρή ζηνλ
πξνυπνινγηζκφ)

•

4 Ιλζηηηνχηα

•

~500 άηνκα
εξεπλεηηθφ
θαη ινηπφ
πξνζσπηθφ


92

CERTH – www.certh.gr
•

Eλέξγεηα, πεξηβάιινλ, πξνεγκέλα ιεηηνπξγηθά πιηθά,
βηνκεραλία, πνιπκέζα, ηερλνινγίεο δηαδηθηχνπ,
επηζηήκεο πγείαο, ειεθηξνληθφ εκπφξην, κεηαθνξέο,
αγξνβηνηερλνινγία θαη ηξφθηκα, εθπαίδεπζε

•

Δθαξκνζκέλε έξεπλα θαη εθαξκνγέο

•

Δζληθά θαη Δπξσπατθά Δξεπλεηηθά πξνγξάκκαηα

•

Τπεξεζίεο, κεηαθνξά γλψζεο πξνο εηαηξείεο θαη
βηνκεραλία

•

Καηλνηνκία, λέεο εηαηξείεο (startup, spin-off)

•

΢πλεξγαζία κε πεξηζζφηεξνπο απφ 1000 εηαίξνπο απφ
ηελ Διιάδα θαη ην εμσηεξηθφ

93

Επεςνηηική διαδικαζία Καινοηομία
Καηάημηζη - Social
media Mining Τοσριζμός - Αναζήηηζη

Εθαρμοζμένη
Έρεσνα
Επεκηάζεις
Εθαρμογές

Επιτειρημαηικές Ιδέες
Business Plan
Venture Capital, Angel
Funding
Μεηαθορά
γνώζης
Υπηρεζίες
Νέες
Εηαιρείες
Spin-off
Startups

Βαζική
Έρεσνα
Graphs
K-means


94

Ινζηιηούηο Τεσνολογιών Πληποθοπικήρ και
Επικοινωνιών - www.iti.gr
•

~ 150 άηνκα (κε εμσηεξηθνχο ζπλεξγάηεο)

•

6 θχξηνη Δξεπλεηέο – Οκάδεο


95

Ινζηιηούηο Τεσνολογιών Πληποθοπικήρ και
Επικοινωνιών - www.iti.gr


96

CERTH-ITI Multimedia Group
• Personnel
•

25 people (researchers, developers, administration)

• Participation in European and national research projects:
•
•

FP7: SocialSensor (coordination), Dem@Care
(coordination), WeKnowIt
(coordination), Pescado, JUMAS, CHORUS+, etc
FP6: AceMedia, X-Media, MESH, BOEMIE, VIDI-Video,
K-Space, PATExpert, ELU, etc.

• Contracts with Industry (Motorola US)
• Local collaborations (Thessaloniki Film Festival, Thermi
Municipality, Alzheimer Society, Police, TEDx)
• 55 Journal publications, 170+ conference publications, 30 book
chapters, 7 patents (2012)
• Numerous events: SSMS212, EVENT2010, ACM
CIVR09, WWW09 tutorial, WIAMIS 2007, etc.

97

How Tim Berners Lee told me in front of
thousand people: “Go geek and do it”
“You know it! Think of a world that you want. Just imagine it!
Data - Users

• What would be the distribution?

Demos - Apps

• what would be the user interface?
• What would be the processes?
• What third parties would be involved.

Programming
Implementation

Forums – Social Networks - Teamwork

Go out and build it! Talk to the people here.
Install an apache server and just go geek
and make it happen!”

Libraries –
Frameworks

http://www.rene-pickhardt.de/how-tim-berners-lee-told-me-in-front-of-thousand-people-%E2%80%9Cgo-geekand-do-it%E2%80%9D/


98

Δπραξηζηψ!
Οκάδα Πνιπκέζσλ, http://mklab.iti.gr
Γηάλλεο Κνκπαηζηάξεο, ikom@iti.gr
Γξ. Βαζίιεο Μεδάξεο, Δξεπλεηήο Γ’, Καηάηκεζε
Πνιπκέζσλ bmezaris@iti.gr
Γξ. ΢πκεψλ Παπαδφπνπινο, Γξάθνη - Αλάιπζε
Κνηλσληθψλ Γηθηχσλ papadop@iti.gr

Γξ. Γεκήηξηνο Βεξβεξίδεο, Δθαξκνγή IMC, ververid@iti.gr


99

Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (12)

Similar a Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

Similar a Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων (20)

Más de Yiannis Kompatsiaris

Más de Yiannis Kompatsiaris (20)

Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων