Evde Bakım ve Görüntü İşleme Sunumu Prof. Dr. Aytül Erçil -

1. Evde Bakım ve Görüntü İşleme
Prof. Dr. Aytül Erçil
aytulercil@sabanciuniv.edu
aercil@vistek-isravision.com
VPA LAB.

2. 2
Dünya Yaşlanıyor…
• Dünya nüfusunun ortalama yaşam süresi artıyor
• Kronik hastalıklar artıyor
• Sağlık Personeli açığı her geçen gün büyüyor
• 2060 yılına kadar mevcudun 3 katı kadar kişi 80 yaş üzerinde olacak. (Eurostat 2008)

3. 3
2011 yılında yüzde 7,3 olan Türkiye'de 65 yaş ve üzeri
nüfusun oranının 2050 yılında yüzde 17,6'ya ulaşacağı
tahmin edilmektedir
Türkiye’deki durum

4. Demans Hastalığının Yaygınlığı
• Dünyada her 7 saniyede bir yeni bir demans vakası
• Dünya çapında 35.6 milyon kişi demanslı
• Bu rakamların 20 yılda bir 2 katına çıkması, 2030da 65.7 milyon, 2050de 115.4 milyon
olması beklenmekte.
• AB üye ülkelerinde 60 yaş üstü 6.8 milyon kişi (nüfusun 6% sı) demanslı
World Alzheimer Report 2012

5. Demans Değerlendirme
Demanslı hastalar için mevcut klinik iş akışı:
 Düzenli doktor ziyaretleri ve anketler sonucu bilişsel işlevler, davranış ve günlük yaşam
faaliyetlerindeki değişiklikler aracılığı ile değerlendirme
 Tıbbi muayeneler
 Fiziksel Değerlendirme
 Mini-Mental State Exam
(MMSE) score
Kısıtlar ve Zorluklar
 Kısa ziyaretlerle değerlendirme
 Günlük aktivitelerle ilgili subjektif
değerlendirmeler
 Devamlı uzun vade denetleme ve ev ortamında destek imkanı olmaması
 Uzun vade aktivitelerle demans safhası hakkında kısıtlı ilişki kurulması

6. Hedef
Hastaların Yaşam Kalitesini Arttırma
Kapsamlı, objektif kontrol, hasta durumunun daha iyi değerlendirilmesi
Davranış ve yaşambiçimi değişimlerinin zaman içinde profillenmesi ve çoklu
sensör verilerine ve klinik bulgulara dayanarak kişiye özgün, akıllı, çoklu
parametreleri değerlendirme
Vakitli tedavi, sağlık durumundaki bozulmaların erken teşhisi
 Demansın erken teşhisi
Kişiye özgün reaktif ve proaktif tedavi
Hasta odaklı veri toplamaSağlık görevlisi odaklı veri toplama
Zaman
Veri Toplama
Zaman
Veri Toplama

7. İlişkili Çalışmalar
Wireless Health Care
[IEEE Spectrum]
 Sizi hastahaneden uzak
tutar ve sizin için de sağlık
sistemi için de daha
ekonomiktir.
Harvard-MIT Health
Sciences and
Technology program
 Kalp atışı, nefes ve kan
basıncını ölçer
 Bilgisayardaki webcam gibi
düşük maliyetli kameralar
kullanır

8. 8
Çevremizdeki bol işlemci ve iletişim gücünü, yaygın ve doğal olarak insanların
hayatına getirmek
İlişkili Çalışmalar

9. Project Description
CogKnow Ltd
A continuation of FP6 CogKnow project, Cogknow Day Navigator is a complete assistive system for
persons with mild dementia, to be launched in 2011 in Europe via a partner network in each country.
Main functionalities include: Time Indication, Remotely configurable reminders, Music, Radio, Picture
Dialing, Activity Assistance, House Alerts for safety, and Mobile Navigation for going home.
MemoryLane
A European regional project aiming to provide a mobile solution for capturing the life of persons with
mild dementia. The patient's life is automatically recorded as images, audio and possibly video, and
is organised along time, place, person and object dimensions. Each day is automatically divided into
activities. At the end of each day, the person with dementia and the carer (relative) reviews the
activities of that day, and adds information about names of persons, places and objects etc. This
caring activity also helps the person with dementia to build episodic memories of the day.
AALIANCE
The focus of the FP7 support action AALIANCE is on Ambient Assisted Living (AAL) solutions based
on advanced ICT technologies for the areas of ageing at work, ageing at home and ageing in the
society.
HERMES
The FP7 Hermes project is aimed at people who are experiencing mild problems with memory. It is
built around a mobile phone and a computer that work together automatically and both can record
what is being said in a room, and provides assistance in the following three core domains: a)
prospective memory, i.e. remembering to remember or remember to perform an intended action, b)
retrospective memory, i.e. remembering the past, and c) cognitive training, i.e. exercises to train the
brain and not to forget important things.
CONFIDENCE
The main objective of the FP7 CONFIDENCE project is the development and integration of
innovative technologies to build a care system for the detection of abnormal events (such as falls) or
unexpected behaviours that may be related to a health problem in elderly people. It aims to provide
a cost effective, non-intrusive and reliable system that will increase the quality of life and security of
the elderly and, thus, prolong their personal autonomy and participation in society and decrease the
need of institutionalisation of the elderly.
Ilgili AB Projeleri & Inisiyatifler

10. MOBISERV
The objective of the FP7 MOBISERV project is to develop and use up-to-date technology in a
coordinated, intelligent and easy to use way to support independent living of older persons as long
as possible in their home or various degrees of institutionalization. The support will be delivered in
interior (at home) daily living situations and consists in: a physical robotic unit, an optical recognition
unit, a wearable health supporting unit monitoring vital parameters, and a Smart Home automation
and communication unit.
HeartCycle
HeartCycle is an FP7 project that aims to provide a closed-loop disease management solution being
able to serve both Heart Failure (HF) patients and Chronic Heart Disease (CHD) patients, including
possible co-morbidities hypertension, diabetes and arrhythmias, through multi-parametric monitoring
and analysis of vital signs and other measurements. The system will include: i) a patient loop
interacting directly with the patient to support the daily treatment that will show the health
development, including treatment adherence and effectiveness, and ii) a professional loop involving
medical professionals, e.g. alerting to revisit the care plan (the patient loop is connected with
hospital information systems, to ensure optimal and personalised care).
CAPSIL
An FP7 EU support action to promote the international support of a common awareness and
knowledge platform for studying and enabling independent living.
PERFORM
PERFORM (A soPhisticatEd multi-paRametric system FOR the continuous effective assessment
and Monitoring of motor status in Parkinson's disease (PD) and other neurodegenerative diseases)
aims to provide the health community with an innovative and reliable tool that will be able to monitor,
evaluate and advice doctors, caregivers and the neurodegenerative disease patients. The project
will focus on Parkinson’s disease (PD) as a model for neurodegenerative diseases, though
amyotrophic lateral sclerosis will also be taken into account for the design and the evaluation of the
system. The goal of the PERFORM system will be achieved through the implementation of a multi-
sensorial, wearable system that will constantly monitor the motor status of the patients in addition to
other physiological signals. This data will be processed and integrated by the system to obtain a
quantitative overall evaluation of the status of the patient.
Ilgili AB Projeleri & Inisiyatifler

11. SensorART
The SensorART project focuses on management and remote treatment on patients suffering from
heart failure and aims to provide novel ICT advancements based on: i) wearable sensors, ii)
artificial intelligent algorithms, iii) light-weight portable hardware controllers, iv) smart signal
processing.
Psyche
The PSYCHE (Personalised monitoring SYstems for Care in mental HEalth) project aims to
develop a personal, cost-effective, multi-parametric monitoring system based on textile platforms
and portable sensing devices for the long term and short term acquisition of data from selected
class of patients affected by mood disorders. Through the use of non-invasive devices,
physiological data will be collected including heart rate variability, respiratory rate, activity and
movement. Data acquisition will also take place using behavioral sensors based on the correlation
of data deriving from biochemical measurements, voice analysis for emotional assessment and
detection of attitudinal indicators (social interaction, sleep quality, galvanic skin response, activity
and gesture) that can be implemented to extrapolate predictive indexes. The acquired data will be
processed and analyzed in the established platform that takes into consideration the Electronic
Health Records (EHR) of the patient, a personalized data referee system, as well as medical
analysis in order to verify the diagnosis and help in prognosis of the disease.
AFA-ConnectAlzheimer
The AFA-ConnectAlzheimer project creates a network of tactile terminals in the domestic
environment that make interaction possible between Alzheimer patients carers and also with a
dedicated social professional, while offering the Alzheimer patient the possibility to practise
cognitive stimulation with custom exercises and from their home, using a specific software
telematically monitorized by a professional.
Ilgili AB Projeleri & Inisiyatifler

12. ViCoMo: Visual Context Modeling
 ITEA2 projesi
 Beş ülkeden yirmiyi aşkın partner
VIPSAFE: Automated Visual monitoring for Improving Patient SAFEty
 Karlsruhe University, Videmo (Almanya)
 Sabancı Üniversitesi, Vistek ISRA Vision
JADE
 AB 7. Çerçeve Programı Projesi
 Beş ülkeden otuzu aşkın partner
DEMCARE: Dementia Ambient Care: Multi-Sensing Monitoring for Intelligent Remote
Management and Decision Support
 AB 7. Çerçeve Programı IP Projesi
 Altı ülkeden 11 partner
4/16/
12
Bu Alandaki Çokuluslu Projelerimiz

13. İnsan görme sistemi
Işık
Bilgi
Optik
Sinirler
Yapay görme sistemi
Görüntü Bilgi
Işık

14. 4/16/
Sezer
Kamera 1
Kamera 4
Kamera 2
Kamera 3
(1) Görüntüler
PC’ye aktarılır
14
Ayşe
(2) Aktarılan görüntüler
yapay görme yazılımlarıyla
gerçek zamanlı işlenir
(3) Acil durumlar
(düşme, rahatsızlık, … )
yakınlara bildirilir
Hulusi Amca
Adile Teyze

15. Adımlar
• Sahnenin görüntüsünü alma
• Birden fazla kameranın kalibrasyonu
• İlgili kişiyi resim içinde tespit etme, takip ve izleme
• İlgili kişinin özelliklerini analiz etmek
• İlgili kişi ile ilişkili bir etkinlik ve davranış tespiti
• Tespit edilen olayları ve davranışları üçüncü bir kişiye bilgilendirilmek

16. Görüntü alma

17. • Sahnenin görüntüsünü alma
• Birden fazla kameranın kalibrasyonu
• İlgili kişiyi resim içinde tespit etme, takip ve izleme
• İlgili kişi ile ilişkili bir etkinlik ve davranış tespiti
• Tespit edilen olayları ve davranışları üçüncü bir kişiye bilgilendirilmek
Adımlar

18. • Sahnenin görüntüsünü alma
• Birden fazla kameranın kalibrasyonu
• İlgili kişiyi resim içinde tespit etme, takip ve izleme
• İlgili kişi ile ilişkili bir etkinlik ve davranış tespiti
• Tespit edilen olayları ve davranışları üçüncü bir kişiye bilgilendirilmek
Adımlar

19. • Sahnenin görüntüsünü alma
• Birden fazla kameranın kalibrasyonu
• İlgili kişiyi resim içinde tespit etme, takip ve izleme
• İlgili kişi ile ilişkili bir etkinlik ve davranış tespiti
•Tespit edilen olayları ve davranışları üçüncü bir kişiye bilgilendirilmek
Adımlar
Aktivitelerin tespiti (düşme, sendeleme, panik işaretleri, vb)
Aktivitelerin analizi (yatakta kalma süresi, TV izleme süresi, yeme aktivite süresi, yürüme hızı vb)
Rota analizi

20. • Kişiye özgün olmalı
• Öğrenen bir sistem olmalı (Kişinin normal davranışlarını modelleyip anormal davranışları
tespit edebilmeli) (Normal zamanların dışında yatma, daha uzun uyuma, öğün atlama,
bütün gece oturma, daha yavaş hareketler v.b.)
Sistem Gereksinimleri

21. 21
Ticari bir evde bakım sisteminin bulguları
14 kişi 9 ay boyunca izlendi: ortalama yaş 78 (58-87 arası), MMSE score: ortalama 23 (13-
29 arası) (1= aşırı demans, 30 demans yok)
Değerlendirme kriterleri:
• sistemin kurulumu
• teknolojinin kullanılabilirliği
• bakıma etkisi
• hastanın sağlığına etkisi
• maliyet

22. 22
Ticari bir evde bakım sisteminin bulguları
• Sistemin kurulumu: Başlangıçta bazı hastalar çevredeki sensörleri yadırgadılarsa da
çok kısa bir süre içinde alıştılar, hayatlarının bir parçası oldu.
• Teknolojinin kullanılabilirliği:
• Bazı hastabakıcılar verilerin analizinde zorluk çektiler, kullanıcı arayüzünde
değişiklikler istediler.
• Normalde verileri haftada 2 kere inceleyebildikleri için alarmları çok yararlı buldular

23. Bakım kalitesinde artış
•Kapsamlı takip, hasta durumunun değerlendirilmesinde iyileşme, hastaya özgün profilleme
ve geri besleme, sürdürülebilir evde bakım (Sandalye üzerinde uyuya kalan bir kişinin
tespiti, 1 kişinin yemek yemediğinin tespiti, bir hastada uzun süre sıvı almadığı tespit
edilemedi, hasta su kaybı yaşadı  )
Artan hasta güvenliği ve güven duygusu
Tehlikeli durumlar için alarmlar & gerçel zamanlı geri besleme mekanizmalarına adaptif
feedback, ihtiyaç anında bakılacaklarına dair güven tazelemek, her an alert–günde 24
saat, yılda 365 gün çalışabilir.
Vaktinde tedavi
Sağlık durumundaki değişmelerin erken tespiti, davranışsal ve bilişsel stratejiler geliştirmek
için bilişsel destek
Artan bağımsızlık ve otonomluk
Aile / bakıcıların devamlı mevcutiyet gereksinimini hafifletmek, günlük fonksiyonlarla daha
iyi başa çıkmak
Ticari bir evde bakım sisteminin bulguları

24. 24
Ticari bir evde bakım sisteminin bulguları
• Maliyet: Aylık maliyette ciddi düşüş
Bakımevinde Kalış Maliyeti
5413.86 € / ay Satınalma ve kurulum 3897.75 €
(bir seferlik maliyet)
Aylık ücret (hasta başı) 67.50 €
Ortalama aylık evde bakım 2721.19 €
Ortalama aylık veri değerlendirme 74.17 €
Toplam: 3897.75 € ( bir seferlik maliyet)
+2862.86 € / ay
Evde Bakım Maliyeti

25. 25
AB FP7 Dementia Ambient Care:
Multi-Sensing Monitoring for Intelligent Remote Management and
Decision Support
CERTH-ITI
UB1
Cassidian (CS)
INRIA
LTU
DCU
IBM Israel
Philips (PENB)
CHU de NICE (CN)
Vistek ISRA Vision (VIV)
Link Care Services (LCS)

26. Dem@Care Vizyon ve Hedefler
Hastaların Yaşam Kalitesini Arttırma
Kapsamlı, objektif kontrol, hasta durumunun daha iyi değerlendirilmesi
Davranış ve yaşambiçimi değişimlerinin zaman içinde profillenmesi ve çoklu
sensör verilerine ve klinik bulgulara dayanarak kişiye özgün, akıllı, çoklu
parametreleri değerlendirme
Vakitli tedavi, sağlık durumundaki bozulmaların erken teşhisi
 Demansın erken teşhisi
Kişiye özgün reaktif ve proaktif tedavi

27. 27
• Tıbbi bilgi destekli demanslı
kişilerin çoklu sensör ile
denetleme
• Bilgi yapıları,
muhakeme, klinik deneyim
profilleme, davranış
modellerinin akıllı yorum
• Demanslı kişilere ve
doktorlara hastaya özgü geri
besleme
Fizyolojik sensörler Audiosensörler Görsel sensörler
Sağlık durumu
Hayat tarzı
Duygusal durumu
İşlevsel durumu
Akli durumu
Davranış profili
Hayat tarzı
Günlük aktiviteler
Tanıma
Doktorların gereksinimleri
Senaryo tanımlama
Protokoller
Lifelogging
Tubbi
bilgiler
Bilgi ve
muhakeme
Üst düzey yorum
Tıbbi değerlendirme
Geri besleme
Doktorlar ve demanslı
kişiler arasında etkileşimli
geri besleme
Dem@Care Genel Bakış

28.  Hasta Kapalı Devre günlük
yaşamda direk olarak hasta ve
bakıcısı ile iletişim kurarak, geri
besleme, motivasyon ve destek
vermek,
 Doktor kapalı Devre En uygun
tedavi için doktorlara kişisel
destek ve tavsiyeler
Kapalı devre yönetim çözümü
Dem@Care Yaklaşımı

29. Dem@Care Pilotları

30. Senaryolar
@ Lab
Kontrollu laboratuvar ortamında otonomluğun ve
hedefe yönelik bilişsel fonksiyonların objektif
değerlendirilmesi
@ Bakımevi
Demansın evreleri ile ilgili veri topla, kişisel yardım
ve destek ihtiyaçlarını belirle, güvenlik risklerini
belirle
@ Ev
Yukardaki ihtiyaçları bakımevi ortamları için sapta

31. Uyku
 Hastanın yattığını farket
 Yatağa yatış zamanını kaydet
 Hastanın uykuya daldığını / uyandığını farket
 Hastanın uyanma zamanı ve miktarını bul
 Yataktan kalkışı tespit et
 Uyku verisini özetle
 Gece odanın ışık durumunu takip et
 Uykudaki anormalliklerin nedenini bulmağa çalış
 Gün içindeki uyuklamaları takip et
Sistem İşlevlerine Genel Bakış*

32. Sistem İşlevlerine Genel Bakış*
Yeme
 Kişinin yemeğe başladığını algıla
 Kişinin masadan kalktığını farket
 Kişinin odaya girip çıktığını farket (mutfak, banyo)
 Yemek hazırlandığını farket
 Günlük yemek aktivitelerini özetle

33. Ev- Ekzersiz
 Kişinin ev içindeki hareketlerini takip et
 Hareket yoğunluğunu hesapla
 Günlük ekzersiz aktivitelerinin özetle ve sırala
 Dış ortam hareketlerini algıla
Lab- Ekzersiz
 Oturma modundan ayağa kalkışı algıla
 Ayakta modundan oturmaya geçişi algıla
 Dinamik dengeyi niceleştir (quantify)
Sistem İşlevlerine Genel Bakış*

34. Ev Bakım Evi – Sosyal Etkileşim
 Ziyaretçiyi tespit et
 Yüz yüze sosyal etkileşim olgusunu tespit et
 Hastanın telefon görüşmesini algıla
 Hastanın sosyal etkileşim sırasındaki ruh halini sapta (sesinden)
 Hastanın sesinden bilişsel yükünü / harcadığı eforu değerlendir
 Günlük sosyal aktiviteyi özetle ve sırala
 Telefonla arama girişimini tanı
 Ruh halindeki değişimleri / problemleri farket
 Sosyal etkileşimdeki çelişkileri farket
Sistem İşlevlerine Genel Bakış*

35. Kullanılan Sensörler
 Görsel
 Audio
 Fizyolojik sensörler

36. Fizyolojik Takip
Gereksinim Sensor modality
Detaylı hareket bilgisi İvme ölçüm cihazları
(accelerometre, gyroscope,
magnetometre)
Fiziksel aktivite
yoğunluğu
Accelerometreler (actigraphy),
(unobtrusive) kalp atışı takibi
Uyku parametreleri Accelerometreler (actigraphy)
Ortam ışık düzeyi
Ruh hali/Stres/
uyarılma
Galvanic Deri Tepkisi
Accelerometreler
Tyndall Rev3 WIMU
(DCU )
DTI-2 (Philips)

37. Fizyolojik sensörler
Accelerometreler
- Genel hareket takibi, aynı zamanda gait analysis ve posture detection uygulamaları için
- Aktivite sınıflandırması için actigraphic bilgi oluşturma
- Düşme sezimi

38.  2B video camera
 Aktivitelerin tespiti & tanınması
 Giyilebilir video camera (GoPro)
 Nesne Tanıma
 Ortam tanıma
 Giyilebilir sabit imge camera (SenseCam)
 Günlük aktivitelerin kaydı
 3B video camera (Kinect® RGBD)
 Kişi tespiti & takibi
 Duruş (Posture) Tanıma
Görsel Takip

39. Mimari*
Gözlemler
Alarmlar
Bilgi Tabanı

40.  Görüntü İşleme Tabanlı Evde Bakım Sistemleri
 Başlangıç aşamasında
 Çoklu Sensör Tabanlı Evde Bakım Sistemleri
 Hastaların yaşam kalitesini arttırma
 Ev ortamında bakım süresini arttırma
 Kişiye özün bakım
 Erken teşhis açısından çok yararlı
Özet

41. Teşekkürler!