Conducted as a research study, this doc presents an approach for predicting users' level of engagement from visual cues within a game environment. We use a large data corpus collected from 58 participants playing the popular platform game Super Mario Bros. Neuroevolution preference learning and data mining techniques is used to construct accurate models of player experience that approximate the relationship between extracted features and reported engagement. The results obtained show that highly accurate models can be constructed (with accuracies up to 96.82%) and that players' visual behaviour towards the end of the game is the best for predicting engagement.
The resulted paper (not this doc) is published in UMAP 14, named: "Utilising Visual Features as Indicators of Players Engagement in Super Mario Bros".
Utilising Visual Features as Indicators of Players Engagement - Machine Learning Documentation
1. Implemented and Designed By
Mohammad Shaker & Ola Al-Nameh
In Supervision of
Eng. Zeina Dallal
AI Department – 2013
Information Technology Engineering of Damascus, Syria
Fusing Visual and Behavioral Cues for
Modeling User Experience in Games
2. Mohammad Shaker & Ola Al-Naameh 1
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
الفهرس
1.1.بتجردAbstract....................................................................9
1.1.مقدمة.................................................................................11
1.1.كلماتمفتاحية......................................................................11
2.دراساتمشابهة.....................................................................11
1.1.دراساتمشابهة.....................................................................11
1.1.لعبةسباقالتسلحالمجرةGalactic Arms Race (GAR).............11
2.3.تصميمإنشاءسفينةفضاءعنطريقإجرائيةمقيدةلتوليدالمحتوىconstraint-based
procedural content generation (PCG).......................................................12
1.توليدالمحتوىبشكلإجرائيProcedural Content Generation
(PCG)12
1.1.مقدمة.................................................................................12
1.1.أقسامتوليدالمحتوىالتلقائي......................................................12
1.1.البناءالمباشروالبناءأثناءالتطوير..............................................12
1.3.المحتوىالضروريوالمحتوىاإلختياري....................................12
1.2.المعامالت............................................................................11
1.2.التوليدالعشوائيوالتوليدالمحدد.................................................11
1.1.خوارزميةابني-اختبروالخوارزمياتاءةّنالب..................................11
1.3.المحتوىالمولدباستخدامرقّالطّةيالبحث.......................................13
1.9.أمثلةعنالمحتوىالمولدبإستخدامخوارمياتبحثية........................13
1.12.مجموعةقواعدأللعابشبيهةبـPac-Man................................13
1.11.مجموعةقواعدأللعابوحةّالل.................................................19
1.11.مساراتأللعابالسباق..........................................................19
1.11.تطويرأسلحةللعبةفضاء.......................................................12
1.13.تصميمالمراحلللعبةSuper Mario Bros..............................12
3.15.اللعبةالمدروسةفيهذهالدراسة...............................................11
3.دراسةالمشاعرالمسترجعةمنالالعب.........................................12
4.1.متعةاللعبFun....................................................................12
4.2.التحديChallenge..............................................................12
4.3.اإلحباطFrustration............................................................12
3. Mohammad Shaker & Ola Al-Naameh 2
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
4.4.قابليةالتخمينPredictability.................................................12
3.2.الضجروالمللBoredom......................................................12
4.6.عَزَجالAnxiety..................................................................12
2.مخططالدراسةالبحثيةبشكلكامل..............................................31
5.1.مخططالدراسةالبحثية............................................................31
6.نمذجةخبرةالالعبمنأجلتوليدالمحتوى...................................31
6.6.تعلمالتفضيلعنطريقالعصبونيةالتطوريةNeuro-evolutionary
Preference Learning through Player Modeling.....................................31
6.2.خبرةالالعبعادةُمالبعدلعباللعبةReported player’s experience of
playing the game.....................................................................................33
6.6.خبرةالالعبعادةُمالوالبروتوكولالتجريبيReported player
experience and experimental protocol.................................................33
6.6.زوجلعبGame Pair.........................................................39
1.أفكارنظريةلبناءالنماذج..........................................................21
1.1.التحققالتصالبيCross-Validation.......................................21
1.1.1.أهدافالتحققالتصالبي........................................................21
1.1.1.كيفيةعملالتحققالتصالبي...................................................23
1.1.1.اختيارمعاملالطياتk-fold................................................23
7.1.4.أنماطأخرىمنالتحققValidation.......................................22
1.1.ّاتيخصّشالالغيرالعبيةNon-Player Characters (NPC).........22
8.التعلمعنطريقاألفضلياتلنمذجةخبرةالالعبPreference learning for
modeling player experience......................................................................21
8.1.نمذجةالتفضيلالعصبونيةالتطوريةNeuro-Evolutionary
Preferece Learning....................................................................................21
8.2.التدريبببرسبترونوحيدSingle Neuron................................21
3.1.اختيارخوارزميةالتدريبالمناسبة.............................................21
8.4.تنفيذالتعلممنخاللالتفضيالتلحلالمسألةNeuro-evolution for solving
the problem...............................................................................................21
8.5.مقارنةطرقاختيارالميزاتMethods ComparisonFeature
Selection23
8.6.نمذجةتفضيالتخبرةالالعبModeling of Player Experience
Preferences23
8.7.النموذجّأبالمتنباللعبةاألفضلPredictive model.......................22
4. Mohammad Shaker & Ola Al-Naameh 3
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
3.3.إيقافاختيارالميزات..............................................................22
8.9.أنواعطرقاختيارالميزاتFeatures Selection methods.........22
3.12.اختيارواستخالصالميزات....................................................22
3.11.تابعالهدف.........................................................................22
خوارزميةاختيارالميزاتnbest...............................................21
خوارزميةاختيارالميزاتsfs.......................................................21
خوارزميةاختيارالميزاتsffs..................................................21
خوارزميةاختيارالميزاتPFS.................................................23
3.11.سبباختيارمنهجبرسبترونSLPمتبعبمتعددطبقاتMLP.........29
3.11.مخططاختيارالميزات..........................................................12
9.السماتالمتحكمبهاوسماتاللعب...............................................12
9.6.أنواعالسمات.......................................................................12
9.6.6.السماتالتييمكنالتحكمبهافياللعبةControllable features of the
game12
9.6.2.خصائصاللعبضمناللعبةGameplay characteristics...12
12.برمجيةالتعرفعلىالتعابيرSHORE.......................................31
10.1.مقدمة...............................................................................31
12.1.التجاربعلىSHORE.......................................................31
11.جمعالبياناتData Collection...............................................91
11.1.مقدمة...............................................................................91
11.2.عمليةاستخراجالسماتFeatures Extraction.........................91
11.1.المرحلةاألولى–استخراجالسماتمناألحداثالهامة..................93
11.3.المرحلةالثانية–استخراجالسماتالظاهرية...............................92
11.2.ملفأزواجاللعب................................................................91
12.تصميمقاعدةالمعطيات..........................................................121
10.1.مقدمة.............................................................................121
11.النماذجالمختارة...................................................................121
12.1.AllFrames..........................................................121
12.2.VIFramesAllAttempts....................121
12.3.VIFramesWindows..............................121
13.النتائجالمستحصلةمنالنماذج..................................................111
5. Mohammad Shaker & Ola Al-Naameh 4
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
13.1.عمليةاختيارالميزات..........................................................111
13.1.التوقفعناختيارالمزايا.....................................................113
14.3.عمليةتحسينطبولوجيالشبكةTopology Optimization.......112
13.3.الميزاتالتيتماختيارهاحسبالنموذج...................................113
13.2.أداءكلنموذج..................................................................119
13.2.مناقشةاألداء....................................................................119
2.زمنبناءواختبارالنماذج........................................................111
2.1.تطبيقاستخالصالسماتاألوليةRaw Features.......................111
2.1.تطبيقبناءقاعدةالمعطياتوتجهيزالسماتبشكلهاالنهائيالقابللعملية
التحليل111
2.1.بناءنماذجالتفضيل...............................................................113
13.اآلفاقالمستقبلية...................................................................113
14.1.نموذجاللعبةالتكيفيAdaptive Game Model.....................113
14.2.مراحلالتوليدالتكيفيللمراحلAdaptive content generation
113
12.المراجع............................................................................111
6. Mohammad Shaker & Ola Al-Naameh 5
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
7. Mohammad Shaker & Ola Al-Naameh 6
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
8. Mohammad Shaker & Ola Al-Naameh 7
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
المشروع مقدمة األول الفصل
9. Mohammad Shaker & Ola Al-Naameh 8
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
22. Mohammad Shaker & Ola Al-Naameh 21
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
23. Mohammad Shaker & Ola Al-Naameh 22
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
24. Mohammad Shaker & Ola Al-Naameh 23
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
الثالث الفصل
إجرائي بشكل المحتوى توليد
Procedural Content Generation (PCG)
25. Mohammad Shaker & Ola Al-Naameh 24
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
32. Mohammad Shaker & Ola Al-Naameh 31
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
1.13.المدروسة اللعبةالدراسة هذه في
ماريو لعبة هي الدراسة هذه في المدروسة اللعبة فإن سابقا تكلمنا كماSuper Mario Bros
بنسخة والمطورةJavaقبل منPedersen [12]الدراسات من كثير في ماريو لعبة اختيار يتم .
البالعديد طريقها عن استخراج يمكن كالسيكية كلعبة ممتازة تجعلها خصائص من لها لما حثية
.اإلحصائية والمعلومات الدراسات من
33. Mohammad Shaker & Ola Al-Naameh 32
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
34. Mohammad Shaker & Ola Al-Naameh 33
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
الرابع الفصل
الالعب من المسترجعة المشاعر
35. Mohammad Shaker & Ola Al-Naameh 34
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
38. Mohammad Shaker & Ola Al-Naameh 37
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
39. Mohammad Shaker & Ola Al-Naameh 38
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
40. Mohammad Shaker & Ola Al-Naameh 39
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
الفصلالخامس
كامل بشكل البحثية الدراسة مخطط
41. Mohammad Shaker & Ola Al-Naameh 40
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
42. Mohammad Shaker & Ola Al-Naameh 41
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
4.مخكامل بشكل البحثية الدراسة طط
4.4.البحثية الدراسة مخطط
.الحقا بالتفصيل مرحلة كل شرح سيتم .،التالية األربعة المخططات من النظام يتألف
س
على باالعتماد المراحل توليد من األولى المرحلة تتألفالسماتالمتحكمةControllable
featuresمنه ويطلب لالعب لعبتان تقدم حيث المعطيات جمع مرحلة هي التانية المرحلة تكون .
الثالثة المرحلة .حدا على مرحلة كل في رأيه وبيان الثالث الشعورية النواح من أفضل أيهما بيان
Phase-3: Preference Modelling Phase-4: Adaptive Modeler
Controllable
features
Gameplay
features
Prediction
of
player’s
emotion
Enforced
Controllable
features
Gameplay
features
Exhaus
tive
Prediction
of
player’s
emotion
Phase-1: Levels Generation
Level
Generator
Phase-2: Data Collection
Levels
A
B
Gameplay
Features
Visual
BehaviourIn-game
Events
Questionnaire
4-AFS
Level
Rating
Controllable
Features
43. Mohammad Shaker & Ola Al-Naameh 42
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
الالعب من المسترجعة الشعورية بالنواح يتنبأ نموذج لبناء هي والرابعةخواص على اعتمادا
له اللعبGameplay featuresبحثية دراسة في النموذجين هذين عن المزيد قراءة يمكن .
.لنا أخرى
االندماجية :الشعورية للحالة جميعها النماذج بناء هنا سيتمEngagement.
44. Mohammad Shaker & Ola Al-Naameh 43
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
45. Mohammad Shaker & Ola Al-Naameh 44
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
46. Mohammad Shaker & Ola Al-Naameh 45
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
الفصلالسادس
المحتوى توليد أجل من الالعب خبرة نمذجة
47. Mohammad Shaker & Ola Al-Naameh 46
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
51. Mohammad Shaker & Ola Al-Naameh 50
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
52. Mohammad Shaker & Ola Al-Naameh 51
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
السابع الفصل
النماذج لبناء نظربة أفكار
53. Mohammad Shaker & Ola Al-Naameh 52
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
58. Mohammad Shaker & Ola Al-Naameh 57
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
59. Mohammad Shaker & Ola Al-Naameh 58
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
60. Mohammad Shaker & Ola Al-Naameh 59
Fusing Visual and Behavioral Cues for Modeling User Experience in Games
الفصلالثامن:
األفضلية عن الكشفلنمذجةتجربةالالعباللعب في
Preference Learning for Modeling Player
Experience
61. Mohammad Shaker & Ola Al-Naameh 60
Fusing Visual and Behavioral Cues for Modeling User Experience in Games