Cesar working document 9 urban strategy experiment 6

CESAR
WORKING
DOCUMENT
SERIES

Working
document
no.9

DRAWING
VERSUS
CALCULATING

The
difference
in
added
value
between
a
drawing
PSS
(Phoenix)
and
a

calculating
PSS
(Urban
Strategy)
(trial
No6)

M.
te
Brömmelstroet

14
March
2014

This
working
document
series
is
a
joint
initiative
of
the
University
of
Amsterdam,

Utrecht
University,
Wageningen
University
and

Research
centre
and
TNO

The
research
that
is
presented
in
this
series
is
financed
by
the
NWO
program
on
Sustainable
Accessibility
of
the
Randstad:

http://dbr.verdus.nl/pagina.asp?id=750

CESAR Working Document Series no. 9 Drawing vs. calculating
Page 2
TABLE
OF
CONTENT

1.
INTRODUCTION
...............................................................................................................
3

2.
SETUP
OF
THE
EXPERIMENT
............................................................................................
4

2.1
Urban
Strategy
......................................................................................................................
4

2.2
Phoenix
.................................................................................................................................
5

2.3
Setup
of
the
experiment
.......................................................................................................
6

Student
groups
.............................................................................................................................
6

Control
and
treatments
................................................................................................................
7

2.4
Data
gathering
and
analysis
..................................................................................................
7

3.
EVALUATION
RESULTS
.....................................................................................................
9

3.1
Perceived
quality
of
the
planning
process
............................................................................
9

3.2
Perceived
quality
of
the
planning
outcome
........................................................................
10

3.3
Perceived
Usability
of
the
PSS
............................................................................................
11

4.
CONCLUSIONS
AND
IMPLICATIONS
...............................................................................
13

4.1
Reflections
..........................................................................................................................
13

4.2
General
conclusions
...........................................................................................................
13

REFERENCES
..........................................................................................................................
14

APPENDIX
I:
COMPETITION
SHEET
(DUTCH)
.........................................................................
15

5.
STEDELIJKE
PLANNING
COMPETITIE
..............................................................................
15

5.1
Introductie
..........................................................................................................................
15

APPENDIX
II:
THE
ROLES
AND
THEIR
INFORMATION
(DUTCH)
.............................................
17

APPENDIX
II:
EVALUATION
FORM
FOR
QUALITY
OF
THE
PROCES
........................................
21

APPENDIX
III:
EVALUATION
FORM
FOR
QUALITY
OF
THE
OUTCOME
...................................
23

APPENDIX
IV:
EVALUATION
FORM
FOR
USABILITY
OF
PSS
...................................................
24

Page 3
1. INTRODUCTION

In
this
working
document
we
report
on
a
sixth
randomized
controlled
trial
to
test
the
added
value

of
Planning
Support
Systems
(PSS)
in
strategy
making
practices.
In
this
trial
we
are
focussing
on
the

differences
between
a
PSS
that
aims
to
support
collective
drawing
(Phoenix
of
Geodan)
and
one

that
aims
to
offer
quick
calculations
of
effects
(TNO’s
Urban
Strategy).

Both
state
of
the
art
instruments
claim
and
aim
to
improve
strategy-‐making
processes
in
urban

planning
practice.
In
this
research
line,
these
claims
are
tested
under
controlled
conditions.
In
trial

six,
the
goal
is
to
find
out
what
the
strengths
and
weaknesses
are
of
an
instrument
that
specifically

offers
support
for
collective
drawing
and
designing
(Phoenix)
and
an
instrument
that
offers
explicit

knowledge
about
the
effects
of
urban
interventions
(Urban
Strategy).

To
do
so,
we
have
designed
a
trial
in
which
groups
of
students
from
the
Urban
Planning
bachelor
of

the
University
of
Amsterdam
were
invited
to
create
designs
for
an
area
in
the
city
of
Utrecht.
The

nine
groups
were
randomly
divided
over
three
conditions:
business
as
usual,
support
by
Phoenix

and
support
by
Urban
Strategy.
We
were
especially
interested
in
how
these
different
treatments

would
influence
the
usability
of
PSS
and
the
general
quality
of
the
planning
process
and
planning

outcomes.
To
do
so,
we
made
use
of
the
conceptual-‐
and
measuring
frameworks
as
introduced
and

discussed
in
CESAR
Working
Document
No.
1.

First,
we
describe
the
setup
of
the
experiment
and
the
different
treatments
that
we
have
compared

(section
2).
Then,
the
findings
of
the
experiment
are
presented
(section
3).
In
the
fourth
section
we

will
briefly
discuss
the
implications
of
these
findings
and
further
research.

Page 4
2. SETUP
OF
THE
EXPERIMENT

2.1 Urban
Strategy

TNO
started
around
2005
with
the
development
of
Urban
Strategy
(Borst
et
al.
2007;
2009a;

2009b).
This
instrument
specifically
aims
to
bridge
the
existing
flexibility-‐
and
communication

bottlenecks
that
severely
limit
the
usability
of
many
PSS.
Urban
Strategy
aims
to
improve
complex

spatial
planning
processes
on
the
urban-‐
and
regional
level.
To
do
this,
different
computer
models

are
linked
to
a
central
database
and
interface
to
provide
insights
in
a
wide
area
of
urban
indicators

and
maps.
The
effects
of
interventions
in
infrastructure,
land
use,
build
objects
and
their
functions

can
be
calculated
and
visualized.
Because
the
PSS
is
able
to
calculate
fast
and
present
the
results
in

an
attractive
1D,
2D
and
3D
visualisation
this
can
be
used
in
interactive
sessions
with
planning

actors.

Starting
point
for
Urban
Strategy
is
the
use
of
existing
state-‐of-‐the-‐art
and
legally
accepted
models.

To
link
these
existing
models
a
number
of
new
elements
were
developed:

- a
database
with
an
uniform
datamodel;

- interfaces
that
show
a
3D
image
of
the
modeled
situation,
indicators
and
that
offer
functionality

to
add
interventions;

- a
framework
that
structures
the
communication
between
the
models
and
the
interfaces.

The
goal
of
Urban
Strategy
is
to
enable
planning
actors
in
workshop
sessions
to
communicate
their

ideas
and
strategies
to
the
PSS
and
to
learn
from
the
effects
that
are
shown.
This
interactivity
calls

for
fast
calculations
of
all
the
model
and
fast
communication
between
all
elements.
For
this,
the

models
were
enabled
to
respond
on
events
(urban
interventions
from
the
participants
in
the

workshops.
A
new
software
architecture
was
developed
to
have
all
these
elements
communicate

(figure
2).

Through
this
increases
speed
and
the
wide
variety
of
models
that
are
linked
together,
the
PSS
aims

to
be
highly
flexible
in
offering
answers
to
a
large
number
of
questions
that
a
group
of
urban

planning
actors
can
have.

Figure
2

Schematic
overview
of
communication
architecture
of
Urban
Strategy.

The
3D
interface
generates,
based
on
objects
in
the
database,
a
3D
digital
maquette
of
the
urban

environment.
To
this,
different
information
layers
can
be
addes,
such
as
air
quality
contours,
noise

contours
and
groundwater
levels.
Also,
the
objects
can
be
colored
according
to
their
characteristics

(function,
energy
use,
CO2
emissions,
number
of
inhabitants,
etc).
The
2D
interface
can
be
used
by

the
end
user
(or
operator)
to
add
changes
to
the
database.
Objects
can
be
added
or
removed,
their

location
can
be
changed
and
the
characteristics
of
the
object
can
be
changed.
The
1D
interface

shows
indicators
that
are
calculated
by
all
the
models
that
are
included.
Examples
are
the

Page 5
percentage
of
noise
hindrance,
group
risk
in
an
area
or
the
contribution
of
types
of
objects
to
CO2

emission.

Figure
3

The
three
interfaces
of
Urban
Strategy

Urban
Strategy
as
a
PSS
is
not
only
a
computer
instrument,
but
also
offers
process
support
for

groups
of
planning
participants.
It
does
so
by
using
a
Maptable
(a
surface
table
screen
on
which

people
can
interact
with
the
information
from
the
instrument)
and
by
having
a
mediator
organize

the
exchange
of
knowledge
between
participants
and
between
them
and
the
computer
instrument.

Using
Urban
Strategy
in
a
participatory
setting
is
supported
by
a
mediator
(who
guides
the
process

and
interaction
between
the
instrument
and
the
users)
and
two
chauffeurs
(who
translate
ideas

into
the
instrument
and
run
the
analyses).

2.2 Phoenix

The
map
is
a
natural
platform
for
discussion.
This
new
touch
table
application
supports
this
for

effective
internal
and
external
communication.
By
combining
simple
controls
with
a
clear
user

interface
design
it
offers
valuable
tools
for
interaction.
Phoenix
allows
users
to
quickly
combine
and

overlay
layers
of
huge
amounts
of
geographical
information,
to
consult
data
and
to
draw

interventions.
It
can
be
using
for
a
wide
range
of
processes
and
spatial
scales,
ranging
from
local

participatory
processes
to
regional
location
decisions
to
international
negotiations.

Through
this,
Phoenix
allows
the
users
to
use
maps
that
are
often
individually
used
in
interactive

situations.
The
focus
is
not
on
specialist
operations
and
analysis
but
on
clear
visualization,

accessible
map
navigation
in
2D
and
3D
and
easy
ways
to
draw
interventions
or
make
notes.
For

this
purpose,
Phoenix
offers
a
package
of
specially
designed
hard-‐
and
software
that
is
also

accessible
and
usable
for
actors
without
a
technical
background.

Using
Phoenix
in
a
participatory
setting
is
supported
by
a
mediator
and
one
chauffeur.

Page 6

Figure
4

Phoenix
as
a
information
sharing
platform

2.3 Setup
of
the
experiment

The
research
question
is:
Is
there
a
difference
in
the
added
value
of
a
communicating
PSS
and
a

analytical
PSS
for
the
quality
of
strategy
making?

We
designed
our
study
as
a
randomized
controlled
laboratory
experiment.
With
this
we
aimed
to

optimize
the
internal
and
external
validity
of
our
findings.
Testing
general
claims
of
the
PSS

literature
calls
for
a
strong
focus
on
the
ability
to
translate
our
findings
to
theory.
Although
we

aimed
to
mirror
characteristics
of
urban
planning
practice
(see
below),
the
focus
on
internal
and

external
validity
means
a
sacrifice
of
ecological
validity.

Student
groups

The
experiment
was
set
up
as
an
obligatory
part
of
a
second
year
combined
course
of
the
Urban

Planning
and
Social
Geography
bachelors
of
the
University
of
Amsterdam.
For
these,
students
were

randomly
assigned
to
a
group.
Each
of
these
groups
of
about
8
students
were
asked
to
join
a
90

minute
urban
strategy
making
competition
for
an
infill
area
in
the
city
of
Utrecht.
On
arrival,
each

groups
was
presented
with
an
existing
plan
for
the
area
(figure
5)
and
problems
of
this
plan
on
air

quality,
noise
and
mobility.
Among
the
students,
four
roles
were
assigned
randomly:
transport

planner,
environmental
advisor,
urban
designer
and
citizen.
Each
of
these
roles
received
a
specific

role
specific
problem
definition
and
goal.
To
win
the
competition,
each
role
competed
with
the

same
roles
in
other
groups.

A
total
of
69
students
participated
in
9
groups.

Page 7
Fig.
4.
Urban
infill
plan
for
the
Cartesiusdriehoek
area
in
the
city
center
of
Utrecht

Control
and
treatments

The
nine
groups
were
randomly
divided
into
control
and
treatment
conditions.
The
three
control

groups
received
no
support;
they
were
assigned
to
a
table
with
empty
plans,
instructed
to
start,

and
informed
when
the
time
was
up.
Three
groups
received
the
full
support
by
TNO’s
Urban

Strategy,
together
with
their
mediator
and
chauffeurs.
The
other
three
groups
received
the
full

support
by
Geodan
with
their
mediator
and
chauffeur.

Fig.
6.
Physical
setup
for
groups:
Control
group
(left)
Urban
Strategy
(middle)
and
Phoenix
(right)

2.4 Data
gathering
and
analysis

To
find
out
if
there
are
any
systematic
differences
in
the
performance
of
the
control-‐
and
treatment

groups
we
have
made
use
of
several
data
gathering
techniques.
For
this
we
used
the
framework
for

quality
of
planning
as
presented
on
the
2013
CUPUM
conference.
See
table
1
for
the
dimensions

and
subdimensions
that
were
measured.

Page 8
Table
1.
Dimensions
of
the
quality
of
planning

First,
two
external
planning
experts
(PhD
candidates
in
Urban
Planning
of
the
University
of

Amsterdam)
rated
the
general
quality
of
the
resulting
strategies.
For
each
strategy,
they
were

asked
to
respond
to
statements
on
the
dimensions
A
to
F
of
table
1
(on
a
7
point
Likert
scale).
They

were
not
informed
of
the
hypothesis,
nor
were
they
aware
of
which
strategies
came
from
control-‐

or
treatment
groups.

Secondly,
all
participants
filled
in
an
evaluation
form
in
which
we
solicited
their
personal

perceptions
of
the
quality
of
the
planning
process.
They
responded
to
statements
relating
to
the

dimensions
J-‐W
of
table
1.
And
thirdly,
we
have
used
direct
observation.
These
observations
were

mainly
used
to
understand
the
outcomes
of
the
first
three
analytical
instruments.

For
the
analysis,
the
responses
on
the
statements
were
averaged
and
then
compared
and
tested

for
systematic
differences.
To
indicate
the
strength
of
the
differences
in
effects,
we
used
the
p-‐
value
of
a
ANOVA
F-‐test
to
compare
two
independent
means
(<0,05
is
considered
statistical

significant).
The
statements
were
grouped
for
the
subdimensions
and
overall
dimensions
by

averaging
them.
The
two
statements
on
conflict
were
first
inverted
to
make
them
compatible
with

this
process.
For
the
outcome
dimensions,
the
scores
of
the
raters
were
also
averaged
and
then

processed
in
the
same
way.

Finally,
when
relevant,
we
asked
the
participants
to
rate
the
used
PSS
on
a
number
of
generic

usability
indicators,
using
a
7-‐point
Likert
scale.

Page 9
3. EVALUATION
RESULTS

3.1 Perceived
quality
of
the
planning
process

All
findings
are
represented
in
figure
7.
On
the
x-‐axis,
all
process
dimensions
are
represented
(the

grouped
dimensions
are
capitalized).
The
y-‐axis
represents
the
average
score
on
a
seven
point

Likert
Scale.
Table
2
presents
the
outcomes
in
more
detail.
Also,
the
differences
(between
the
PSS

and
the
control
group
and
between
the
PSS
themselves)
and
their
statistical
significance
are

presented.

We
see
here
that
the
scores
of
the
treatment
groups
are
relatively
high
(an
overall
overage
of
5.2).

Especially
on
consensus
(on
problem
and
strategies)
and
role
satisfaction.
Participants
that
were

supported
by
Phoenix
perceived
less
quality
of
the
process
on
all
measured
dimensions.

Urban

Strategy
scores
lower
on
some
dimensions
(i.e.
Shared
language,
Consensus
and
Role
satisfaction)

and
higher
in
others
(most
notably
in
Reaction
and
Insight)

Fig.
7.
Scores
on
all
process
dimensions
on
7-‐point
Likert
scale
(composite
dimensions
are
capitalized)

Table
2.
Scores,
differences
and
p
values
on
all
process
dimensions
(significant
differences
are
highlighted)

Average

control

Urban

Strategy
Phoenix
Dif
US
P
value
US

Dif

Phoenix
P
value
Phoenix

Dif
US
-‐

Phoenix

Pvalue
US

-‐
Phoenix

REACTION
5,26
5,42
4,89
0,15
0,571
-‐0,37
0,138
0,53
0,071

ENTHUSIASM
5,10
5,58
4,98
0,49
0,098
-‐0,12
0,695
0,60
0,038

SATISFACTION
5,62
5,63
5,25
0,01
0,982
-‐0,37
0,125
0,37
0,188

CREDIBILITY
5,05
5,10
4,47
0,05
0,887
-‐0,58
0,077
0,63
0,077

INSIGHT
4,81
5,06
4,66
0,25
0,26
-‐0,16
0,423
0,40
0,045

INSIGHTPROBLEM
4,73
5,05
4,66
0,33
0,2
-‐0,07
0,775
0,40
0,095

INSIGHTASSUMPTIONS
4,88
5,07
4,66
0,18
0,43
-‐0,23
0,304
0,41
0,062

COMMITMENT
5,62
5,54
5,04
-‐0,08
0,826
-‐0,58
0,046
0,50
0,181

COMMUNICATION
5,19
5,38
5,04
0,18
0,47
-‐0,15
0,64
0,33
0,267

SHAREDLANGUAGE
5,00
4,52
4,27
-‐0,48
0,105
-‐0,73
0,005
0,25
0,390

CONSENSUS
5,66
5,33
5,34
-‐0,34
0,193
-‐0,32
0,162
-‐0,02
0,952

CONSENSUSPROBLEM
5,74
5,23
5,33
-‐0,51
0,101
-‐0,40
0,13
-‐0,10
0,742

CONSENSUSGOALS
5,38
5,29
5,21
-‐0,09
0,774
-‐0,17
0,566
0,08
0,785

CONSENSUSSTRATEGIES
5,74
5,44
5,42
-‐0,30
0,267
-‐0,32
0,175
0,02
0,942

COHESION
4,67
4,47
4,01
-‐0,20
0,472
-‐0,66
0,013
0,46
0,065

EFFICIENCY
5,19
4,92
4,25
-‐0,27
0,541
-‐0,94
0,043
0,67
0,143

ROLLEN
5,78
5,40
5,28
-‐0,38
0,164
-‐0,50
0,051
0,13
0,678

TOTAAL
5,15
5,11
4,75
-‐0,05
0,812
-‐0,41
0,022
0,36
0,085

N
21
24
24

Page 10
3.2 Perceived
quality
of
the
planning
outcome

Figure
8
has
a
similar
setup
as
figure
7.
The
scores
of
the
two
raters
are
averaged
per
statement

and
than
averaged
for
each
dimension.
Table
3
presents
the
detailed
scores
and
differences.
Here,

we
see
that
the
Urban
Strategy
groups
score
higher
on
all
measured
dimensions,
except
on

implementability.
The
plans
of
the
groups
that
were
supported
by
Phoenix
score
lowest
on
most

dimensions.

Fig.
8.
Scores
on
all
outcome
dimensions
on
7-‐point
Likert
scale
(composite
dimensions
are
capitalized)

Table
3.
Scores,
differences
and
p
values
on
all
outcome
dimensions
(there
are
no
significant
differences)

Average

control

Urban

Strategy
Phoenix
Dif
US
P
value
US

Dif

Phoenix

P
value

Phoenix

Dif
US
-‐

Phoenix

Pvalue
US
-‐

Phoenix

NOVELTY
3,89
4,28
4,00
0,39
0,600
0,11
0,808
0,28
0,733

ORIGINALITY
3,75
4,33
3,88
0,58
0,477
0,13
0,775
0,46
0,608

PARADIGM
RELATEDNESS
4,17
4,17
4,25
0,00
1,000
0,08
0,872
-‐0,08
0,911

WORKABILITY
4,33
4,50
4,33
0,17
0,587
0,00
1,000
0,17
0,609

IMPLEMENTABILITY
4,17
3,83
3,67
-‐0,33
0,653
-‐0,50
0,417
0,17
0,834

ACCEPTABILITY
4,39
4,72
4,56
0,33
0,349
0,17
0,101
0,17
0,624

RELEVANCE
4,44
4,50
3,72
0,06
0,768
-‐0,72
0,334
0,78
0,296

APPLICABILITY
4,67
4,83
4,17
0,17
0,519
-‐0,50
0,588
0,67
0,477

EFFECTIVENESS
4,33
4,33
3,50
0,00
1,000
-‐0,83
0,238
0,83
0,238

SPECIFICITY
4,88
5,08
4,48
0,20
0,305
-‐0,40
0,160
0,60
0,074

COMPLETENESS
4,60
4,79
4,29
0,19
0,329
-‐0,31
0,171
0,50
0,057

IMPLICATIONAL
EXPLICITNESS
5,33
5,67
4,67
0,33
0,422
-‐0,67
0,294
1,00
0,101

CLARITY
5,67
5,83
5,08
0,17
0,519
-‐0,58
0,165
0,75
0,134

TOTAL
4,47
4,70
4,25
0,23
0,385
-‐0,22
0,434
0,45
0,249

N
3
3
3

Page 11
3.3 Perceived
Usability
of
the
PSS

Figure
9
and
table
4
present
the
scores
on
the
generic
usability
characteristics
as
perceived
by
the

participants.
On
all
dimensions,
Urban
Strategy
scores
higher.
This
difference
can
be
considered

statistical
significant
for
the
dimensions
Credibility,
Extensiveness,
Level
of
Detail,
and
for
the
total

usability.

Fig.
9.
Scores
on
generic
usability
characteristics
of
the
PSS
on
7-‐point
Likert
scale

Table
4.
Detailed
results
for
the
usability
characteristics

Transparancy
Communicative
value Clarity
Userfriend-
lyness
Credi
bility
Extensive-
ness Focus
Leve of
detail
Easy to
understand
Connects
to role
Urban
Strategy
Mean 5,57 5,79 5,92 5,57 5,96 6,08 5,43 5,63 5,83 5,58
N 23 24 24 23 24 24 23 24 23 24
Std. Deviation ,992 1,285 1,100 ,843 ,859 ,830 1,121 1,056 ,984 1,349
Phoenix Mean 5,36 5,29 5,46 5,17 4,88 5,38 5,08 4,54 5,57 5,17
N 22 24 24 23 24 24 24 24 23 24
Std. Deviation ,727 ,690 ,884 1,029 ,850 1,245 1,018 1,351 1,161 1,167
Sig.

0,443
0,1
0,118
0,165
0
0,025
0,266
0,003
0,415
0,258

Supports
evaluating
ideas
Supports
generating ideas
Supports
sketching
Bullshit
detector
Creativity
support
Understand
able
indicators Efficiency Total
Urban
Strategy
Mean 5,58 5,42 5,83 4,96 4,00 4,83 5,46 5,50
N 24 24 24 23 24 23 24 24
Std. Deviation 1,018 1,213 1,007 1,522 1,44463 1,403 1,318 ,56014
Phoenix Mean 5,38 5,42 5,63 4,38 3,58 4,35 5,04 5,03
N 24 24 24 24 24 23 23 24
Std. Deviation 1,096 1,283 ,970 1,439 1,41165 1,027 1,296 ,53076
Sig.

0,498
1
0,469
0,185
0,317
0,194
0,283
0,005

Page 12

When
we
zoom
in
on
the
differences
in
roles
we
find
two
significant
differences
for
Urban
Strategy

and
one
for
Phoenix
(figure
10).

Fig.
9.
Role
specific
scores
on
usability
characteristics
based
on
significant
effects
for
Urban
Strategy
(left)
and
Phoenix

(right)

4. CONCLUSIONS
AND
IMPLICATIONS

4.1 Reflections

There
are
several
important
reflections
to
make
on
the
methodology
that
have
serious
implications

for
the
results
and
their
generalizability.
The
laboratory
setup
with
students
allows
for
strong

control
over
the
treatment
and
control
groups,
but
it
also
simplifies
the
complexity
of
daily

planning
practice
on
some
important
aspects.
The
most
important
limitations
are
discussed
below.

Students:
In
the
context
of
planning
practice,
the
student
population
of
this
experiment
can
be

considered
as
being
empty
vessels.
They
do
not
have
much
tacit
knowledge
about
the
issues
in
the

Waalhaven
case;
neither
do
they
have
vested
interests
or
accountability
for
it.
This
makes
the

experiment
relatively
insensitive
for
some
important
effects
that
can
be
expected
in
real
planning

practice,
such
as
developing
a
shared
language
or
gaining
consensus.
Related
to
that,
we
would
also

expect
to
see
more
effects
on
the
quality
of
the
planning
outcome
in
such
a
practical
environment.

First
timers:
A
large
majority
of
the
students
stated
in
the
open
question
that
they
enjoyed
the

strategy
making
exercise,
since
they
never
did
this
before.
This
is
mirrored
in
the
relatively
high

scores
on
the
process
dimensions
(such
as
satisfaction)
by
the
students
in
the
control
group.
Again,

this
makes
the
experiment
less
sensitive
for
process
effects
that
would
be
expected
in
planning

practice.
Here,
the
participants
would
have
much
more
(negative
and
positive)
experiences
with

similar
processes
and
are
better
able
to
assess
the
added
value
of
Urban
Strategy.
Also,
they
would

be
able
to
score
the
instrument
characteristics
(table
3)
more
in
relation
to
other
instruments.

Related
to
that,
we
cannot
assume
that
the
control
group
worked
as
‘business
as
usual’.

Raters:
Due
to
time
constraints,
we
worked
with
two
external
raters
from
the
University
of

Amsterdam.
For
them
it
was
difficult
to
assess
some
of
the
quality
dimensions
of
the
planning

outcome.
This
affected
both
their
judgment
of
the
control
and
treatment
planning
outcomes,
which

makes
its
implications
less
relevant.
They
both
noted
that
the
outcomes
were
poorly
written
and

some
lacked
a
legend.
This
sometimes
made
rating
difficult.

4.2 General
conclusions

With
these
methodological
limitations
in
mind,
the
experiment
has
offered
us
some
interesting

insights
how
the
usability
and
use
of
two
different
types
of
PSS:
communicating
and
analytical.

As
in
earlier
experiments
the
generic
usability
characteristics
of
both
instruments
are
highly
rated.

Overall,
participants
are
enthusiastic
about
the
instrument
and
often
surprised
about
its
speed
and

ease
of
use.

The
data
of
this
experiment
does
not
allow
to
draw
many
hard
conclusions.
However,
we
can
say

that
in
this
case
Urban
Strategy
is
considered
to
be
significantly
more
usable
than
Phoenix.
Also,

participants
that
have
worked
with
Urban
Strategy
score
significantly
higher
on
Enthusiasm
and

Insight
than
the
participants
that
worked
with
Phoenix.
Observations
indicated
that
these
could

relate
to
the
process
in
which
the
students
were
engaged
with
the
instrument.
Phoenix
decided
to

follow
a
process
in
which
each
role
was
coming
to
the
table
and
then
conflicts
were
discussed,

while
Urban
Strategy
focused
more
on
getting
all
roles
together
and
engaged
with
the
instrument

and
eachother.
Again,
as
also
found
in
the
earlier
experiments,
it
seems
that
this
process
is
the

main
element
on
which
the
effect
of
PSS
can
be
(easily
and
significantly)
improved.

Page 14
REFERENCES

Al,
J.,
&
van
Tilburg,
W.
(2005).
Basisboek
instrumenten
regionale
bereikbaarheid.
Rotterdam:

Rijkswaterstaat
AVV.

Couclelis,
H.
(2005).
“Where
has
the
future
gone?”
Rethinking
the
role
of
integrated
land-‐use

models
in
spatial
planning.
Environment
and
Planning
A,
37,
1353-‐1371.

Dean,
D.
L.,
Hender,
J.
M.,
Rodgers,
T.
L.,
&
Santanen,
E.
L.
(2006).
Identifying
Quality,
Novel,
and

Creative
Ideas:Constructs
and
Scales
for
Idea
Evaluation.
Journal
of
the
Association
for

Information
Systems,
7,
646-‐699.

Friedmann,
J.
(1987).
Planning
in
the
public
domain:
From
knowledge
to
action.
Princeton:

Princeton
University
Press.

Klosterman,
R.
(1999).
The
What
If?
collaborative
planning
support
system.
Environment
and

Planning
A,
26,
393-‐408.

Lee,
D.
B.
(1973).
Requiem
for
large-‐scale
models.
Journal
of
the
American
Planning
Association,
39,

pp.
163-‐178.

Lee,
D.
B.
(1994).
Retrospective
on
large-‐scale
urban
models.
Journal
of
the
American
Planning

Association,
60,
35-‐40.

Rittel,
H.,
&
Webber,
M.
(1984).
Dilemmas
in
a
general
theory
of
planning.
In
N.
Cross
(Ed.),

Developments
in
design
methodology
pp.
135-‐144).
Chicester:
John
Wiley
and
Sons.

Rouwette,
E.
A.
J.
A.,
Vennix,
J.
A.
M.,
&
Van
Mullekom,
T.
(2002).
Group
model
building

effectiveness:
a
review
of
assessment
studies.
System
Dynamics
Review,
18,
5-‐45.

Te
Brömmelstroet,
M.
(2010).
Equip
the
warrior
instead
of
manning
the
equipment:
Land
use
and

transport
planning
support
in
the
Netherlands.
Journal
of
Transport
and
Land
Use,
3,
25-‐41.

Te
Brömmelstroet,
M.
(2011).
What
do
we
support
and
how
(well)
do
we
do
it?
A
multidimensional

framework
to
measure
the
effectiveness
of
Planning
Support
Systems.
Environment
and

Planning
B:
Planning
and
Design,
submitted.

Te
Brömmelstroet,
M.,
&
Schrijnen,
P.
M.
(2010).
From
Planning
Support
Systems
to
Mediated

Planning
Support:
A
structured
dialogue
to
overcome
the
implementation
gap.
Environment

and
Planning
B:
Planning
and
Design,
37,
3-‐20.

Vonk,
G.
(2006).
Improving
planning
support;
The
use
of
planning
support
systems
for
spatial

planning.
Utrecht:
Nederlandse
Geografische
Studies.

Vonk,
G.,
&
Ligtenberg,
A.
(2009).
Socio-‐technical
PSS
development
to
improve
functionality
and

usability—Sketch
planning
using
a
Maptable.
Landscape
and
Urban
Planning,

doi:10.1016/j.landurbplan.2009.10.001

Waddell,
P.
(2002).
UrbanSim:
Modeling
Urban
Development
for
Land
Use,
Transportation
and

Environmental
Planning.
Journal
of
the
American
Planning
Association,
68,
297-‐314.

Waddell,
P.
(2011).
Integrated
Land
Use
and
Transportation
Planning
and
Modelling:
Addressing

Challenges
in
Research
and
Practice.
Transport
Reviews,
31,
209-‐229.

Page 15
APPENDIX
I:
COMPETITION
SHEET
(DUTCH)

5. STEDELIJKE
PLANNING
COMPETITIE

Datum:

29/30
Oktober
2013

5.1

Introductie

Utrecht
wil
zich
in
de
toekomst
verder
ontwikkelen
als
aantrekkelijke
stad
voor
creatieve

bedrijven
en
jonge
gezinnen.
Daarvoor
wordt
nu
vooral
gezocht
naar
locaties
binnen
de

bestaande
stad
die
in
aanmerking
komen
voor
herontwikkeling.
Doordat
deze
plekken
op

korte
afstand
liggen
van
het
centrum
bieden
ze
de
stad
interessante
ontwikkelingslocaties.
Eén

van
deze
locaties
is
de
zogenaamde
Cartesiusdriehoek
(zie
figuur
1)

Figuur
1:
Locatie
Cartesiusdriehoek
in
de
Utrechtse
binnenstad

De
Cartesiusdriehoek
zou
een
creatieve
zone
moeten
worden
waar
hoog
stedelijk
wonen,

sport,
ontspanning
en
kleine
dienstverlening
hand-‐in-‐hand
gaan.
Het
moet
daarbij
voorop

lopen
op
het
gebied
van
milieuvriendelijke
en
duurzame
stedelijke
ontwikkeling.
Dat
schrijft

de
gemeente
Utrecht
in
een
uitgebreide
visie.
Daarvoor
moet
de
wegenstructuur
worden

aangepast,
is
er
meer
groen
nodig
en
zouden
er
enkele
cafés
moeten
komen,
zegt
de
gemeente.

Ook
moet
er
op
het
terrein
gezinsappartementen
en
een
groot
bedrijfsverzamelgebouw

verrijzen.
De
contouren
van
deze
strategie
zijn
in
een
ontwerp
vastgelegd
(figuur
2).

Het
ontwerp
scoort
helaas
nog
mager
op
ruimtelijke
kwaliteit.
Daarnaast
zijn
er,
door
de

ligging
in
de
buurt
van
het
spoor
en
in
het
oude
industrieterrein,
een
aantal
harde
(milieu-‐
)grenzen
die
overschreden
worden.
De
milieudruk
in
het
plangebied
is
zeer
hoog.
De

naastgelegen
industrie
zorgt
voor
de
nodige
geluidsoverlast
en
heeft
een
nadelig
effect
op
de

luchtkwaliteit
in
het
plangebied.
Daarnaast
is
geluidsoverlast
van
het
spoor
groot
en
zijn
er

vragen
gesteld
over
de
veiligheid
van
het
spoor:
er
komen
hier
namelijk
af
en
toe
transporten

met
gevaarlijke
stoffen
langs.

De
Cartesiusweg
levert
de
nodige
geluidsoverlast
in
het

plangebied.
Hoewel
de
doorstroming
op
de
Cartesiusweg
goed
is,
is
de
verkeersafwikkeling

Page 16
direct
buiten
het
plangebied
ook
een
punt
van
discussie.
Deze
was
zonder
dit
plan
al

problematisch,
maar
wordt
door
de
bijdrage
van
het
plangebied
alleen
maar
verergerd.

Aan
jullie
de
opdracht
om
hiervoor
en
op
basis
van
de
aangereikte
informatie
een
zo
goed

mogelijk
alternatieve
strategie
op
te
stellen.

Figuur
2:
Kaart
van
het
gebied
met
een
indeling
van
woningen
(appartementen),
horeca,

winkels,
groen
en
een
wegenstructuur
.

Opdracht

In
90
minuten
met
je
team
tot
een
verbeterd
plan
komen.
Eén
kaart
(+legenda)
en
een

toelichting
worden
door
ons
beoordeeld
op
hoe
aantrekkelijk
het
gebied
wordt
en
hoe

het
scoort
op
ruimtelijke
kwaliteit
en
milieueisen.
Daarnaast
wordt
gekeken
naar

innovatie,
relevantie,
haalbaarheid
en
specificiteit
van
jullie
plan.

Page 17
APPENDIX
II:
THE
ROLES
AND
THEIR
INFORMATION
(DUTCH)

~UW
ROL~

De
ontwerpcompetitie
gaat
uit
van
verschillende
rollen.
Iedere
groep
bestaat
uit

stedenbouwkundigen,
milieu
adviseurs,
verkeerskundigen
en
burgers.
Voor
ieder
van
deze
rollen

staat
een
prijs
op
het
spel
voor
de
groep
die
het
rol-‐specifieke
belang
het
beste
in
het
uiteindelijke

plan
hebben
gekregen.

Uw
rol
is
STEDENBOUWKUNDIGE
(Zilveren
hoed).
Dit
houdt
concreet
in
dat
u
wordt
gevraagd
om

op
basis
van
de
programmatische
uitgangspunten
een
ruimtelijk
plan
op
te
stellen
en
daarbij

tijdens
het
gehele
proces
zo
goed
mogelijk
te
letten
op
de
algehele
kwaliteiten
en
uitstraling
van

het
plan.
Als
er
enkel
naar
juridische
randvoorwaarden
wordt
gekeken,
wordt
er
misschien
een

gebied
ontwikkelt
dat
onvoldoende
ruimte
en
flexibiliteit
biedt
en
niet
interessant
is
voor
de

(creatieve)
bedrijven
en
stedelijke
gezinnen
die
zich
hier
kunnen
vestigen.
Het
is
aan
u
en
uw
mede

stedenbouwkundigen
om
dit
te
voorkomen.
Denk
bij
het
plan
vooral
aan
de
verhoudingen
tussen

de
gebouwen
in
het
gebied,
de
aantrekkelijkheid
van
de
openbare
ruimte
(gedurende
de
hele
dag),

de
samenhang
met
omliggende
buurten
en
functies
die
het
gebied
ook
een
interessante

bestemming
voor
Utrechters
kan
maken.

Het
beste
stedenbouwkundige
team
wint
uiteindelijk
het
prijzenpakket.
U
kunt
hierbij
op
de

volgende
aspecten
punten
scoren:

-‐ algehele
uitstraling
van
het
uiteindelijke
plan
(voor
(creatieve)
bedrijven
en
jonge

gezinnen)

-‐ Samenhangend
concept

-‐ Samenhang
met
omliggende
buurten
en
structuur
van
de
stad

-‐ Ideeën
voor
de
openbare
ruimte
en
sfeerbeeld
van
bebouwing

-‐ Aandacht
voor
het
plan
zelf
(legenda,
korte
en
bondige
tekst)

Om
te
beginnen
wordt
u
gevraagd
om
samen
met
de
andere
stedenbouwkundigen
1
á
2

verbeteringen
van
het
bestaande
plan
op
te
stellen
vanuit
uw
rol.
U
heeft
daarvoor
vijf
minuten.

Daarna
gaat
u
samen
een
optimaal
nieuw
plan
voor
het
gebied
uitwerken.

Page 18

~UW
ROL~

De
ontwerpcompetitie
gaat
uit
van
verschillende
rollen.
Iedere
groep
bestaat
uit

stedenbouwkundigen,
milieu
adviseurs,
verkeerskundigen
en
burgers.
Voor
ieder
van
deze
rollen

staat
een
prijs
op
het
spel
voor
de
groep
die
het
rol-‐specifieke
belang
het
beste
in
het
uiteindelijke

plan
hebben
gekregen.

Uw
rol
is
BURGER
(Blauwe
hoed)
die
pal
naast
het
plangebied
woont
(kies
desgewenst
zelf
een

plek).
Dit
houdt
concreet
in
dat
u
twee
belangen
heeft:
Enerzijds
wilt
u
dat
de
nieuwe

ontwikkelingen
niet
teveel
negatieve
effecten
hebben
voor
uw
woongenot
(bv
extra
verkeer).
U

wilt
daarbij
dat
er
in
de
nieuwe
wijk
zoveel
mogelijk
voorzieningen
die
iets
toevoegen
aan
uw

woonomgeving,
zoals
bijvoorbeeld
winkels,
parken
en
een
aantrekkelijke
openbare
ruimte.

Anderzijds
bent
u
ook
kritisch
naar
de
algehele
financiële
huishouding
van
uw
stad.
Al
die
grote
en

dure
projecten
waarvan
het
voor
u
onduidelijk
is
wat
de
meerwaarde
voor
de
Utrechter
is.
Daarom

kijkt
u
ook
kritisch
naar
de
ambities
die
in
het
gebied
worden
gerealiseerd
en
hoe
deze
volgens
u

wel
of
niet
bijdragen
aan
een
de
buurt
en
de
stad.
Wees
samen
met
de
andere
burgers
in
uw
groep

zoveel
mogelijk
de
kritische
luis
in
de
pels
voor
de
andere
deskundigen.

Het
beste
team
van
burgers
wint
uiteindelijk
het
prijzenpakket.
U
kunt
hierbij
op
de
volgende

aspecten
punten
scoren:

-‐ Blijven
de
kosten
voor
de
Utrechtse
belastingbetaler
binnen
de
perken?

-‐ Blijven
de
negatieve
effecten
voor
de
omwonende
beperkt?

-‐ Hoeveel
nuttige
functies
en
voorzieningen
voor
de
omliggende
buurten
is
er

gerealiseerd
in
het
plangebied?

Om
te
beginnen
wordt
u
gevraagd
om
samen
met
de
andere
burgers
1
á
2
verbeteringen
van
het

bestaande
plan
op
te
stellen
vanuit
uw
rol
als
burger.
U
heeft
daarvoor
vijf
minuten.
Daarna
gaat
u

samen
een
optimaal
nieuw
plan
voor
het
gebied
uitwerken.

Page 19

~UW
ROL~

De
ontwerpcompetitie
gaat
uit
van
verschillende
rollen.
Iedere
groep
bestaat
uit

stedenbouwkundigen,
milieu
adviseurs,
verkeerskundigen
en
burgers.
Voor
ieder
van
deze
rollen

staat
een
prijs
op
het
spel
voor
de
groep
die
het
rol-‐specifieke
belang
het
beste
in
het
uiteindelijke

plan
hebben
gekregen.

Uw
rol
is
VERKEERSKUNDIGE
(Paarse
hoed).
Dit
houdt
concreet
in
dat
u
verantwoordelijk
bent
voor

de
afwikkeling
van
al
het
verkeer
in
en
rond
het
plangebied.
Daarnaast
moet
u
en
uw
team
zo
goed

mogelijk
proberen
om
de
negatieve
effecten
van
deze
mobiliteit
zoveel
mogelijk
te
reduceren.
Kan

het
bestaande
wegennet
al
het
nieuwe
verkeer
in
en
uit
het
plangebied
verwerken?
Ontstaan
er

capaciteitsproblemen
en
hoe
lost
u
dit
op?
Is
er
voldoende
parkeergelegenheid
voorzien?

Daarnaast
moet
u
en
de
andere
verkeerskundigen
ook
kijken
naar
de
mogelijkheden
van
het

openbaar
vervoer,
de
fiets
en
de
voetganger.
Wordt
er
in
het
plangebied
voldoende
aan
hen

gedacht
en
kan
er
wellicht
gebruik
worden
gemaakt
van
faciliteiten
in
aangrenzende
buurten?

Het
beste
team
van
verkeerskundigen
wint
uiteindelijk
het
prijzenpakket.
U
kunt
hierbij
op
de

volgende
aspecten
punten
scoren:

-‐ Functioneren
van
het
netwerk
in
en
rondom
het
gebied

-‐ Aandacht
voor
openbaar
vervoer,
fiets
en
voetganger

-‐ Afdoende
parkeerfaciliteiten

-‐ Reductie
van
negatieve
effecten
van
mobiliteit
in
en
rond
het
plangebied

Om
te
beginnen
wordt
u
gevraagd
om
samen
met
de
andere
verkeerskundigen
1
á
2
verbeteringen

van
het
bestaande
plan
op
te
stellen
vanuit
uw
rol.
U
heeft
daarvoor
vijf
minuten.
Daarna
gaat
u

samen
een
optimaal
nieuw
plan
voor
het
gebied
uitwerken.

Page 20

~UW
ROL~

De
ontwerpcompetitie
gaat
uit
van
verschillende
rollen.
Iedere
groep
bestaat
uit

stedenbouwkundigen,
milieu-‐adviseurs,
verkeerskundigen
en
burgers.
Voor
ieder
van
deze
rollen

staat
een
prijs
op
het
spel
voor
de
groep
die
het
rol-‐specifieke
belang
het
beste
in
het
uiteindelijke

plan
hebben
gekregen.

Uw
rol
is
MILIEU
ADVISEUR
(Gele
hoed).
Dit
houdt
bij
deze
opdracht
concreet
in
dat
u
en
uw

collega-‐adviseurs
zich
vooral
richten
op
de
randvoorwaarden
voor
het
plan
vanuit
verschillende

milieunormen
en
de
kansen
om
een
hogere
milieukwaliteit
te
realiseren.
Een
focus
op
kansen
in

plaats
van
alleen
op
beperkingen
is
hierbij
belangrijk.
Zo
mogen
er
geen
woningen
worden

gebouwd
op
de
plekken
waar
sprake
is
van
een
overschrijding
van
de
geluidsnormen
en
kan
door

meer
afstand
te
houden
dan
wettelijk
vereist
of
het
treffen
van
maatregelen
(zoals

geluidschermen)
een
betere
geluidkwaliteit
bij
de
woningen
worden
bereikt.
Naast
het
letten
op

externe
problemen
die
worden
veroorzaakt
door
industrie
en
verkeer
moet
u
uiteraard
ook
letten

over
de
milieu-‐
en
duurzaamheidskenmerken
van
de
geplande
interventies
in
het
plangebied.
Kijk

daarbij
extra
kritisch
naar
de
ideeën
van
de
andere
partijen
in
je
groep.

Het
beste
team
van
milieu
adviseurs
wint
uiteindelijk
het
prijzenpakket.
U
kunt
hierbij
op
de

volgende
aspecten
punten
scoren:

-‐ De
mate
waarin
het
plan
voldoet
aan
geluids-‐
en
luchtkwaliteitscontouren
die

worden
veroorzaakt
door
het
spoor
en
de
weg
(hier
mogen
nu
geen
woningen

dichtbij
worden
gepland)

-‐ De
mate
waarin
het
plan
voldoet
aan
de
contouren
van
de
industrie

-‐ Reductie
van
negatieve
milieueffecten
in
en
rond
het
plangebied

-‐ De
milieuvriendelijkheid
van
alle
interventies
en
van
het
algehele
plan

Om
te
beginnen
wordt
u
gevraagd
om
samen
met
de
andere
milieu
adviseurs
1
á
2
verbeteringen

van
het
bestaande
plan
op
te
stellen
vanuit
uw
rol.
U
heeft
daarvoor
vijf
minuten.
Daarna
gaat
u

samen
een
optimaal
nieuw
plan
voor
het
gebied
uitwerken.

Page 21
APPENDIX
II:
EVALUATION
FORM
FOR
QUALITY
OF
THE
PROCESS
(DUTCH)

Uw#groepsnummer:
Uw#studentnummer:
Wat#was#uw#rol?
Ik#heb#er#vertrouwen#in#dat#de#uitkomst#goed#is
Ik#ondersteun#de#meeste#resultaten#van#de#sessie
De#sessie#heeft#geleid#tot#nieuwe#inzichten
Ik#begrijp#nu#de#voorgestelde#oplossingen#van#de#andere#
deelnemers#beter
Het#resultaat#van#de#sessie#is#gebaseerd#op#correcte#aannames#
over#het#stedelijk#systeem
De#sessie#was#succesvol
Het#proces#heeft#me#inzicht#gegeven#in#de#meningen#en#ideeen#
van#anderen#over#het#probleem
Ik#heb#een#goed#gevoel#over#de#sessie
Ik#heb#nu#meer#inzicht#in#de#processen#die#een#rol#spelen#in#het#
probleem
Ik#zal#inzichten#uit#de#sessie#gaan#gebruiken#in#mijn#dagelijkse#
praktijk
Ik#begrijp#nu#hoe#andere#deelnemers#het#probleem#zien
Het#resultaat#biedt#een#echte#oplossing#voor#het#probleem
############
NVT
1 2 3 4 5 6 7
Zeer.mee
oneens
Zeer.mee
eens
Het#is#duidelijk#voor#mij#wat#de#oorzaken#van#het#probleem#zijn
De#andere#deelnemers#begrijpen#beter#hoe#ik#het#probleem#zie
Ik#ben#tevreden#met#de#sessie
De#sessie#heeft#geresulteerd#in#bruikbare#resultaten
Mijn#inzicht#in#het#probleem#is#vergroot
Mijn#begrip#van#de#meningen#van#andere#deelnemers#over#het#
probleem#is#toegenomen
We#hebben#tijdens#de#sessie#een#gemeenschappelijke#
professionele#taal#ontwikkeld
De#sessie#heeft#mijn#inzicht#in#de#relatie#tussen#de#verschillende#
elementen#van#het#probleem#vergroot
De#andere#deelnemers#zijn#volgens#mij#tevreden#met#de#sessie
Stedenbouwkundige# Burger#
Milieu#adviseur# Verkeerskundige#

Page 22

Ik#was#goed#in#staat#mijn#mijn#rol#uit#te#voeren
We#hebben#een#gedeelde#visie#over#strategische#doelen#bereikt
Er#was#sprake#van#conflict#tijdens#de#sessie
We#waren#in#staat#consensus#over#het#probleem#te#
ontwikkelen
We#hebben#een#gedeelde#visie#over#mogelijke#oplossingen#
bereikt
Er#was#conflict#over#de#uit#te#voeren#taak
We#hebben#een#gemeenschappelijke#visie#over#het#probleem#
bereikt
We#hebben#de#tijd#efficiënt#benut
Tijdens#de#sessie#ontstond#een#platform#die#het#delen#van#
ideeen#ondersteunde
De#sessie#bracht#me#dichter#bij#de#andere#deelnemers
Ik#heb#vanuit#mijn#rol#interventies#kunnen#inbrengen#in#het#
plan
De#onderwerpen#die#vanuit#mijn#rol#van#belang#zijn,#zijn#tijdens#
de#sessie#goed#naar#voren#gekomen
De#resultaten#zijn#een#integratie#van#diverse#meningen#en#
ideeen#van#de#deelnemers
Ik#had#een#sterk#groepsgevoel#tijdens#de#sessie
Heeft#u#nog#andere#opmerkingen#over#de#sessie?
NVT
1 2 3 4 5 6 7
Zeer.mee
oneens
Zeer.mee
eens

Page 23
APPENDIX
III:
EVALUATION
FORM
FOR
QUALITY
OF
THE
OUTCOME
(DUTCH)

Geef a.u.b. het nummer van de strategie aan:
NVT
1 2 3 4 5 6 7
De
strategie
is
ingenieus
De
strategie
is
fantasierijk
De
strategie
is
verrassend
De
strategie
is
vernieuwend
De
strategie
is
radicaal
De
strategie
heeft
een
transformerende
potentie
De
strategie
is
eenvoudig
te
implementeren
De
strategie
is
sociaal
acceptabel
De
strategie
is
juridisch
acceptabel
De
strategie
is
politiek
acceptabel
De
strategie
heeft
een
duidelijk
verband
met
het
probleem
De
strategie
zal
het
probleem
oplossen
Dit
is
een
effectieve
strategie
De
strategie
kan
worden
opgedeeld
in
verschillende
componenten
De
strategie
gaat
in
op
"wie"
De
strategie
gaat
in
op
"wat"
De
strategie
gaat
in
op
"waar"
De
strategie
gaat
in
op
"wanneer"
De
strategie
gaat
in
op
"waarom"
De
strategie
gaat
in
op
"hoe"
Er
is
een
duidelijke
relatie
tussen
voorgestelde
acties
&
verwachte
uitkomsten
de
strategie
wordt
duidelijk
gecommuniceerd
De
strategie
is
makkelijk
te
begrijpen
De
strategie
sluit
aan
op
stedelijke
dynamiek
Heeft
u
nog
verdere
opmerkingen
over
deze
strategie?
Zeer mee
oneens
Zeer mee
eens

Page 24
APPENDIX
IV:
EVALUATION
FORM
FOR
USABILITY
OF
PSS
(DUTCH)

Uw#groepsnummer
Uw#Studentennummer
Wat#was#uw#rol? Stedenbouwkundige
Burger
Milieu#adviseur
Verkeerskundige
N.V.T
1 2 3 4 5 6 7
Het$instrument$was$transparant
De$communicatieve$waarde$van$de$output$was$hoog
De$output$werd$duidelijk$weergegeven
Het$instrument$was$gebruiksvriendelijk
De$output$was$geloofwaardig
Het$instrument$was$uitgebreid$genoeg
De$focus$van$het$instrument$was$voldoende
Het$detailniveau$van$de$kaarten$was$voldoende
Het$instrument$was$makkelijk$te$begrijpen
Het$instrument$sloot$goed$aan$bij$de$rol$die$ik$vervulde
Het$instrument$ondersteunde$het$evalueren$van$alternatieven$
goed
Het$instrument$ondersteunde$het$creëren$van$ideeën$goed
Het$instrument$ondersteunde$het$schetsen$van$ideeën$goed
Door$het$gebruik$van$het$instrument$werden$zin$en$onzin$van$
elkaar$gescheiden$
Door$het$gebruik$van$het$instrument$werd$onze$creativiteit$
beperkt
Ik$begrijp$wat$er$(niet)$werd$meegenomen$in$de$indicatoren
Door$het$instrument$waren$we$in$staat$om$meer$te$doen$in$
minder$tijd
Zeer#mee
oneens
Zeer#mee
eens
Heeft$U$nog$andere$opmerkingen$over$het$instrument?

Cesar working document 9 urban strategy experiment 6

Recomendados

Recomendados

Más contenido relacionado

Similar a Cesar working document 9 urban strategy experiment 6

Similar a Cesar working document 9 urban strategy experiment 6 (20)

Más de Marco

Más de Marco (20)

Cesar working document 9 urban strategy experiment 6