10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
www.filemaker-konferenz.com
FileMaker Programme testen und Qualität liefern –
wie geht das?
Volker Krambrich
Softwaretest und Qualitätssicherung
Kann 42die Lösung sein?

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Volker Krambrich
Linguist und Softwareentwickler aus Hamburg
arbeitet bei NORSULT, Espoo & Wedel
„Den Tag mit einer Herausforderung beginnen,
das ist aufregend. Ich mag das!
Als Linguist und KI-Forscher habe ich gelernt,
nach Denkfehlern und Fallstricken auszuschauen.
Algorithmen sollen logisch bewiesen und
Software soll intelligent programmiert sein.
Ich bin zertifizierter FileMaker Entwickler und
autorisierter Trainer seit 2004.
Meine Stärken sind Beharrlichkeit, analytischer Verstand und die Fähigkeit, Rückschläge
und unvorhergesehene Hindernisse zu berücksichtigen. Im Vordergrund steht immer das
perfekte Ergebnis für meine Kunden.”

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Übersicht
• Was ist Qualität?
• Wer beeinflusst Qualität?
• Ist Qualität subjektiv?
• Kann man Qualität messen?
• Kann „42“ die ‚gültige’ Lösung sein?
• Test
• Testansatz - ‚Black Box‘ vs. ‚Glass Box‘
• Wie sieht die FileMaker Praxis aus?

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
From: https://en.wikipedia.org/wiki/Quality,_California [Abruf 29.09.2019 21:51]
Amuse Geul

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Amuse Geul

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Test & Fehlersuche
• Die Demo zeigte den typischen „reaktiven Ansatz“
• Fehler tritt auf
• Benutzer bemerkt Fehlverhalten
• Entwickler sucht Fehler
• Entwickler schafft punktuell Abhilfe

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Qualität [lateinisch qualitas »Beschaffenheit«,
»Eigenschaft«, zu qualis »wie beschaffen«] die,
-/-en, Wirtschaft: die Beschaffenheit eines
Sachguts (Produktqualität) oder einer Dienstleistung…[0]
Was ist Qualität?
[0]From: https://brockhaus.de/ecs/enzy/article/qualität-wirtschaft [Abruf 06.10.2019 17:13]

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Was ist Qualität?
Definitionen aus zwei Standardwerken zu Qualitätskontrolle und -management
[1] Crosby, P. B.: Quality is Free. McGraw-Hill, New York, 1979.
[2] Juran, J. M.: Juran’s Quality Control Handbook, 4th ed. McGraw-Hill, New York, 1988.
• P. Crosby[1]: ”Quality means conformance to requirements”
• J. Juran[2]:
1. ”Quality consists of those product features which meet the needs
of customers and thereby provide product satisfaction
2. Quality consists of freedom from deficiencies”
Qualität bedeutet Erfüllung von Anforderungen
Qualität besteht aus den Produktmerkmalen, die den Kundenbedürfnissen
entsprechen und somit für die Zufriedenheit mit den Produkten sorgen
Qualität bedeutet Freiheit von Mängeln

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Was ist Qualität?
• Die Definition von Philip Crosby (1977 ff.) geht davon aus, dass ein Produkt
einen definierten Satz von Anforderungen hat, der eindeutig, umfassend und
objektiv ist und die Bedürfnisse aller Beteiligten abdeckt.
Die Qualität kann hiernach bestimmt werden am (messbaren) Grad der
Übereinstimmung von erreichten Eigenschaften mit den geforderten
Eigenschaften.
Eventuelle Fehler oder Auslassungen in den Anforderungen bleiben
unberücksichtigt!
Eine fehlende oder unvollständige Funktion (aus der Sicht des Benutzers)
beeinträchtigt die Qualität des Produkts nicht, wenn es noch den
Anforderungen genügt - aber der Benutzer ist unzufrieden!
• Für ein Softwareprodukt gibt es fast nie eine eindeutige, umfassende, objektive
Beschreibung, die alle Bedürfnisse abdeckt (Mythos Pflichtenheft)
[1] Crosby, P. B.: Quality is Free. McGraw-Hill, New York, 1979.
[2] Juran, J. M.: Juran’s Quality Control Handbook, 4th ed. McGraw-Hill, New York, 1988.

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Was ist Qualität?
• Die Definition von Joseph Juran (1988 ff.) stellt die Bedürfnisse der Benutzer und
die Kundenzufriedenheit in den Mittelpunkt
Wichtig sind die wahren Bedürfnisse (vs. dokumentierter) Anforderungen. Qualität
ist bestimmt durch die Eigenschaften und Features der Software, die diese
Bedürfnisse befriedigen!
Weiter wird die „Mängelfreiheit“ gefordert
=> Die Software hat die richtigen Features und die funktionieren so, wie die
Anwender es erwarten
• Setzt den Schwerpunkt auf Kunden und Anwender statt auf formale Spezifikation
• Die wahren Bedürfnisse sind nicht in verbindlichen Satz von Anforderungen zu
Beginn eines Projekts definiert
Änderungen sind zu erwarten, Entwicklung muss darauf vorbereitet sein, auf
diese zu reagieren
[1] Crosby, P. B.: Quality is Free. McGraw-Hill, New York, 1979.
[2] Juran, J. M.: Juran’s Quality Control Handbook, 4th ed. McGraw-Hill, New York, 1988.

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Wer beeinflusst Qualität?
• Ein Produkt oder Dienst wird von unterschiedlichen Interessenten beeinflusst,
und für jeden der Beteiligten kann Qualität etwas anderes bedeuten:
• Benutzer (Konsument, Arbeitgeber…)
• Entwickler, Auftragnehmer
• Betreiber (Operator, verantwortlich für Installation und Betrieb)
• Supporter, technische Betreuung, Hotline
• Kundendienst
• Sponsor und Zahler
• Betreiber (Finanzierung von Unterhalt & Betrieb)
• Behörden und Verbände
• …

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Ist Qualität subjektiv?
• Unterschiedliche Interessengruppen haben unterschiedliche Bedürfnisse und
Erwartungen – und auch innerhalb einer Gruppe gibt es Varianz
• Poweruser vs. Gelegenheitsnutzer
• Enthusiasten und early adopters vs. Konservative
• Weinberg, G.[3]: ”Quality is value to some person”
• Value (Wert) = Preis den jemand zur Befriedung seiner Bedürfnisse zahlt
• Schlüsselfrage lautet, wessen Bedürfnisse werden berücksichtigt
• Ein Software Produktmanager muss daher
• verstehen, was Qualität für die jeweiligen Beteiligten bedeutet
• Konflikte erkennen und ausgleichen und Kompromisse schliessen
[3] Weinberg, G. M.: How Software is built. Leanpub, 2014. [https://leanpub.com/howsoftwareisbuilt]

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Kann man Qualität messen?
• - > Software Fehler
• Ein Softwarefehler (Bug) ist
• Eine Eigenschaft der Software, die
• den Wert für favorisierte Beteiligte mindert
• evtl. auch den Wert für nicht-favorisierte Beteiligte erhöht
• und keinen Gegenwert liefert.
• Ein Fehler kann sein
• coding Fehler
• funktionaler Fehler
• Designfehler.
“Any threat to
the value of the product
to any stakeholder
who matters.”
-- James Bach
[5] Kaner, C. & James Bach, Black Box Software Testing,
2008 [http://www.testingeducation.org/BBST/
foundations/BBSTFoundationsNov2010.pdf]

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Vorgängernorm
Kann man Qualität messen?
• Softwarequalität wird durch Tests gemessen.
• Der Massstab wird durch Standards bestimmt:
• „Qualität ist der Grad zu welchem ein Softwareprodukt definierte und
implizierte Anforderungen unter vorgegebenen Bedingungen erfüllt.”[4]
[4] ISO/IEC 25010:2011 Systems and software engineering--Systems and software Quality Requirements and Evaluation (SQuaRE)
--System and software quality models, 4.3.13.

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Kann man Qualität messen?
• Softwarequalität wird durch Tests gemessen.
• Der Massstab wird durch Standards bestimmt:
• „Qualität ist der Grad zu welchem ein Softwareprodukt definierte und
implizierte Anforderungen unter vorgegebenen Bedingungen erfüllt.”[4]
[4] ISO/IEC 25010:2011 Systems and software engineering--Systems and software Quality Requirements and Evaluation (SQuaRE)
--System and software quality models, 4.3.13.
Vorgängernorm

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Kann man Qualität messen?
• Softwarequalität wird durch Tests gemessen.
• Der Massstab wird durch Standards bestimmt:
• „Qualität ist der Grad zu welchem ein Softwareprodukt definierte und
implizierte Anforderungen unter vorgegebenen Bedingungen erfüllt.”[4]
• Die Messlatte unterscheidet sich also je nach Zielgruppe (Interessenlage)!
• Qualität ist damit letztlich subjektiv: unterschiedliche Interessenten werden
dasselbe Produkt jeweils unterschiedlich bewerten.
• Und was ist mit „bugs”?
• Des Einen „bug” ist des Anderen „Feature“…
• Software Fehler ->
[4] ISO/IEC 25010:2011 Systems and software engineering--Systems and software Quality Requirements and Evaluation (SQuaRE)
--System and software quality models, 4.3.13.

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Kann „42“ die ‚gültige’ Lösung sein?
• Das kommt auf den Betrachter / Interessenten an.
• als Ergebnis von 6 * 7 (Multiplikation ganzer Zahlen)!
• als Ergebnis nach 7,5 Mio. Jahren Rechenzeit?
• als Antwort auf die Frage aller Fragen?
• …
• Literaturtipps: Douglas Adams, Per Anhalter durch die Galaxis
"Answer to the Ultimate Question of Life, the Universe, and Everything“
• Wikipedia Suche nach „42“
Kann 42die Lösung sein?

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Test
• Definition
• Empirische, technische Untersuchung einer Software,
• Soll Interessenten/Beteiligten Informationen liefern
• über die Qualität des der untersuchten Software
Unterschiedliche Testanforderungen
bedingen unterschiedliches Vorgehen.
Sie resultieren in unterschiedlichen Tests
die wiederum unterschiedliche Ergebnisse
liefern.

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Test
• Testziele
• Relevante Fehler (bugs) aufdecken
• Projektverfolgung
• Releaseentscheidung treffen
• Vorzeitige Freigabe vermeiden
• Unterstützung bei der Support
Planung
• Interoperabilität prüfen
• Sicheren Einsatzbereich bestimmen
• Einhaltung bestimmter Standards
• Kunden helfen die Prozesse zu verbessern
• Klage wegen Rechtsverletzung vermeiden
• Gutachten für Dritte
• …

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Test
• Definition
• Empirische, technische Untersuchung einer Software,
• Soll Interessenten/Beteiligten Informationen liefern
• über die Qualität des der untersuchten Software
• Alternative Definitionen
• Jagd nach Fehlern
• Prozess zum Beweis dass Spezifikationen erfüllt sind
• …
• Unterschiedliche Definitionen reflektieren unterschiedliche Vorstellungen über
Test; es gibt nicht die eine, richtige Vision
Entscheidungshilfe
Entwicklerwerkzeug
Vertragserfüllung
• Funktion

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Testansätze
• ‚Black Box‘ Ansatz vs. ‚Glass Box‘ Ansatz
Test und Testplanung
ohne Kenntnis des Codes
und möglicher Programminterna
Test und Testplanung
aufgrund von Kenntnis des Codes
und der Programminterna
„Bewirkt der Code tatsächlich das,
was der Programmierer beabsichtigt?“
„Passiert tatsächlich das,
was der Benutzer erwartet?“
Black-Box Test ist nicht
‚FileMaker‘ spezifisch zu entwerfen! Man
muss nicht einmal wissen, dass FileMaker
beteiligt ist!
Glass-Box Test ist ‚FileMaker‘
spezifisch zu entwerfen! Man muss
FileMaker kennen und können!

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Wie sieht die FileMaker Praxis aus?
Design (GUI)Design (Datenbank)Data RelationshipsLayout -> TOGSkriptingOperatingLayout Themes etc.Tabellen, FelderDatenobjekte
Logische
Abhängigkeiten
Graph ModelEigene Funktionen
Interne
Dokumentation
Server EinsatzHardware UmgebungCustom App

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Wie sieht die FileMaker Praxis aus?
Design (GUI)
Design (Datenbank)
Data Relationships
Layout -> TOG
Skripting
Operating
Layout Themes etc.
Tabellen, Felder Datenobjekte
Logische
Abhängigkeiten
Graph Model
Eigene Funktionen
Interne
Dokumentation
Server Einsatz Hardware Umgebung
FileMaker-typische Bereiche die bei der Qualitätssicherung zu beachten sind
(kein Anspruch auf Vollständigkeit!)
Was ist eine „Adresse“?
Generisches Datenmodell oder
‚Standard‘?
DSGVO bedacht? Ergebniskontrolle,
Abhängigkeiten; TEST kompatibel?
Tools, Debugger

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Test in FileMaker
• Definition
• Empirische, technische Untersuchung einer Software…
• zur Qualität des der untersuchten Software
„Program testing can be used to
show the presence of bugs, but
never show their absence!“
–Edsger W. Dijkstra

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Test in FileMaker -> Praxis
• Was wir alle tun:
• auf das erwartete Ergebnis schauen
• das ausser dem Fokus liegende vergessen
• sauber dokumentieren (?)
• …
- nein!
- ja!
- ja!

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Test in FileMaker -> Softwaretest
• Ein Softwaretest prüft und bewertet Software auf Erfüllung der
für ihren Einsatz definierten Anforderungen und misst ihre
Qualität. Die gewonnenen Erkenntnisse werden zur Erkennung
und Behebung von Softwarefehlern genutzt. Tests während der
Softwareentwicklung dienen dazu, die Software möglichst
fehlerfrei in Betrieb zu nehmen.
Wikipedia über Softwaretest
https://de.wikipedia.org/wiki/Softwaretest

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Entwicklungsmethodik
• Wenn man schon nicht fehlerfrei sein kann,
• dann wenigstens erkennbare Fehler früh erkennen.
• Test als Teil der Qualitätssicherung integrieren.
• Test kann punktuell und abschliessend sein (bei relativ einfachen
Problemen)
• Werkzeuge kennen und nutzen, damit auch getestet wird!
Fehler sind teuer! (Nachbesserung, Suche, Extraarbeit…)
also
Qualität muss (im ganzen Projektverlauf) implementiert
sein damit sie bezahlbar ist!

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Test in FileMaker -> Werkzeuge
• Es gibt keine Tests in FileMaker,
• nur Testhilfen (Debugger, Data Viewer, ScriptErrorLog).
• Test als Teil der Qualitätssicherung internalisieren
(Entwicklereigenschaft).
• Test kann nur punktuell und nicht abschliessend sein (auch bei
relativ einfachen Problemen)
• Werkzeuge selbst schaffen, damit auch getestet wird?
Wiederholbarkeit
Bewußtsein & Methode

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Werkzeugideen
• Checklisten
• SICHERHEIT ( vgl. Lösung entspricht Stand der Technik)
• EAR Encryption at Rest
• Passwörter
• Zugriffsschutz …
• DATENUMFANG
• Beschränkung auf das Notwendige…
• DATENSTRUKTUREN
• Datentypen (Domains)
• Datennormierung, referentielle Integrität…

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Werkzeugideen
• Eingebaute Entwicklungshilfen
• Script debugger
• Data viewer
• Script Error Log (neu in FileMaker 18)…
• Eigene Werkzeuge schaffen
• SCRIPT LOGIK
• Funktionales Scripting
• EIGENE FUNKTIONEN
• Ergebnis prüfen (auch für unerwartete Eingaben)…
• Entwicklung ist ein Prozess
• wiederholt testen…

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Umsetzung:
ein Modell für Eigene Funktionen
Beschränkung auf Komponententest
• ein Test auf der Ebene der einzelnen Module der Software
• Testgegenstand ist die Funktionalität innerhalb einzelner
abgrenzbarer Teile der Software (Module, Programme oder
Unterprogramme, Units oder Klassen)
• Testziel ist der Nachweis der technischen Lauffähigkeit und
korrekter fachlicher (Teil-) Ergebnisse
• wird häufig durch den Softwareentwickler selbst durchgeführt

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
1. Eine Datei, in der die CF enthalten und
dokumentiert sind,
2. die den Anforderungen gerecht werden soll
(suchen und finden, Vereinheitlichung,
Kommentare).
3. Abhängigkeiten sind darstellbar.
4. Mehrere Testfälle programmierbar.
5. Tests sind einfach wiederholbar.
NORSULT f(x)
Collection & Checker

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Liste der Funktionen
Erweiterter Kommentar
Funktionscode
Abhängigkeiten

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Liste der Funktionen
Erweiterter Kommentar
erwartete Ergebnisse
Funktionscode
Abhängigkeiten

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
definierte Testfälle
aktueller Testfall
ein Parameter
(einfach zu variieren) auszuwertender Ausdruck
Testergebnis

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Demozeit

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Download aus Konferenz Ordner
entpacken
Lizenz beachten
Datei öffnen (no protection)
Eigene Funktion erstellen oder importieren
Datenbankbericht (DDR) erstellen
Zusammenfassung.XML
NORSULT_Func…dition.XML
Bedienungshinweise
zur Demodatei

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Erfahrungen
1. Man muss testgerecht programmieren
möglichst keine variablen Referenzen
(‚Get (CurrentDate)`)
…
2. Wiederholbarkeit
schwer bei gewollt variablen Ergebnissen (‚Get (UUID)`)
3. Gute Dokumentation
4. Änderungen leicht zu dokumentieren
5. Immer noch schwer zu distribuieren

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Lesetipps
• Bach, James: Heuristic Test Strategy Model, 2008
[http://www.testingeducation.org/BBST/foundations/Bach_satisfice-tsm-4p-1.pdf]
• Dijkstra (1970) "Notes On Structured Programming" (EWD249), Section 3 ("On The Reliability of
Mechanisms"),
corollary at the end, p.7. (link: http://www.cs.utexas.edu/users/EWD/ewd02xx/EWD249.PDF)
• Kaner, C. and J. Bach: "Editing Bugs," in A Course in Black Box Soft-
ware Testing: 2004 Academic Edition. Melbourne, FL: Florida Tech Center for Software
Testing Education and Research, 2004.
[http://www.testingeducation.org/k04/bbst28_2004.pdf]
• Marshall, A.: „What Boeing’s 737 MAX Has to Do With Cars: Software“, 30.6.2019
[https://www.wired.com/story/boeings-737-max-cars-software/]
• Weinberg, G., How Software is built, Leanpub, 2014.
[https://leanpub.com/howsoftwareisbuilt], Preis ca. 10 USD$

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Softwaretest und Qualitätssicherung • Dr. Volker Krambrich
Meinungen
Fragen
Ideen?

10. FileMaker Konferenz | Hamburg | 16.-19. Oktober 2019
Vortrag und Sprecher
Vielen Dank unseren Sponsoren
Danke für das Bewerten dieses Vortrages