In diesem Beitrag wird durch eine Reihe von Testläufen untersucht, welchen Beitrag das KI-basierte Programm ChatGPT in den beiden Versionen 3.5. und 4 zu einer qualitativen Inhaltsanalyse von Interviewtexten leisten kann. Dazu wird ein kurzer Mustertext mit meiner Musterlösung präsentiert. Grobe Eingaben bei einer eher naiven Nutzung ("Führe eine qualitative Inhaltsanalyse durch!") als auch differenzierte Vorgaben mit Fragestellung und genaueren Kodieranweisungen führten in beiden Versionen höchstens zu groben Annäherungen an die Musterlösung bei einer Vielzahl von groben Fehlern. Das Programm hatte auf unterschiedliche inhaltsanalytische Konzepte (BRAUN & CLARKE 2006; KUCKARTZ 2014; MAYRING 2022a; SCHREIER 2012) nicht bzw. falsch reagiert, erkannte verborgenere Textinhalte nicht und versagte bei Überprüfungen der Kodierübereinstimmung. Die Ergebnisse der Software wiesen, egal welche Vorgaben gemacht wurden, meistens in Richtung einer groben, oberflächlichen Zusammenfassung im Sinne einer Themenauflistung. Für die von mir entwickelten qualitativ-inhaltsanalytischen Verfahren (MAYRING 2022a, 2022b) erscheinen sie wenig geeignet.

Der Beitrag berichtet über zentrale Ergebnisse der Evaluation des Programms des Landes Baden-Württemberg zur Prävention und Gesundheitsförderung an Schulen. Der Einsatz eines differenzierten Wirkmodells ermöglichte die Verschränkung einer summativen Evaluationskomponente zur Einschätzung des Programmerfolgs mit den formativen Analysen zur Qualität der Implementierung des Programms und deren Optimierung. Im Prä-post-Vergleich wurden zu drei Messzeitpunkten ca. 2.000 Schüler(innen), 1.700 Eltern und 235 Lehrkräfte befragt sowie Einzelinterviews und Fokusgruppen in einem qualitativ-quantitativen Methodenkonzept eingesetzt. Es konnte gezeigt werden, dass in Folge von Präventionsmaßnahmen im Sinne des Wirkmodells eine Verbesserung des Klassenklimas und des Verbundenheitsgefühls der Schüler(innen) mit der Schule mit einer Reduktion von Gewalt einhergeht. Mit Hilfe des Wirkmodelles konnten auch genauere Analysen der Implementierungstreue des Programms durchgeführt sowie in der Praxis gut umsetzbare Optimierungsvorschläge abgeleitet werden. Das Wirkmodell wird bezüglich seines Einsatzes sowohl als Teil der Evaluationsmethodik als auch als Evaluationsprodukt diskutiert, das über seine Ausdifferenzierung im Laufe des Evaluationsprozesses entsteht.

The article reports central findings from the evaluation of the State of Baden-Wurttem-berg program towards prevention and health promotion in schools. The employment of a theory-based evaluation model enabled the interrelation of the summative assessment of program success with the formative evaluation of implementation quality of the program and its optimization. In order to carry out the pre-post comparison, about 2000 students, 1.700 parents and 235 teachers were surveyed at three measurement time points and also individual interviews as well as focus group interviews were employed in a qualitative-quantitative methodological concept. Findings show, that preventative measures in the sense of the theory-based evaluation model result in an improvement of the classroom atmosphere and of the sense of belonging to school among students, accompanied by a reduction of violence. The theory-based evaluation model allowed for more detailed analyses of the implementation efficiency and for the deduction of suggestions for optimization that could be easily implemented in the field. The theory-based evaluation model is discussed in terms of its use both as part of the evaluation methodology itself and, furthermore, as a product of the evaluation, which emerges and is further differentiated in the process of evaluation.

Der Beitrag weist auf die Bedeutung genauer Untersuchungsplanung auch für qualitativ orientierte Forschungsansätze hin. Zunächst wird ein allgemeines Untersuchungsdesign für qualitative (und auch quantitative) Forschung aufgestellt, und die einzelnen Prozessschritte werden erläutert. Positionen, wonach quantitative und qualitative Forschung sich hier prinzipiell unterscheiden, werden zurückgewiesen. Dann wird auf vier Grunddesigns (exploratives, deskriptives, zusammenhangsanalytisches und kausalanalytisches Design) für qualitativ orientierte Forschung eingegangen.

Wir betrachten die Inhaltsanalyse und die Qualitative Inhaltsanalyse im Besonderen als Auswertungstechnik, als eine Form der Datenanalyse und Textinterpretation. Dies ist nicht unbestritten, da manche sie auch als Erhebungstechnik behandeln. Der zu analysierende Text wird dabei als Untersuchungsobjekt gesehen, dem durch die Inhaltsanalyse Daten (Textbestandteile) entnommen werden (Früh 1998). Dem wollen wir uns hier nicht anschließen, da wir die Zuordnung von Kategorien zu Textbestandteilen und die Wiederverarbeitung dieser Zuordnung als zentrale Schritte der Inhaltsanalyse ansehen, und dies sind Auswertungsschritte.

ZusammenfassungDieser Beitrag diskutiert, in welchem Verhältnis verschiedene methodische Ansätze und verschiedene Evidenzen zueinanderstehen, wie sie kombiniert und integriert werden können. Dazu wird auf das Verhältnis qualitativer und quantitativer Analyse, auf den Evidenzbegriff und auf verschiedene Modelle des Zusammenführens von Evidenz eingegangen. Das Konzept der Evidenztriangulation ist dabei zentral. Die Qualitative Inhaltsanalyse wird als potenzieller Integrationsansatz genauer vorgestellt. Schließlich werden Gütekriterien für solche komplexen methodischen Ansätze diskutiert.

Grundlagen und Techniken qualitativer Inhaltsanalyse sind vor über 35 Jahren vorgeschlagen worden und erfreuen sich im Rahmen qualitativ orientierter sozialwissenschaftlicher Textanalyseansätze anhaltender Beliebtheit. So soll hier ein Resümee gezogen, auf die Rezeption eingegangen und ein Ausblick gegeben werden. Im Beitrag werden drei Bereiche behandelt: Zum einen sollen die Grundlagen des Vorgehens skizziert werden, die Abgrenzungen zu anderen textanalytischen Ansätzen erlauben. Hier gilt es auch, die Unterschiede zur quantitativen Inhaltsanalyse herauszustreichen. Die Kategorisierungen erfolgen dort automatisch nach einem bestimmten Algorithmus, während bei der qualitativen Inhaltsanalyse die Zuordnung von Kategorien zu Textbestandteilen immer interpretativ bleibt. Im Gegensatz zu anderen interpretativen Textanalyseansätzen geschieht dies allerdings streng regelgeleitet. Dann wird auf die Rezeption der qualitativen Inhaltsanalyse eingegangen und es wird versucht, dabei aufgetretene Missverständnisse zu klären. Schließlich werden Vergleiche zu neueren Ansätzen qualitativer Inhaltsanalyse, wie sie von Margrit SCHREIER und Udo KUCKARTZ vorgeschlagen wurden, angestellt. An einem Beispiel wird das Vorgehen nochmals erläutert. Abschließend wird auf Weiterentwicklungen (eine kostenfrei nutzbare Software zur qualitativen Inhaltsanalyse) hingewiesen.

Was ist Gluck und wie erreichen wir Gluck? Das ist nicht nur eine zentrale Frage der Philosophie, auch die Psychologie beschaftigt sich damit, allerdings in einem breiteren, eher deskriptiv-analytischen Sinne. Es war zuvorderst Martin Seligman, der in den letzten Jahrzehnten immer wieder darauf hingewiesen hat, dass die Psychologie sich lange genug mit negativem Befinden (Angst, Depression) beschaftigt habe und der eine ›Positive Psychologie‹ (vgl. Snyder/Lopez 2007) dagegensetzte. Eine Fulle von empirischen Studien zu Gesundheit und Wohlbefinden waren die Folge.

Looking for quality criteria or standards for qualitative evaluation the paper defines evaluation as evaluation research, and therefore qualitative evaluation has to meet standards for good empirical research. The differentiation between qualitative and quantitative evaluation seems to be difficult and less useful, so we have to look at general research criteria instead of developing specific qualitative standards. Those standards are discussed at different levels: standards oriented at the steps of scientific analysis (research question - theoretical basis - design/methods - results - discussion/consequences); general standards like objectivity, reliability, validity; standards for evaluation (DeGEval-standards, standards for qualitative evaluation designs); standards for specific methods. The paper argues for a broad reference to quality criteria in qualitative evaluation.

Auf der Suche nach Standards, Masstaben, Gutekriterien fur qualitativ orientierte Evaluationsprojekte wird zunachst Evaluation als Evaluationsforschung definiert, die sich also auch Forschungsstand...

This article intends to provide an overview of the German Association of Evaluation's (DeGEval) activities over the past twenty years since its foundation in 1997. Thus, the historical development of the DeGEval is highlighted. A content analysis of the Zeitschrift fur Evaluation will examine the central topics of the work done by the DeGEval. Furthermore, the DeGEval's areas of expertise are discussed by examining the various special interest groups. Next, the products of the DeGEval, especially focusing on the Standards of Evaluation, are presented, as well as an overview of the DeGEval's international network with other organisations. Moreover, the development of membership over the past twenty years since its foundation, which can be seen as very positive, is examined. The conclusion shows that the goals which were formulated at the DeGEval's foundation can be regarded as having been largely fulfilled. Finally, the article provides approaches for further research.

Der Beitrag schildert zunächst Probleme eines rein quantitativen Methodenverständnisses. Sodann werden die Besonderheiten der Gesundheitsforschung herausgestellt, die ein komplexes methodisches Vorgehen verlangen. Die heute gängige Vorstellung vom quantitativ-experimentellen Design (randomisierte kontrollierte Studien) als einzig fundierte Vorgehensweise oder als Spitze der Evidenzhierarchie wird kritisiert und das Konzept einer Evidenztriangulation im Sinne eines Mixed-Methods-Ansatzes dagegengestellt. Das Vorgehen wird an einer Beispielstudie verdeutlicht. Zur Evaluation einer Einrichtung zur Beratung und Betreuung Drogenabhängiger werden nacheinander vier methodisch unterschiedliche Bausteine vorgestellt. Ein experimentell orientierter Vorher-nachher-Vergleich mit standardisierter Methodik, qualitative Interviews mit den Klienten und qualitativ-inhaltsanalytischer Auswertung, qualitative und quantitative Dokumentenanalyse sowie ein Selbstevaluationsbaustein wurden hier eingesetzt. Um die unterschiedlichen Ergebnisse zusammenzuführen, wird schließlich ein dialektisches wissenschaftstheoretisches Argumentieren vorgeschlagen.