How does one set up a Real-World Laboratory? Assembly instructions and toolbox

Here we present the ideal typical process of a Real-World Laboratory project and the methods to be used.

Procedure of a Real-World Laboratory

The Real-World Laboratory concept is based on a co-creative exchange of scientific knowledge and practical experience and is aimed at achieving a shared understanding of a given problem in conjunction with collaborative concept development, project processing, and results evaluation. Researchers contribute "their scientific knowledge, their methodological competence, and their, in comparison with the practitioners, hands-off, purely academic ability to reflect and evaluate the project. The real-world participants, in turn, contribute their specific experiential and practical knowledge" (WBGU 2016, 542).

Oriented on the transdisciplinary research process design and the transition management cycle, Real-World Laboratory projects comprise three phases: co-design, co-production, and co-evaluation including multiple feedback and learning loops (Wanner et al. 2018:11 ff.).

The cyclical Real-World Laboratory concept, adapted from Wanner et al. 2018:12 and Rose et al. 2019:7

Co-Design

Researchers initiate and design Real-World Laboratory projects, and a transdisciplinary team is assembled right at the application phase, which will include researchers and stakeholders with practical experience in the fields of administration, politics, culture, business, and civil society. Because funding programs are primarily aimed at scientific institutions, it is often the scientists who form the core team that manages and assumes responsibility for these processes.

The context description and problem delimitation are followed by a stakeholder analysis. From the outset, Real-World Laboratories pursue collaboration among all relevant, interested, and necessary stakeholders and establish a network throughout the duration of the project (Seebacher, A. et al. 2018). Participants contribute a diverse range of knowledge and pursue different personal as well as institutional goals through their participation. During the discovery phase, it is important to use formats that enable the participants to get to know one another, to structure existing knowledge, and to identify research needs. During the process of joint problem understanding and goal definition, the object domain – a so-called boundary object – is identified (Bergmann et al., 2010:106), which describes and delimits a real-world problem. This makes the problem amenable to research and enables the co-design and co-production of transformational knowledge by both academia and real-world practitioners (cf. Borner, Kraft, 2018; 8ff.). The formulated goals must be binding, specific, and realistic.

The research design development process also includes defining the roles of all participants, although these (may) change over the course of the project. Even in the initial phase, it is essential to define quality criteria and the "rules of the game".

Co-production of knowledge

A system analysis is an integrative way of capturing the knowledge from the scientific disciplines and practical contexts involved that is of relevance to a given topic or field of action. These disparate bodies of knowledge are brought together in the process and discussed in order to arrive at a shared systemic understanding, i.e., an understanding of the fact-based relationships and the current problem nexus. Specific visions and scenarios of desirable futures are then developed on this basis.

Real-world experiments, which are designed in a participatory manner and primarily serve as empirical research methods, are used to test transformation processes. They also serve as demonstration projects for the public: solution proposals for a sustainable future become visible, tangible, comprehensible, and communicable in real-world experiments (cf. Eckart et al. 2018: 113).

Diana Gallego Carrera, Head of the Schorndorf Climate Protection and Mobility Unit

 

"As a municipality, we were able to actively collaborate with our citizens to shape the project at the Schorndorf Real-World Laboratory. Without a doubt, one special feature of the Real-World Laboratories is the active practical testing of scientific assumptions with the critical involvement of practical stakeholders and citizens, which may then be adapted if necessary. This is the only way to remain responsive to local conditions whilst integrating the needs of an urban society into the project."

Co-evaluation

The entire Real-World Laboratory process is evaluated in a collaborative manner whereby interim goals, work package results, individual and institutional learning effects, and findings from ancillary research are also taken into account.

There is a particular focus on the impact of the Real-World Laboratories and on the learning effects from the real-world experiments. The transformation knowledge gained is then documented, communicated, and disseminated in both academic circles and to the general public.

The evaluation and quality assurance of transformative research projects should also include innovative forms of societal impact assessments. "The term 'societal impact' refers to the impact of research beyond academic/scientific achievements, i.e., the long-term changes in society, politics, or businesses" (Stelzer et al. 2018: 405 with reference to Lüderitz et al. 2017).

Fabian Dembski, Professor of Digital Urban Planning and Transformation

"The Real-World Laboratories at the University of Stuttgart are innovative research centers in which strong transdisciplinary coalitions are nurtured and in which connections are formed between practical and scientific knowledge. This is the basis for problem solving in an era of increasingly shorter innovation cycles, more rapid change, and complex global challenges. The only way to achieve global objectives, such as the UN Sustainable Development Goals (UN-SDG), is through the co-production of knowledge at the local level and in a social context, for example in real-world urban neighborhoods, whereby Real-World Laboratories have the potential to, or more precisely the task of creating interfaces between academia, policymakers, and society."

All process phases are documented in detail and in a variety of ways, which promotes reflection and shared learning. The documentary methods used include logs and minutes, photographic records, graphic recordings, narrative accounts, and retrospectives that make the complex and iterative Real-World Laboratory processes transparent and comprehensible. Close communication within the project teams (regular meetings, newsletters) and with the general public are important aspects of the work carried out in Real-World Laboratories. This includes public appearances and in-house events, participation in events organized by partners which relate to relevant topics, publications, and presentations at meetings and conferences.

Our toolbox is a compilation of methods that are (or can be) used in different phases of Real-World Laboratory and have been tested in Stuttgart projects. It is not (necessarily) the case that the Real-World Laboratory process steps shown in the table are carried out in a linear fashion; the sequence depends on the specific circumstances and dynamics of the respective projects.

Toolbox [dt.]

Arbeitsschritt

Methoden

Anwendung und Formate
(Literatur s. Projektsteckbriefe)

Bildung eines transdisziplinären Projektteams, Klärung der Aufgaben/Arbeitspakete und Rollen

  • Recherche
  • Abfragen
  • Co-Writing

 

Gemeinsame Sprache finden, Entwicklung einer Kommunikationsstrategie und Festlegung der Kommunikationskanäle

  • Anlegung eines Glossars
  • Projektseite
  • Newsletter
  • Das kleine Schulbaulexikon im Reallabor Stadt-Raum-Bildung (Seydel 2018)
  • Zentrale Termini im Spezifikationsheft im Reallabor Schorndorf (Gebhardt & König 2019:227)

Prinzipien der Zusammenarbeit, Festlegung gemeinsamer Regeln, Konzept und Programm der Partizipation

Kooperationsvereinbarung

Kooperationsvereinbarungen mit den Kommunen im Rahmen der Teilprojekte (KTP) im Reallabor Stadt-Raum-Bildung (Eckart et al. 2018:112)

Identifikation und Kategorisierung der Akteure (Schlüsselakteure, Stakeholder, „Pioniere des Wandels“, Vetoplayer, Multiplikatoren etc.), Klärung der Ziele und Motivationen

  • Akteursanalyse
  • Schneeballverfahren
  • Mapping
  • Gezielte Ansprache

Formate im RNM 1 und Stadt-Raum-Bildung (Seebacher et al. 2018, Eckart et al. 2018:120ff.)

  • Stichprobenziehung beim Einwohnermeldeamt
  • Öffentlicher Aufruf
  • Telefoninterviews auf Basis der Telefonbuch-Methode
  • Aufsuchende Partizipation
  • Pop-up-Store, Verkaufsflächen
  • Community Leader einbeziehen
  • Interviews mit Interessenvertretern (Stakeholdern)

Einladung zur Beteiligung im Reallabor Schorndorf (Gebhardt & König 2021:340 ff.)

 

Haushaltsbefragungen

Bürgereinstellungen zur Energiewende im Energielabor Tübingen

 

  • Ideenforum
  • Online-Umfrage

Mitmachaktion über online-Formular und Online-Befragungen zur Klimaneutralität im Reallabor CampUS hoch i

Projektvorstellung, Kennenlernen und Vertrauensaufbau, Sammeln von Problemen und Handlungsbedarfen, gemeinsame Problemdefinition, thematische und räumliche Eingrenzung, Formulierung der Fragestellungen, Zieldefinition

 

  • Diskussionsforum mit einer online-Umfrage im Vorfeld
  • Mind map

Stakeholderworkshop im RNM 1 (Puttrowait et al. 2018: 205ff., Hartmann et al. 2015)

  • Mobilitätskarawane als Intervention und Demonstration
  • Markt der Möglichkeiten
  • Ausstellung
  • Inputs und Diskussion im Fischbowl-Format

Öffentliche Auftaktveranstaltung des RNM (Bericht)

 

  • Öffentliches Symposium mit einem internen Reflexionsworkshop
  • Markt der Möglichkeiten
  • Storytelling
  • Fischbowl / Aquarium- oder Innen-/Außenkreis-Methode

Teile 1 und 2 der Exchange-Veranstaltungsreihe – Tür-Öffnerin und Weg-Bereiterin im Reallabor Stadt-Raum-Bildung (Beninghaus et al. 2018)

 

  • Teilnehmende Beobachtung
  • Befragungen

Beobachtung/Analyse des Beteiligungsprozesses Herrenberg Süd, Verwaltungsbefragungen in Herrenberg und Stuttgart im Reallabor Stadt:quartiere 4.0 (Wandel gestalten 2019:19f, 32)

Kooperationen schaffen, Ideen für Interventionen generieren und konkretisieren

  • Ideenpitch
  • Teilnehmendenvoting
  • Barcamp
  • Makeathon
  • Markt der Ideen im RNM 1 (Puttrowait et al. 2018: 210 ff.)
  • Stuttgart bewegt sich im RNM 2 (Baum et al. 2020a)

 

  • Innovationsworkshop
  • klima(HACKATHON)

Ideenschmieden im Reallabor CampUS hoch i: Ideen in 24 Stunden erarbeiten, Elevator-Pitch, Wettbewerb und Prämierung durch die Jury

 

Konzeption der „Wendepunkte“

Workshops mit „Energie-Akteuren“ und Quartiersbewohnern im Energielabor Tübingen (Quénéhervé et al. 2017)

Ideen ausarbeiten - in Verknüpfung mit der universitären Lehre und in der Diskussion mit der Öffentlichkeit

  • inter-/und transdisziplinäres Seminar
  • Ausstellung
  • Stadtraum. Stauraum. Lebensraum 1 im RNM 1
  • Provisorische Architektur im RNM 2 (Baum et al. 2020)
  • „Dialogspiel“ / Schülerdiskussion
  • Forschendes Entwerfen
  • Ausstellung

Workshop zur Bestandanalyse und Entwurf-Seminar „Old School – Neues Lernen” mit Ausstellung im Reallabor Stadt-Raum-Bildung 

Auswahl der Interventionen / Realexperimente anhand festgelegter Auswahlkriterien

Ideenwettbewerb

Auswahl der Realexperimente durch die Jury im RNM (Puttrowait et al. 2018: 216ff., Baum et al. 2020a)

Auswahl der Umbauentwürfe durch die Jury im Stadt-Raum-Bildung

Arbeitsschritt

Methoden

Anwendung und Formate
(Literatur s.Projektsteckbriefe)

Co-Produktion von Systemwissen 

Systemanalyse – Sammeln des Faktenwissens über die Region/Kontext, Alltags- und Ortswissens der Praxisakteure (bzw. Nutzer:innen), Integration und erste Auswertung der Wissensbestände

 

  • Klassische Theoriearbeit/Recherche
  • empirische Forschungsmethoden zur Generierung von quantitativen und qualitativen Daten
  • Vorträge

 

Katalog/Handbuch als offene Sammlung

(Grün-)Quartett im Reallabor Stadt:quartiere 4.0 (Wandel gestalten 2019:23, 59)

1. Phase der TraSy-Methode - Nutzer:innen im alltäglichen Kontext verstehen

  • Daten-/Dokumentenanalyse
  • Teilnehmende Beobachtung/ Vor-Ort-Begehungen
  • Experteninterviews

TraSy-Methode – Methode zur transdisziplinären Entwicklung soziotechnischer Systeme im Reallabor Schorndorf (Gebhardt L. & König A. 2019)

 

Rundgänge und Exkursionen

Co-Produktion von Zielwissen

Entwicklung von Visionen und Szenarien wünschenswerter Zukünfte

 

  • Future Headline Methode
  • Kleingruppendiskussionen 
  • Narrationen
  • (verkehrswissenschaftliche) Modellierung
  • (städtebauliche) Visualisierungen im Rahmen eines Seminars
  • Umfrage mit Abstimmungsgeräten
  • Reflexionsgespräche
  • World Café
  • schriftliche Befragungen

2-teiliger transdisziplinärer Visionsworkshop (Zukunftslabor), Seminar und Ausstellung im RNM 1: Erarbeitung wünschenswerter Zukünfte mit den Bürger:innen, Überführung der Versionen mit Methoden verschiedenen Disziplinen zu Szenarien durch Wissenschaftler:innen, Visualisierung durch Studierende, gemeinsame Reflexion im gegenseitigen Lernprozess (Alcántara et al. 2018; 2018a)

  • durch QR-Codes digital angereicherte Modelle
  • (digitale) Stadtspaziergänge
  • Mental Maps
  • Trendbook
  • Makeathon
  • #stadtselbst gedacht – eine Postkarte, die den umzugestaltenden Ort als freigestaltbare Fläche zeigt.
  • Digitaler Zwilling (VR/CAVE) als Planungs- und Entscheidungs-Werkzeug

Visionen und Statements für die Zukunft der Städte im Reallabor Stadt:quartiere 4.0 (Wandel gestalten 2019: 23f., 31, 44)

  • World Café
  • Ideenwerkstatt

Teile 3 und 4 der Exchange-Veranstaltungsreihe – Weg-Begleiterin und Ziel-Erspäherin im Reallabor SRB (Beninghaus et al. 2018)

 

2. und 3. Phase der TraSy-Methode: Nutzertypen (Persona), Nutzungsszenarien beschreiben und Ideen, konkrete Konzepte, Prototypen entwickeln

  • Visualisierungen
  • Prototypenbau
  • Kleingruppenarbeit
  • Präsentationen im Plenum

Ko-Kreationsworkshops im Reallabor Schorndorf (s. Gebhardt L. & König A. 2019)

Co-Produktion von Transformationswissen

Konzeption der Realexperimente – Rahmenbedingungen, Gelingensbedingungen/Erfolgs-und Beschreibungskriterien, Ziele, Veränderungspotentiale/Wirkmechanismen, Methoden der Durchführung, Datenerfassung und -verarbeitung

Vorträge und Kleingruppendiskussionen

Transformationsworkshops im RNM 1 und Methodenworkshop im RNM 2 (Lindner et al. 2020)

Durchführung der Realexperimente – Erprobung von Innovation zur Generierung des Erfahrungswissens mit begleitender Datenerhebung

 

  • Interventionen als Realexperimente
  • Design-Build / Research by Design

Methoden empirischer Sozialforschung:

  • Feldbeobachtung (Dokumentieren mittels Beobachtungsbögen)
  • Qualitative Inhaltsanalyse (Presseberichte, Interviews, Befragungen)

in Kombination mit stadtsoziologischen Methoden:

  • Counting/ Zählen
  • Tracing und Mapping
  • Tagebuch führen
  • Mapping / „behavioural mapping“
  • Testspaziergänge/Dérives

im RNM 2 (Kuhn et al. 2018; Baum M., Klawiter, S., Noller H. 2020a; Lindner et al. 2020; Lindner, Alle 2020)

4. Phase der TraSy-Methode: Erprobung im Pilotbetrieb

  • Befragungen mittels Fragebögen
  • Interviews der Testnutzer:innen
  • Datenerhebungen anhand von Key Performance Indikatoren (KPIs)
  • Workshops
  • Engmaschige Begleitung der 15 Testnutzer und qualitative Interviews
  • Teilnehmende Beobachtungen

9-monatiger Testbetrieb des neu entwickelten Bussystems im Reallabor Schorndorf (Brost et al. 2018; Gebhardt et al. 2019; Reallabor Schorndorf Projektbericht 2019)

 

 

Arbeitsschritt

Methoden

Anwendung und Formate
(Literatur s. Projektsteckbriefe)

Festlegung der Bewertungskriterien, Abgleich mit Zielstellungen und Erwartungen, Verstehen der Wirkmechanismen der Realexperimente, Erfassung, Interpretation, Reflexion und Vorstellung der Projektergebnisse mit Blick auf Dissemination und Etablierung

  • Narrative Dokumentation
  • Schriftliche Reflexionsberichte/ Erfassung von Lern-und Verstehens-Momenten
  • Selbstreflexion und kollektive Reflexion
  • Ausstellung im Stadtraum und Rathaus

Abschlussberichte der Realexperimente, Reflexionsworkshops, mehrtägige Abschlussveranstaltung mit einer Fachtagung im RNM 1 (Stuttgart in Bewegung 2018; Videoclip)

  • Pecha Kucha
  • Diskussionen im Interview-Format

Teil 5 der Exchange-Veranstaltungsreihe –Ziel-Beschreiterin im Reallabor Stadt-Raum-Bildung (Beninghaus et al. 2018)

  • Evaluation des Bedienkonzepts gemäß vorher definierter KPIs
  • Quantitative Befragung
  • Ausstellung im Rathaus

Evaluation der erhobenen Daten im Testbettrieb, Abschlussveranstaltung und Ausstellung im Rathaus Schorndorf (Brost et al. 2018, Gebhardt et al. 2019, Reallabor Schorndorf Projektbericht 2019)

Wissensintegration – Transfer der Ergebnisse in die Wissenschaft und die Praxis

  • Publikationen, Tagungsvorträge, Ausstellungen
  • Co-Writing von Handlungsempfehlungen
  • Wissenschaftskommunikation in die Praxis, Dialogforen

Ergebnisarchiv auf der Webseite des RNM; zum Reallabor Schorfdorf (Gebhardt L. & König A. 2021:)

To the top of the page