M Cube aqt – Wie verlässlich sind die Auswertungen des Projekts?

M Cube aqt – Wie verlässlich sind die Auswertungen des Projekts?
Anfrage Stadtrats-Mitglieder Hans Hammer und Veronika Mirlach (Stadtratsfraktion der CSU mit FREIE WÄHLER) vom 27.9.2024

Antwort Mobilitätsreferent Georg Dunkel:

In Ihrer Anfrage vom 27.9.2024 legen Sie folgenden Sachverhalt zu Grunde: „Vor kurzem wurden die Ergebnisse des M Cube Projekts aqt (temporäre Umgestaltung der Kolumbusstraße und der Landlstraße/Walchenseeplatz in 2023) der Öffentlichkeit vorgestellt. In einer Broschüre und auf Seiten des Mobilitätsreferats werden die Ergebnisse aufbereitet. Auf muenchenunterwegs.de lässt sich hierzu beispielsweise lesen: ‚Eine jetzige Auswertung zeigt: Eine Mehrheit der Anwohnenden bewertet das Projekt positiv.‘ und ‚Dafür wurden die Haushalte in den beiden Quartieren zu zwei Online-Befragungen eingeladen – vor sowie gegen Ende der Umsetzung der Maßnahmen. Während in der Südlichen Au verhältnismäßig viele Anwohnende an den Umfragen teilgenommen haben, war die Beteiligung rund um den Walchenseeplatz eher verhalten. Hier zeigt die Auswertung deshalb nur ein grobes Stimmungsbild.‘ Insgesamt wird eine relativ große Zustimmung der Anwohner zu den Projekten aus der Auswertung den Onlinebefragungen abgeleitet. Von besonderer Bedeutung war hierbei die zweite Onlinebefragung zum Ende des Projekts, auf die sich die Fragen beziehen.“

Herr Oberbürgermeister Reiter hat mir Ihre Anfrage zur Beantwortung zugeleitet, die darin aufgeworfenen Fragen beantworte ich wie folgt:

Die Beantwortung der Stadtratsanfrage erfolgte in Zusammenarbeit mit dem Projektpartner Technische Universität München. Bevor im Einzelnen auf die gestellten Fragen eingegangen wird, ist grundsätzlich zu betonen, dass die Auswertung der erhobenen Daten im Rahmen der wissenschaftlichen Begleitung des Projektes durch die Technische Universität München nach geltenden wissenschaftlichen Standards erfolgt ist. Dadurch konnte eine hohe Qualität und Aussagekraft der Ergebnisse erzielt werden. Eine Belastbarkeit der veröffentlichten Ergebnisse ist sowohl aus Sicht der Verwaltung als auch der Technischen Universität München gegeben.

Frage 1:
Wie wurden die Teilnehmer für die Onlinebefragung ausgewählt? Hatte jeder Internetnutzer weltweit die Möglichkeit an der Befragung teilzunehmen?

Antwort:
Die Umfragen richteten sich an die direkt durch die Maßnahmen betroffenen Anwohner*innen beider Projektgebiete – die Parklizenzgebiete Südliche Au und Walchenseeplatz. Bei beiden Umfragen wurden alle Haushalte in diesen Gebieten über eine Postwurfsendung durch einen beauftragten Dienstleister informiert und alle Anwohner*innen ab 16 Jahren zur Teilnahme an der jeweiligen Umfrage eingeladen. In der ersten Umfrage wurde pro Quartier in der Postwurfsendung ein Code ausgegeben, der am Anfang der Umfrage eingegeben werden musste. Bei der zweiten
Umfrage wurden pro Brief zwei (für zwei Haushaltsmitglieder) einmalig verwendbare Codes versendet. Sofern mehr als zwei Haushaltsmitglieder über 16 Jahren im Haushalt wohnhaft waren, konnten weitere Teilnahmecodes für diese angefordert werden.

Durch diese direkten Einladungen können wir ausschließen, dass jede*r Internetnutze*r weltweit die Umfrage ausfüllen konnte. Es kann zudem insbesondere bei der zweiten Umfrage eine manipulative Teilnahme durch einzelne Interessengruppen ausgeschlossen werden. Die veröffentlichten Ergebnisse in der Ergebnisbroschüre beziehen sich fast ausschließlich auf die zweite Umfrage mit der Bewertung der Ergebnisse, ausgenommen die Grafik zur “Umwandlung von Flächen” *1.

Frage 2:
Wurde eine Zufallsstichprobe der lokalen Bevölkerung für die Onlinebefragung gezogen, beispielsweise auf Basis der Daten und anhand relevanter Strukturdaten (Alter, Geschlecht, etc.) aus dem Einwohnermelderegister und die Einladungen zur Umfrage entsprechend zugestellt? Falls nein, warum nicht?

Antwort:
Eine Stichprobenziehung erfolgt in der Regel insbesondere, wenn eine große Grundgesamtheit vorliegt und eine Gesamtbefragung unter der Berücksichtigung der notwendigen Ressourcen nicht sinnvoll oder möglich ist. Da die Befragungsgebiete räumlich sehr begrenzt waren und damit die Grundgesamtheit der Haushalte verhältnismäßig gering war, wurden im Sinne einer umfassenden Bürgerbeteiligung alle Haushalte der Projektgebiete angeschrieben, um jeder Person im Projektgebiet die Möglichkeit zu geben, sich an der Umfrage zu beteiligen.

Frage 3:
Die Projektbeteiligten geben an, dass die Auswertung für den Walchenseeplatz nur ein „Stimmungsbild“ zeigt, für die Kolumbusstraße fehlt diese Einschränkung. Warum?

Antwort:
Die Unterscheidung begründet sich in den unterschiedlichen Rücklaufzahlen der durchgeführten Umfragen. Die Zahlen zeigen, dass in der Südlichen Au, im Vergleich mit typischen Werten wissenschaftlicher Erhebungen dieser Art, v.a. in der zweiten Umfrage verhältnismäßig viele Anwohner*innen an den Umfragen teilgenommen haben (1. Umfrage: 559 Personen, 2. Umfrage: 924 Personen *1) und diese somit gut die Meinung der Anwohner*innen darstellen können. Am Walchenseeplatz haben weniger Anwohner*innen an den Umfragen teilgenommen (1. Umfrage: 212 Personen; 2. Umfrage: 163 Personen *1).

Die unterschiedliche Einordnung der Rücklaufzahlen ergibt sich zudem aus dem Vergleich mit errechneten Stichprobengrößen basierend auf der Einwohnerzahl beider Parklizenzgebiete. Unter der Annahme einer Zufallsstichprobe kann in der Südlichen Au Einwohner*innen eine Stichprobe von 568 und am Walchenseeplatz eine Stichprobe von 552 mit einer 95-prozentiger Sicherheit und einer Genauigkeit von ± 4 Prozent für das gesamte Quartier (Parklizenzgebiet) Aussagen erheben (Annahme von Konfidenzniveau und Fehlerspanne nach statistischen Standards, wie zum Beispiel in der SrV-Untersuchung *2). Die errechneten Stichprobengröße wurde in der Südlichen Au in der zweiten Umfrage erreicht, am Walchenseeplatz konnte die errechnete Stichprobengröße in beiden Umfragen nicht erreicht werden.

Frage 4:
Ab welchem Wert von Teilnehmern/Gesamtbevölkerung ist eine Umfrage kein „Stimmungsbild“ mehr? Ist dieser Wert bereits bei 12% (siehe Kolumbusstraße) erreicht? Und was ist sie dann?

Antwort:
Wie unter der Antwort zu Frage 3 beschrieben, war der Rücklauf am Walchenseeplatz insgesamt gering und die Stichprobe deutlich kleiner als in der Südlichen Au. Es gibt keinen allgemeingültigen festen Schwellenwert, ab dem eine Umfrage über ein „Stimmungsbild“ hinausgeht, dieser ist von unterschiedlichen Faktoren abhängig. Grundsätzlich reduziert aber eine größere Stichprobe in der Regel die Unsicherheit in den Ergebnissen und verringert die Effekte von „Zufallsrauschen“, also zufälligen Schwankungen und Variabilitäten, die besonders bei kleineren Stichproben deutlich ausgeprägter sind.

In Fällen mit kleineren Stichproben, wie beispielsweise am Walchenseeplatz, können Rückläufe zwar wertvolle Einblicke geben, allerdings bleibtdie verallgemeinernde Aussagekraft begrenzt. Solche Ergebnisse liefern in erster Linie Hinweise und Tendenzen, die eine Darstellung verdienen, jedoch mit Vorsicht interpretiert werden sollten, da sie durch höhere Varianz und weniger stabilisierte Muster beeinflusst werden können. Deshalb sprechen wir hier bewusst nur von einem Stimmungsbild.

Frage 5:
Die Übersicht über die „Repräsentativität“ der Umfrageteilnehmer für die Gesamtbevölkerung der Stadtbezirke Au-Haidhausen bzw. Obergiesing-Fasangarten zeigt, dass sich in beiden Gebieten die Teilnehmer an der Umfrage in annähernd allen Strukturmerkmalen (Personen im Haushalt, Erwerbstätigkeit, Geschlecht, Nationalität, Bildungsstand, Alter, ökonomischer Status) deutlich vom Bevölkerungsdurchschnitt unterscheiden. Welche validen Aussagen lassen sich nach Ansicht der Projektbeteiligten aus diesem statistisch verzerrten Datenmaterial für die Gesamtbevölkerung der Stadtbezirke ziehen?

Antwort:
Es gibt keine Hinweise darauf, dass die Rohdaten durch beispielsweise methodische Fehler oder ein spezifisches Antwortverhalten in einer Weise verzerrt wurden, die die Verlässlichkeit und Genauigkeit der Ergebnisse beeinträchtigt. Die Stichprobenverteilung wurde in Hinblick auf eine möglichst transparente Darstellung der erhobenen Daten anhand relevanter Strukturmerkmale mitveröffentlicht. Der Vergleich zur Gesamtbevölkerung der Stadtbezirke zeigt auf, dass die Umfragen Teile der Bevölkerung über- bzw. unterrepräsentieren. In den veröffentlichten Ergebnissen wurden keine verallgemeinernden Aussagen für die Gesamtbevölkerung der Stadtbezirke getroffen, sondern die erhobenen und ausgewerteten Daten beschrieben sowie Gesamtaussagen dieser Daten herausgearbeitet. Die Ergebnisse wurden in einem breiteren methodischen Kontext interpretiert und decken sich mit den Auswertungen aus qualitativ erhobenen Daten wie Interviews, Feedbackkarten und Fokusgruppen. Diese Triangulation von Daten erhöht die Validität und Reliabilität der Daten. Die Veröffentlichung der Auswertung dieser Daten wird im Rahmen von wissenschaftlichen Veröffentlichungen durch den Projektpartner Technische Universität München erfolgen.

Frage 6:
Im Zuge der Befragung wurden relevante Strukturmerkmale der Teilnehmer (siehe Frage 5) erhoben. Warum wurde keine Gewichtung der Antworten anhand der tatsächlichen Verteilung in der Bevölkerung vorgenommen, um die statistisch verzerrten Rohdaten auszugleichen und ein „Stimmungsbild“ der Bevölkerung zu erhalten, das vermutlich näher an der Realität ist?

Antwort:
Eine Gewichtung von Umfragedaten hinsichtlich Strukturmerkmalen kann zwar in bestimmten Fällen hilfreich sein, führt jedoch nicht zwangsläufig zu repräsentativeren Ergebnissen. So kann eine Gewichtung Verzerrungen nur bedingt ausgleichen, insbesondere wenn bestimmte Gruppen in der Stichprobe stark unterrepräsentiert sind oder gar nicht erfasst wurden. Trotz Gewichtung kann es also zu Verzerrungen kommen, die das Ziel der Repräsentativität untergraben. Verschiedene Variablen müssen zudem unterschiedlich stark gewichtet werden. Dies führt oft zu einer Überspezifikation der Modelle und zu Fehlern durch inkonsistente Gewichtungsansätze. Dadurch sind die Ergebnisse schwieriger zu interpretieren.

Frage 7:
Ist eine gewichtete Auswertung der Umfrage noch geplant und werden die Publikationen entsprechend aktualisiert? Falls nein, warum nicht?

Antwort:
Nein, aufgrund der in Frage 6 erläuterten Gründe ist auch in Zukunft keine gewichtete Auswertung der Umfrage vorgesehen.

Frage 8:
Für wie belastbar hält die Stadtverwaltung die vorgelegte Auswertung insgesamt?

Antwort:
Wir halten die vorgelegte Auswertung insgesamt für belastbar. Die Ergebnisse wurden in enger Zusammenarbeit mit unserem Projektpartner, der Technischen Universität München, zur Veröffentlichung aufgearbeitet. Die Datenerhebung und Auswertung selbst hat im Rahmen einer wissenschaftlichen Begleitung der im MCube Projekt aqt durchgeführten Aktionen und umgesetzten Interventionen durch die Technische Universität München stattgefunden. Dadurch konnte eine hohe Qualität und Aussagekraft der Ergebnisse erzielt werden.

Außerdem zeigen die Ergebnisse, dass die Stichprobe ein ausgewogenes Verhältnis zwischen aktiven Befürworter*innen und Kritiker*innen des Projekts darstellt (vgl. Antworten „Möglichkeiten, sich aktiv am Projekt in München zu beteiligen”1). Durch die Umfrage konnten auch Anwohner*in-nen erreicht werden, die sich nicht aktiv durch andere Aktionen in das Projekt eingebracht haben.

Frage 9:
In welcher Form findet die Auswertung Einfluss auf künftige Planungen der Landeshauptstadt München?

Antwort:
Die vorgelegte Auswertung und weitere Auswertungen der im Rahmen des Projektes erhobenen Daten, die uns von der Technischen Universität München zur Verfügung gestellt wurden (u.a. Auswertungen der qualitativen Rückmeldungen aus Feedbackkarten, Gesprächen, Fokusgruppen etc.), werden bei zukünftigen Projekten, die eine Umgestaltung von Stra-ßen und Plätzen anvisieren, in die Planung und in die Gestaltung von Beteiligungs- und Umsetzungsprozessen einfließen. Dabei ermöglicht uns die Auswertung, weitere Erkenntnisse über die Bedürfnisse und Anforderungen der Bürger*innen im Hinblick auf die Mobilität und Gestaltung von Quartieren in München zu gewinnen. Zudem liefert sie wichtige Erkenntnisse zu Beteiligung und Prozessbegleitung und trägt somit dazu bei, dass bestehende Prozesse optimiert werden können. Zusätzlich bilden die Ergebnisse eine Grundlage für die Fortsetzung der Diskussion über notwendige Veränderungen, wenn wir unsere Stadt auch in Zukunft lebenswert erhalten wollen.

Um Kenntnisnahme von den vorstehenden Ausführungen wird gebeten. Wir gehen davon aus, dass die Angelegenheit damit abgeschlossen ist.

*1 Ergebnisbroschüre „Quartiere für eine lebenswerte Stadt: Ergebnisse aus dem Forschungsprojekt aqt“, aufrufbar unter https://muenchenunterwegs.de/angebote/aqt-ergebnisse
*2 https://tu-dresden.de/bu/verkehr/ivs/srv/das-srv/srv-standard#section-4, zuletzt aufgerufen am 25.10.2024