So testen wir
Die Messungen in Deutschland fanden vom 1.10. bis 1.11.2019 statt, die in Österreich vom 3.10. bis 18.10.2019 und die in der Schweiz vom 10.10. bis 30.10.2019 Pro Land schickte der connectNetztestpartner umlaut jeweils zwei Messfahrzeuge auf die Strecke. Jedes Fahrzeug war mit sechs Smartphones vom Typ Samsung Galaxy S9 bestückt. Dabei nahm jeweils ein Smartphone pro Netzbetreiber die Sprachmessungen und ein weiteres die Datenmessungen vor. Zusätzlich zu den Drivetests führte in jedem Land ein Walktest-Team Messungen zu Fuß durch – und zwar in Zonen mit ausgeprägtem Publikumsverkehr wie Bahnhofshallen,Flughafenterminals, Cafés und Museen sowie öffentlichen Verkehrsmitteln. Zum Programm der Walktests zählten zudem Fahrten auf Fernverkehrsstrecken der Bahn. Auch für die Walktests wurden Galaxy S9 genutzt, die in mit starken Akkus bestückten Rucksäcken oder Trolleys steckten. Die in den Test-Smartphones verwendete Firmware entsprach jeweils der originalen Netzbetreiberversion. Gab es eine solche nicht, nutzten wir die aktuelle Firmware von Samsung.
Logistik
Die Drivetests und Walktests wurden zwischen 8 und 22 Uhr durchgeführt. Während der Drivetests befanden sich zwei Fahrzeuge zwar in derselben Stadt, jedoch nicht am selben Ort, damit nicht ein Auto die Messungen des anderen verfälscht. Auf den Verbindungsstraßen fuhren die Fahrzeuge die gleichen Strecken ab, jedoch mit geringem zeitlichem und räumlichem Abstand nacheinander. In Deutschland fanden die Drivetests in 20 Großstädten und 24 Kleinstädten statt, die Walktests führten durch zehn Städte. Die Drivetests umfassten rund 9780 km und deckten rund 14,4 Millionen Einwohner ab, was etwa 17,5% der deutschen Bevölkerung entspricht. In Österreich fuhren die Tester durch 11 Groß- und 20 Kleinstädte und legten rund 6010 km zurück. Hinzu kamen Walktests in sieben Städten. So wurden insgesamt rund 3,1 Millionen Einwohner (ca. 35,3% der Bevölkerung) abgedeckt. Die Drivetests in der Schweiz umfassten 18 Groß- und 33 Kleinstädte, die Walktests fanden in acht Städten statt. Die Testroute in der Schweiz war ca. 6590 km lang, was rund 2,2 Millionen Einwohnern bzw. 26,1% der Bevölkerung entsprach. Für die Auswahl der Testrouten erstellte umlaut für jedes Land vier unterschiedliche Vorschläge, aus denen connect dann blind eine Route auswählte.
Sprachverbindungen
Die Telefoniemessungen fanden von Fahrzeug zu Fahrzeug statt („mobile-to-mobile“). Die Smartphones der Walktest-Teams telefonierten für die Sprachtests mit einer stationären Gegenstelle. Um realistische Bedingungen sicherzustellen, wurde im Hintergrund gleichzeitig Datenverkehr abgewickelt. Als neuen KPI 2019 erfassen wir auch sogenannte MultiRAB-Konnektivität: Nutzung mehrerer „Radio Access
Bearer“stellt Datenverbindungen im Hintergrund der Sprachtelefonate zur Verfügung. Die Übertragungsqualität der gesendeten Sprach-Samples wurde mit dem für HD-Voice geeigneten POLQA-Wideband-Verfahren bewertet. Auf allen Telefone war „LTE bevorzugt“konfiguriert.
Datenverbindungen
Bei den Datenmessungen wurden mehrere nach dem AlexaRanking populäre Live-Seiten (dynamisch) heruntergeladen. Zusätzlich kam die als KeplerSeite (statisch) bekannte ETSIReferenz-Seite (Europäisches Institut für Telekommunikationsnormen) zum Einsatz. Daneben wurden 5 MB und 2,5 MB große Dateien herunter- bzw. hochgeladen, um die Leistung bei kleineren Datenübertragungen zu ermitteln. Zudem bestimmten wir die Datenrate innerhalb einer 7-Sekunden-Periode beim Upund Download großer Dateien. Die Youtube-Messungen tragen der „adaptiven Auflösung“der Videoplattform Rechnung: Um ein durchgehendes Videoerlebnis zu bieten, passt Youtube die ausgespielte Auflösung dynamisch an die verfügbare Bandbreite an. Die Bewertung berücksichtigt daher die Erfolgsquote, die Zeit bis zum Wiedergabestart sowie die durchschnittliche Bildauflösung der Videos.
Crowdsourcing
Zu 20% fließen zudem die Ergebnisse der von umlaut durchgeführten Crowdsourcing-Analysen in die Gesamtwertung ein. Dazu wurden in allen drei Ländern von Mitte Mai bis Mitte November 2019 die dort jeweils
erhobenen Samples ausgewertet. Für Deutschland wurden rund 2,8 Milliarden Einzelmesswerte analysiert, die 476 000 Nutzer beigetragen hatten. Damit wurden 99,3% der bebauten Fläche in städtischen Gebieten und 91,5% der restlichen bebauten Fläche berücksichtigt. Für Österreich wertete umlaut 902 Millionen Samples von insgesamt 99 800 Mobilfunknutzern aus, was 100% der bebauten Fläche in Städten und außerhalb 92,1% der bebauten Fläche abdeckt. Die Zahlen für die Schweiz: 41 400 Nutzer trugen 200 Millionen Samples bei. Damit wurden 100% der bebauten Fläche in Städten abgedeckt, außerhalb waren es 88,4%.
Um die Datenbasis für diese Analysen zu erhalten, erfassen mehr als 800 populäre Apps im Hintergrund, ob Kontakt zum Netz besteht, welche Netztech nologien zur Verfügung stehen und mit welchen Datenraten Downloads und Uploads statt finden – sofern der Nutzer dieser vollkommen anonymen Datenerhebung zugestimmt hat. Diese Messwerte werden im 15MinutenRaster erfasst und einmal täglich an die umlaut Server übertragen. Solche Reports umfassen nur wenige Bytes, sodass sie das Datenvolumen des Nutzers kaum belasten. Leser, die uns bei unseren Netztests aktiv unterstützen möchten, können dies am besten durch Installa tion und Nutzung der connect App (siehe Kasten unten) tun. Sie ist aber nur eine von vielen Apps, die über die beschrie bene Hintergrundfunktiona lität verfügen.
Netzabdeckung
Zur Ermittlung der Abdeckun gen für 4G, „Daten“(4G und 3G) sowie Telefonie legt umlaut ein Raster von 2 x 2 km großen Kacheln über das Testgebiet. Diese „Eva luation Areas“werden nochmals in 16 kleinere Kacheln unterteilt. Um die statistische Relevanz der Ergebnisse sicherzustellen, muss für jede Kachel eine Mindestan zahl an Nutzern und Messwerten vorliegen. Neu in 2019 ist, dass wir zwischen zwei Betrachtungs weisen unterscheiden: In der „BenchmarkAnsicht“werden nur Evaluation Areas berücksich tigt, für die valide Ergebnisse für alle verglichenen Anbieter vorlie gen. In der „eigenen Netzwerk Ansicht“zählen auch Evalua tion Areas, in denen die Mitbe werber nicht präsent sind. Au ßerdem unterschieden wir bei den Bewertungen zwischen ur banen und ländlichen Gebieten. Dies trägt der Tatsache Rech nung, dass die Mobilfunkab deckung in städtischen Gebie ten meist besser ist.
Datengeschwindigkeit
Pro „Evaluation Area“ermittelt umlaut die maximalen Download und UploadGeschwindigkeiten, die jeder teilnehmende Nutzer innerhalb von 15MinutenAb schnitten erreichte. Für diese Zeitscheiben wird dann in 4Wo chenRastern der Maximalwert ermittelt, und daraus über den 6MonatesZeitraum der „P90 Wert“– die Schwelle in der statis tischen Verteilung, unterhalb de rer 90% der Messwerte liegen.
Netzstabilität
Zudem erfassen wir Störungen beziehungsweise Anomalien in der (Daten)Netzversorgung. Ein ausgeklügelter Algorithmus unter scheidet dabei normale Verbin dungsverluste (etwa in Aufzügen, Tiefgaragen oder unversorgten Innenräumen) von echten Aus fällen. Zudem werden Vorfälle in den Nachtstunden zwischen 22 und 8 Uhr nicht berücksich tigt. Bei der Auswertung führen die Anzahl der Tage, an denen Servicebeeinträchtigungen auf traten, sowie die Anzahl der betroffenen Stunden jeweils zu Punktabzug.
Städtewertungen
Für die Einzelwertungen der Groß städte streichen wir alle nicht zu treffenden Prüfpunkte aus dem Katalog – etwa die, die sich auf Kleinstädte, Verbindungsstraßen oder die Bahn beziehen. So sind in diesen Auswertungen maximal 564 Punkte erreichbar. Noch de tailliertere Beschreibungen zum Testverfahren finden Sie unter
www.connect-testlab.com.
>>