Utente:CristianCantoro/SandboxGeonotice/Risultati

Risultati del Cristian's (Wiki) Geolocation Survey

Di seguito riportiamo i risultati del sondaggio sugli strumenti di Geolocation utilizzabili in it.wiki. Il sondaggio è rimasto aperto dal 2 al 7 novembre 2011. Al sondaggio hanno partecipato 118 persone.

Scopo del survey era mettere a confronto la geolocalizzazione basata su IP fatta da geoiplookup.wikimedia.org e gli strumenti di geolocalizzazione incorporati nei browser moderni. Per partecipare al survey veniva richiesto di visitare le pagine:
http://geoiplookup.wikimedia.org
http://placepuppy.it/geo.html

Premessa

Metodo di raccolta dati

Le risposte sono state raccolte attraverso un form GoogleDoc, disponibile all'indirizzo http://bit.ly/GeoSurvey (qui un link diretto).

La prima pagina ritornava una stringa del tipo:
Geo = {"city":"Cameri","country":"IT","lat":"45.500000","lon":"8.650000","IP":"2.32.43.196","netmask":"19"}

La seconda invece era basata sul codice presente nell'allegato A e ritornava un risultato del tipo:
Latitude: 0.00 Longitude: 0.00

Per trovare le coordinate della “localizzazione vera” (v. domande 5-6-7 qui sotto) il metodo proposto è stato il seguente:

«[…] usare Google Maps (http://maps.google.it), scrivere il nome della città inserita, cliccare con il tasto destro e scegliere "Che cosa c'è qui" appariranno due numeri che sono la latitudine e la longitudine.»

Tuttavia, dato che è stato indicato anche che potevano essere usati metodi differenti (per esempio consultando la pagina: http://en.wikipedia.org/wiki/Wikipedia:Obtaining_geographic_coordinates)

Domande

Le domande poste nel questionario sono state le seguenti:

1. Puoi dirmi la latitudine dove sei posizionato usando geoiplookup.wikimedia.org
2. Puoi dirmi la longitudine dove sei posizionato usando geoiplookup.wikimedia.org
3. Puoi dirmi la latitudine dove sei posizionato usando placepuppy.it/geo.html
4. Puoi dirmi la longitudine dove sei posizionato usando placepuppy.it/geo.html
5. Puoi dirmi la città dove ti trovi ora (dove si trova il pc che stai usando?)
6. Saresti così gentile da indicarmi la latitudine della città che hai indicato qui sopra?
7. Saresti così gentile da indicarmi la longitudine della città che hai indicato qui sopra?
8. Valuta il risultato che hai ottenuto usando geoiplookup.wikimedia.org [Nazione]
9. Valuta il risultato che hai ottenuto usando geoiplookup.wikimedia.org [Regione]
10. Valuta il risultato che hai ottenuto usando geoiplookup.wikimedia.org [Provincia]
11. Valuta il risultato che hai ottenuto usando geoiplookup.wikimedia.org [Città]
12. Valuta il risultato che hai ottenuto usando placepuppy.it/geo.html [Nazione]
13. Valuta il risultato che hai ottenuto usando placepuppy.it/geo.html [Regione]
14. Valuta il risultato che hai ottenuto usando placepuppy.it/geo.html [Provincia]
15. Valuta il risultato che hai ottenuto usando placepuppy.it/geo.html [Città]
16. Quale browser stai utilizzando per navigare?
17. Riesci a dirmi la versione del tuo browser?
18. Il tuo browser supporta la geolocalizzazione, che tu sappia?

Quindi per ogni submission i seguenti dati erano disponibili:

• timestamp dell'invio del form
• coordinate rilevate da geoiplookup.wikimedia.org e loro valutazione
• coordinate rilevate da placepuppy.it/geo.html e loro valutazione
• nome e coordinate della città dove si trovava chi ha compilato il form
• informazioni rispetto al browser (versione, supporto della localizzazione)

Raccolta dati

Purtroppo a causa di un errore di impostazione del form Google Doc alcuni dati (22 record) sono risultati inutilizzabili, infatti entrambi gli strumenti fornivano risposte secondo il locale USA ed in particolare usando il punto (“.”) come separatore decimale, il form invece era impostato secondo il locale IT e quindi le cifre inserite con un punto sono state interpretate come date. Non è stato possibile, nonostante alcuni tentativi, recuperare i dati originali e quindi questi record sono stati scartati.

Sono quindi risultati disponibili 96 record. In figura 1 l'andamento delle submission dove la numerazione negativa indica i dati scartati: [IMMAGINE SURVEY SUBMISSIONS]

La distribuzione regionale degli invii è visualizzata dalla seguente mappa:

In particolare per la Lombardia la suddivisione in province da: [IMMAGINE SUBMISSIONS ITALIA]

8 risposte sono stati inviate da Stati esteri. [IMMAGINE SUBMISSIONS LOMBARDIA]

Tutti i dati raccolti e la loro analisi sono disponibili come documento ODS al seguente indirizzo:
http://dl.dropbox.com/u/11865418/survey_elab.ods

Oltre a questo per coloro i quali avessero indicato solo la loro “città” (localizzazione vera) e non le coordinate, questi dati sono stati integrati usando lo stesso metodo indicato sopra.

Analisi dati

Utilizzando i dati reali forniti si è calcolato lo scarto quadratico (rms) medio di ciascun valore di latitudine e di longitudine rilevato. Utilizzando il raggio quadratico medio della Terra come costante pari a 6373 km si sono poi calcolate le varie aree indicate.

La media delle posizioni reali raccolte è la seguente:
lat = 44.61147757
long = 9.72832298
situata a Bardi (PR)

I valori massimi e minimi trovati sono
(B) lat_max = 52.355788, long_min = -8.617963
(A) long_max = 16.16666667, lat_min = 37.520619

Nota metologica

Una volta trovati gli scarti quadratici in gradi di latitude e longitune, essi sono stati combinati in quadratura, ossia l'errore compiuto rispetto ad utilizzare la formula corretta (in quanto si tratta di angoli su una sfera e non su un piano) è trascurabile.

Analisi dei risultati di localizzazione via geoiplookup.wikimedia.org

Per geoiplookup.wikimedia.org i risultati sono:
rms_lat = 5.0°
rms_long = 2.29°
da questi dati calcoliamo che le posizioni individuate si trovano mediamente entro un raggio di 97 km rispetto alla posizione reale.
Per confronto, ecco quali città includerebbe un'area circolare con lo stesso raggio centrata attorno a Milano:
[IMMAGINE RAGGIO GEOIPLOOKUP.WIKIMEDIA.ORG LOMBARDIA]

Valutazione della localizzazione da parte degli utenti

Di seguito riportiamo i risultati della valutazione fatta dagli utenti rispetto alla qualità della localizzazione. Si noti che i risultati sono da leggere come “È stata individuata esattamente almeno la [città/provincia/regione]” quindi i valori crescono andando da sinistra verso destra poiché ogni casella a destra contiene anche i valori precedenti, nella prima riga sono presentati i valori assoluti nella seconda le percentuali.

Quindi il tool individua correttamente almeno la regione in oltre il 60% dei casi. Lo stato viene individuato correttamente quasi sempre.

Analisi dei risultati dei risultati di localizzazione via browser

Per la localizzazione via browser bisogna indicare che in 10 casi su 96 (10,4%) la procedura di localizzazione non ha funzionato restituendo un errore oppure il risultato “0. 0.”.

Questo può dipendere da vari fattori tra cui il tipo browser e la versione e la connessione (infatti connettendosi da punti diversi potrebbe darsi che in alcuni casi le informazioni di localizzazione non siano disponibili).

I risultati sono stati quindi limitati agli 86 casi che hanno restituito dei dati ottenendo:
rms_lat = 0.43°
rms_long = 0.66°

da questi dati calcoliamo che le posizioni individuate si trovano mediamente entro un raggio di 14 km rispetto alla posizione reale. Per confronto, ecco quali città includerebbe un'area circolare con lo stesso raggio centrata attorno a Milano:
[IMMAGINE RAGGIO PLACEPUPPY.IT LOMBARDIA]

Valutazione della localizzazione da parte degli utenti

A causa di un problema con il form usato per raccogliere i dati le etichette delle varie risposte sono state mescolate, sono stati ricostruiti questi risultati a partire dai dati disponibili. Quanto ottenuto ci sembra compatibile con i dati della sezione precedente. I 10 casi per cui lo strumento non ha funzionato sono stati classificati come “Stato non corretto”.

Come si vede, con la localizzazione via browser, la capacità di individuare correttamente la città è molto più alta (58% contro il 28% di geoiplookup.wikimedia.org), e la regione corretta viene individuata in oltre l'80% dei casi (83% contro il 62% di geoiplookup.wikimedia.org). Però la possibilità che lo strumento fallisca lo limita.

Informazioni sul Browser

A causa del fatto che il campione non è stato preparato in modo statisticamente significativo per i browser utilizzati si riscontra una predominanza di Mozilla Firefox e di Google Chrome, risulta invece significativamente sottorappresentato Internet Explorer. Per quanto riguarda questi ultimi browser si ha una prevalenza delle versioni 3.6.X (7) e 7.00.01 (40) per Firefox e 15.X (19) per Chrome. [IMMAGINE VERSIONE BROWSER]

Da queste risposte invece si vede che una grossa fetta degli utenti non sa che il proprio browser, molto probabilmente, supporta la localizzazione. [IMMAGINE BROWSER GEOLOCALIZZAZIONE]

Conclusioni

Abbiamo analizzato 96 casi di utilizzo di due differenti strumenti di geolicalizzazione: la geolocalizzazione via IP (attraverso l'indirizzo geoiplookup.wikimedia.it) e quella via browser, di utenti principalmente situati nel nord Italia, La localizzazione via browser ha una precisione accettabile, posizionando un utentei in una regione corretta nel 62,5% dei casi, però la forbice tra la percentuale di città individuate correttamente e di localizzazioni regionali corrette è elevata (~34%). Il sistema inoltre è affidabile in quanto quasi nella totalità dei casi viene indiiduato lo Stato corretto. La localizzazione via browser invece riesce a individuare correttamente la regione l'83% delle volte, inoltre presenta una forbice più ristretta (~25%) tra le individuazioni corrette della città nelle quali riesce a raggiungere una precisione del 58%. Tuttaia lo strumento non ha funzionato nel 10,4% dei casi.

Una combinazione dei due strumenti sembra quindi la soluzione migliore dato che è possibil riconoscere quando non vengono rilevati dati di localizzazione del browser, in questo modo si potrebbe unire l'affidabilità del primo metodo alla maggior precisione del secondo.

Allegato A

Codice di http://placepuppy.it/geo.html

<!DOCTYPE html> 
<html> 
  <head> 
    <title>Geolocation Demo</title> 
  </head> 
  <body> 
    <h1>Geolocation Demo</h1> 
    code from: <a id="greenhughes" href=http://www.greenhughes.com/content/where-are-you-find-out-geolocation-javascript>greenhughes.com</a> 
    <p>Latitude: <span id="lat">0.00</span> Longitude: <span id="lon">0.00</span></p> 
    <p><a id="gmaps_link" href="http://maps.google.co.uk/" target="_blank">View on Google Maps</a></p> 

    <script language="javascript"> 
       // show the position on the page and make a google maps link 
       function showPosition(position) { 
         var lat = position.coords.latitude; 
         var lon = position.coords.longitude; 
         document.getElementById("lat").innerHTML = lat; 
         document.getElementById("lon").innerHTML = lon; 
         var gmaps_url = "http://maps.google.co.uk/maps?f=q&source=s_q&hl=en&geocode=&q=" + lat + "+" + lon; 
         document.getElementById("gmaps_link").href = gmaps_url; 
       } 
       // report errors to user 
       function errorHandler(error) { 
         switch (error.code) { 
          case error.PERMISSION_DENIED: 
            alert("Could not get position as permission was denied."); 
            break; 
          case error.POSITION_UNAVAILABLE: 
            alert("Could not get position as this information is not available at this time."); 
            break; 
           case error.TIMEOUT: 
             alert("Attempt to get position timed out."); 
            break; 
           default: 
            alert("Sorry, an error occurred. Code: " + error.code + " Message: " + error.message); 
            break; 
           } 
       } 
       // check browser can support geolocation, if so get the current position 
       if (navigator.geolocation) { 
         navigator.geolocation.getCurrentPosition(showPosition, errorHandler); 
       } 
       else { 
         alert("Sorry, your browser does not support geolocation services."); 
       } 
    </script> 
  </body> 
</html>

Results of the Cristian's (Wiki) Geolocation Survey

In the following we discuss the results of the survey about the geolocation tools which can be used on it.wiki. The survey has been conducted from 2 to 7 november 2011. 118 person have participated.

Aim of the survey was to compare the precision of the IP-based geolocation used by geoiplookup.wikimedia.org and other geolocation tools embedded in modern browsers. To partecipate to the survey it was needed to visit the following pages: http://geoiplookup.wikimedia.org
http://placepuppy.it/geo.html

Introduction

Data gathering method

Answers have been collected through a Google Docs form, available at http://bit.ly/GeoSurvey (direct link).

The first page, geoiplookup.wikimedia.org, returned a string similar the following:
Geo = {"city":"Cameri","country":"IT","lat":"45.500000","lon":"8.650000","IP":"2.32.43.196","netmask":"19"}

The second, placepuppy.it/geo.html, was based on the code presented in Appendix A and returns a string like:
Latitude: 0.00 Longitude: 0.00

To find the coordinates of the "true location" (see questions 5-6-7 below) the proposed method was the following:

«[…] use Google Maps (http://maps.google.it), write the name of the inserted city, click with the right button and choose "What's here?", the two numbers which appear are the latitude and the longitude.»

Different methods has been proposed as well (with a reference to the page: http://en.wikipedia.org/wiki/Wikipedia:Obtaining_geographic_coordinates)

Questions

These questions were asked:

1. May you tell me the latitude where you are positioned using geoiplookup.wikimedia.org?
2. May you tell me the longitude where you are positioned using geoiplookup.wikimedia.org?
3. May you tell me the latitude where you are positioned using placepuppy.it/geo.html?
4. May you tell me the longitude where you are positioned using placepuppy.it/geo.html?
5. May you tell me where's the city where you are now (where the pc you are using is located?)
6. Will you be so kind to indicate the latitude of the city you write above here?
7. Will you be so kind to indicate the longitude of the city you write above here?
8. Evaluate the result you obtained using geoiplookup.wikimedia.org [Nation]
9. Evaluate the result you obtained using geoiplookup.wikimedia.org [Region]
10. Evaluate the result you obtained using geoiplookup.wikimedia.org [Province]
11. Evaluate the result you obtained using geoiplookup.wikimedia.org [Town]
12. Evaluate the result you obtained using placepuppy.it/geo.html [Nation]
13. Evaluate the result you obtained using placepuppy.it/geo.html [Region]
14. Evaluate the result you obtained using placepuppy.it/geo.html [Province]
15. Evaluate the result you obtained using placepuppy.it/geo.html [Town]
16. What browser are you using to surf the web?
17. May you tell me the version of your browser?
18. Does your browser support geolocation, as far as you can tell?

Then for each subsimision the following data were available:

• form sending timestamp;
• coordinates detected by geoiplookup.wikimedia.org and their evaluation
• coordinates detected by placepuppy.it/geo.html and their evaluation
• name and coordinates of the city where the person who submitted the form was.
• information about the browser (type, version, localization support)

Data collection

Unfortunately due to an error in choosing Google Doc form settings some data (22 records) were corrupted and resulted unusable, in fact both tools returned answers (coordinate pairs) following a USA locale and in particular using the dot (".") as radix point, while the form was set to use the IT locale and then numbers inserted with the dot have been interpreted as dates and converted. It was not possible, even after some attempts, to recover the original data so these records have been discarded.

So we had 96 record available. Figure 1 shows the progress of user submission where negative numbers indicates discarded data: [IMMAGINE SURVEY SUBMISSIONS]

The regional distribution of the submission is visualized by the following:

In particular for Lombardy (the region with most submission) the distribution in provinces is: [IMMAGINE SUBMISSIONS ITALIA]

8 submissions have been sent from foreign countries. [IMMAGINE SUBMISSIONS LOMBARDIA]

All data and their analysis are available as OSD (LibreOffice, OpenOffice) file for download here: http://wiki.wikimedia.it/wiki/File:Cristian,_geonotice_survey.ods

Furthermore, for people who have indicated only their "town" (real location) and not the coordinates these data have been completed using the method described above.

Data Analysis

Using data about the real location provided by the users the root mean square (rms) has been computed for each value of latitude and longitude revealed. Using the mean quadratic radius of Earth as a constant equal to 6373 km the various area indicated have been computed.

The mean of real position collected is the following:
lat = 44.61147757
long = 9.72832298
located near Bardi (PR)

Maximum and minimum values found where:
(B) lat_max = 52.355788, long_min = -8.617963
(A) long_max = 16.16666667, lat_min = 37.520619

Methodological annotation

With RMS values for latitude and longitude expresses in degrees, they have been combined in quadrature, the error due to this formula instead of using the correct one (since these are angles on an approximate sphere and not on a plane) is negligible.

Analysis of the geolocalization results obtained via geoiplookup.wikimedia.org

For geoiplookup.wikimedia.org results are: rms_lat = 5.0° rms_long = 2.29°

From the data we calculate that the position detected are on average in an area of radius 97 km from the real position. For comparison, here is a map which shows which cities would include an area with the same radius centered around Milan:

Evaluation of the localization by the users

In the following we report the results of the evaluation performed by the users about the quality of the localization. Please note that results should be read as “It has been correctly identified at leat the [town/province/region]” so values grow from left to right since every cell on the right contains the previous values, in the first row absolute values are presented, in the second percentages are calculated.

The tools identifies correctly at least the region in more than the 60 % of cases. The state is almost always correctly identified.

Analysis of the geolocalization results obtained via browser

For the geolocalization via browser it's important to note that in 10 cases out of the 96 examined (10.4 %) the localization procedure did not work, generating an error or the null result “0. 0.”.

This can be due to a number of factors including the type of browser and version or connection-related factor (in fact it has been demonstrated that, when using the same browser and PC connected from different location with different provider, in some cases the geolocalization information was not available).

The analysis has then been limited to the 86 cases which returned a result, obtaining: rms_lat = 0.43° rms_long = 0.66°

from this result we can calculate that the positions detected are on average in an area of radius 14 km from the real position. For comparison, here is a map which shows which cities would include an area with the same radius centered around Milan: [IMMAGINE]

Evaluation of the localization by the users

Due to a problem with the form used to collect data the labels of the different answers have been messed, then results had to be reconstruted from available data. What obtained seems compatible with the data of the previous section. The 10 cases in which the tool did not work have been classified as “Incorrect state”.

As it can be seen from the table, using localization via browser the ability to identify correctly the city is much higher (58 % versus 28 % by geoiplookup.wikimedia.org) and the correct region is identified in more that the 80 % of cases (83 % versus 22 % by geoiplookup.wikimedia.org), but the likelihood of failure limits the usefulness of the tool.

Browser informations

Since the sample was not prepared to be statistically significant, a predominance of Mozilla Firefox and Google Chrome browsers has been registered, Internet Explorer being significantly underrepresented. For the former two browsers a prevalence of versions 3.6.X (7) and 7.00.01 (40) for Firefox and 15.X (19) for Chrome is registered.

From these answer, however, it is possible to see than a vast part of users does not know that his browser, very likely, supports geolocalization.

Conclusions

We have analysed 96 cases of use of two different tools of geolocalization: IP-based geolocalization (using geoiplookup.wikimedia.org) and using web browsers, for users mostly located in northern Italy. IP-based localization has an acceptable precision, positioning a user in the correct region in the 62.5 % of cases, but the gap between the percentage of towns correctly placed and correct region identification is high (~ 34 %). Furthermore the system is realiable since the state is correctly identified in almost all the cases. Web-browser localization instead can correctly identify the user region 83 % of the times, furthermore the gap is narrower (25 %) between of the region and of the town where a precision of 58 % is reached. The tool didn't work in 10.4 % of the cases, though.

A combination of the two tools seems then the best solution since it is possible to recognize when browser geolocalization data aren't available; in this way it is possible to merge the reliability of the first method and the greater precision of the second.

Appendix A

Codice for http://placepuppy.it/geo.html

<!DOCTYPE html> 
<html> 
  <head> 
    <title>Geolocation Demo</title> 
  </head> 
  <body> 
    <h1>Geolocation Demo</h1> 
    code from: <a id="greenhughes" href=http://www.greenhughes.com/content/where-are-you-find-out-geolocation-javascript>greenhughes.com</a> 
    <p>Latitude: <span id="lat">0.00</span> Longitude: <span id="lon">0.00</span></p> 
    <p><a id="gmaps_link" href="http://maps.google.co.uk/" target="_blank">View on Google Maps</a></p> 

    <script language="javascript"> 
       // show the position on the page and make a google maps link 
       function showPosition(position) { 
         var lat = position.coords.latitude; 
         var lon = position.coords.longitude; 
         document.getElementById("lat").innerHTML = lat; 
         document.getElementById("lon").innerHTML = lon; 
         var gmaps_url = "http://maps.google.co.uk/maps?f=q&source=s_q&hl=en&geocode=&q=" + lat + "+" + lon; 
         document.getElementById("gmaps_link").href = gmaps_url; 
       } 
       // report errors to user 
       function errorHandler(error) { 
         switch (error.code) { 
          case error.PERMISSION_DENIED: 
            alert("Could not get position as permission was denied."); 
            break; 
          case error.POSITION_UNAVAILABLE: 
            alert("Could not get position as this information is not available at this time."); 
            break; 
           case error.TIMEOUT: 
             alert("Attempt to get position timed out."); 
            break; 
           default: 
            alert("Sorry, an error occurred. Code: " + error.code + " Message: " + error.message); 
            break; 
           } 
       } 
       // check browser can support geolocation, if so get the current position 
       if (navigator.geolocation) { 
         navigator.geolocation.getCurrentPosition(showPosition, errorHandler); 
       } 
       else { 
         alert("Sorry, your browser does not support geolocation services."); 
       } 
    </script> 
  </body> 
</html>