Annuncio pubblicitario
"Computer! Mostrami tutte le condizioni meteorologiche attuali entro 300 miglia dalla mia posizione attuale "
"Sì capitano"
"Ora, mostrami i livelli di umidità per quei luoghi, tracciati da longitudine e latitudine su una mappa"
"Sì capitano"
Desideri trasformare il tuo account Google Drive in un clima intelligente sistema di analisi Diventa un esperto analista di dati durante la notte utilizzando gli strumenti di rapporto di Google SpreadsheetSapevi che uno dei più grandi strumenti di tutti per condurre l'analisi dei dati è in realtà Google Spreadsheet? Il motivo non è solo perché può fare quasi tutto ciò che potresti voler ... Leggi di più e vivere questa fantasia di Star Trek? Ok, potresti non essere in grado di trasformare i fogli di lavoro Google in un sistema di computer artificialmente intelligente che risponderà ai tuoi comandi vocali, ma in questo articolo Ti mostrerò come importare i dati meteorologici da Internet e avere la tua dashboard personalizzata con tutte le informazioni importanti per tu.
Il completamento di questa attività può sembrare complicato all'inizio se non si ha familiarità con l'utilizzo di ImportXML o Xpath per raschiatura di pagine Web Come creare un crawler Web di base per estrarre informazioni da un sito WebHai mai desiderato acquisire informazioni da un sito Web? Ecco come scrivere un crawler per navigare in un sito Web ed estrarre ciò di cui hai bisogno. Leggi di più , ma ti mostrerò alcuni trucchi molto semplici che puoi utilizzare per estrarre le informazioni meteorologiche che desideri specificamente dagli Stati Uniti Servizio meteorologico nazionale sito web. Se sei al di fuori degli Stati Uniti, le stesse tecniche dovrebbero funzionare per il tuo servizio meteorologico locale, lo farai ho solo bisogno di determinare la struttura di come sono disposti i dati meteorologici e modificare la query di conseguenza.
Questo è simile al report di fogli di calcolo automatizzati Come creare un rapporto di foglio di calcolo automatico di Google dai dati di Analytics Leggi di più L'ho descritto non molto tempo fa, ma in questo caso utilizza dati di cui è stato eseguito il scraping sul Web anziché i dati di Google Analytics. Quindi, se desideri personalizzare la tua dashboard meteo aggiornata automaticamente nel tuo account Google Drive, cominciamo!
Ricerca dei dati meteorologici di origine
In questo esercizio, rascherai i dati meteorologici dal sito Web del Servizio meteorologico nazionale cercando le classi CSS specifiche all'interno della pagina che identificano i dati desiderati. Per fortuna, questo sito ha organizzato i risultati meteorologici usando le classi quando cerchi le previsioni locali nella tua zona.
Il formato dell'HTML che ci interessa in questo caso è una "span class" o una "p class" che identifica i dati specifici. Ad esempio, mostrato sotto puoi vedere la classe "myforecast-current-lrg" identifica l'ultima temperatura registrata per la regione interrogata.
Quindi ogni volta che esegui una query sul sito, vedrai un URL che mostra la longitudine e la latitudine di quella posizione: conserva una copia di tale URL perché la userai per costruire la tua dashboard. Puoi visualizzare direttamente il codice sorgente HTML o utilizzare il tuo strumenti per sviluppatori di browser Capire i problemi del sito Web con Chrome Developer Tools o FirebugSe finora hai seguito i miei tutorial su jQuery, potresti avere già riscontrato alcuni problemi con il codice e non sapere come risolverli. Di fronte a un bit di codice non funzionale, è molto ... Leggi di più per trovare le lezioni che ti servono.
Impostazione dei dati della fonte meteorologica
Il modo in cui funziona è che creerai una scheda tecnica per ogni posizione per cui desideri raccogliere i dati. Digita le etichette per tali dati nella colonna di sinistra e nella colonna successiva dovrai digitare la formula ImportXML per estrarre tali dati dal sito Web.
Per la temperatura, ad esempio, funziona come segue:
= importxml (B12; “// p [@ class =’ myforecast-corrente-LRG’]”)
B12 contiene l'URL dopo aver eseguito la query sulla posizione. L'uso di "// p [@ class =" è come impostare la query Xpath per estrarre la "classe p" nella pagina con il nome specificato. Questa query restituisce la temperatura nella pagina.
L'estrazione di umidità, velocità del vento e il resto dei punti dati in realtà richiedevano l'estrazione di voci di elenco all'interno di un elenco UL con un nome di classe "dettagli condizioni attuali". La seguente istruzione ImportXML esegue ciò:
= importxml (B12; “// ul [@ = classe’ current-condizioni-dettaglio’] // li”)
Ancora una volta, "ul" identifica l'elemento base, quindi il nome della classe viene specificato tra parentesi come mostrato. Questo è seguito da "// li" che indica che si desidera estrarre tutti gli elementi dell'elenco all'interno di quella classe UL.
Questo compila il resto degli elementi di dati nel foglio di origine per quella posizione.
In questo caso dovresti anche includere l'URL, perché la latitudine e la longitudine sono incluse in URL e puoi utilizzarlo utilizzando le mappe di Google Spreadsheet per tracciare punti di dati su una mappa (mostrato sotto).
Ripeti la procedura sopra descritta per ogni località per cui desideri estrarre i dati meteorologici. Esegui la query per quella posizione sul sito Web, copia l'URL e crea un nuovo foglio per la posizione e popolalo con le istruzioni ImportXML necessarie per acquisire i dati necessari.
Creazione del foglio di calcolo del dashboard principale
Dopo aver creato tutti i fogli dati sulla posizione, sei pronto per creare il foglio di lavoro principale dei dati per la tua dashboard. Questo è fondamentalmente per disporre i dati in formato tabella in modo che sia più facile tracciare grafici come temperatura, umidità, velocità del vento, ecc.
Creare una riga di intestazione per tutti i dati, quindi semplicemente mappare ogni cella sulle posizioni del foglio dati di posizione che contengono tali dati.
Una volta terminato, tutti i dati che hai eliminato dal sito Web per ogni posizione verranno presentati in questa singola tabella per una facile revisione (e creazione di grafici).
In alcuni casi è necessaria una modifica, poiché i dati arrivano come stringhe comprese le unità. Ci sono alcuni trucchi per estrarre solo i valori dei dati. Il primo è quello di eliminare le unità finali usando una formula di foglio di calcolo come questa:
= metà (C2,1, trova (“F”, C2) -2)
Questo in pratica trova la posizione dell'unità, quindi estrae il valore effettivo fino all'avvio del testo dell'unità. Dopo aver estratto solo il numero, dovrai convertirlo in un valore effettivo nel foglio di calcolo in modo da poter eseguire calcoli o rappresentarlo. Fare questo è semplice con solo una funzione "valore", come mostrato qui.
Dopo aver creato tutti i tuoi valori nel foglio di lavoro della dashboard principale, hai finito di impostare i tuoi dati. Ora puoi passare alla creazione di grafici e indicatori che comporranno la tua dashboard meteorologica grafica.
Creare la dashboard del tempo
Questa è la parte semplice: basta tracciare la posizione insieme ai dati che si desidera visualizzare. Puoi fare cose come mostrare un grafico a barre di tutte le posizioni - nel mio caso posso vedere il punto più caldo dello stato a colpo d'occhio usando questo tipo di grafico.
È possibile creare misuratori di temperatura, umidità o velocità del vento, che sono sempre divertenti da visualizzare su una dashboard. È possibile estrarre i dati di longitudine e latitudine dall'URL usando lo stesso comando "medio" che ho descritto sopra, inserire quelle posizioni nel foglio di calcolo principale (con una virgola tra di loro), quindi usa quella colonna per tracciare i dati su a carta geografica.
Di seguito, ho tracciato le temperature in base alle coordinate GPS sul widget per la creazione di grafici delle mappe disponibile in Fogli di lavoro Google. I cerchi più grandi sulla mappa indicano posizioni con temperature più elevate.
Come probabilmente puoi immaginare, puoi mettere insieme alcuni cruscotti davvero belli che ti mostrano tutti i tipi di informazioni sul tempo nel tuo Stato, Paese o in qualsiasi regione da cui hai raccolto i tuoi dati. Puoi utilizzare alcuni dei tanti utili Funzioni di Google Spreadsheet Esegui incredibili talenti con queste utili funzioni di Google SpreadsheetMi vergogno di ammettere che solo di recente ho deciso di iniziare a sperimentare Google Spreadsheets, e quello che ho scoperto è che qualunque cosa seducesse o potere Excel avesse su di me a causa dell'incredibile cose... Leggi di più disponibili per sviluppare una dashboard davvero interessante.
Mentre questo articolo è incentrato sulla raccolta di dati dai siti Web meteorologici, è anche un esempio di come puoi utilizzare ImportXML per importare informazioni da qualunque sito web là fuori, e l'utilizzo di Xpath ti dà molta più flessibilità per importare informazioni molto specifiche da una pagina web che ImportFeed o ImportHTML non forniscono.
Riesci a pensare ad alcuni usi divertenti e creativi per ImportXML e Google Spreadsheets? Condividi alcune delle tue idee e forse possiamo provare a completare una delle idee del tuo progetto in un prossimo articolo!
Ryan ha una laurea in ingegneria elettrica. Ha lavorato 13 anni in ingegneria dell'automazione, 5 anni in IT e ora è un ingegnere di app. Ex amministratore delegato di MakeUseOf, ha parlato a conferenze nazionali sulla visualizzazione dei dati ed è stato presentato su TV e radio nazionali.