Esegui studi di ricerca Web visionari utilizzando dati Web profondi e query Web di Excel

Annuncio pubblicitario

Cosa diresti se ti dicessi che hai gli strumenti a tua disposizione per fare ricerche rivoluzionarie e sconvolgenti sulla Terra? Bene, lo fai e ti mostrerò come.

Governi, istituzioni accademiche e organizzazioni di ricerca senza scopo di lucro pubblicano le tabelle piene di dati di dominio pubblico. Senza che nessuno usi queste informazioni, il suo vero valore non sarà mai noto. Sfortunatamente, poche persone hanno la visione, le capacità o gli strumenti per acquisire i dati e creare interessanti correlazioni tra informazioni apparentemente non connesse.

sfondo

Molte delle ricerche che faccio per il mio blog riguardano lo scavare in quello che è noto come web invisibile I 12 migliori motori di ricerca per esplorare il Web invisibileGoogle o Bing non possono cercare tutto. Per esplorare il Web invisibile, è necessario utilizzare questi motori di ricerca speciali. Leggi di più , per scoprire i dati che sono stati rilasciati al pubblico, ma nascosti da motori di ricerca I 5 motori di ricerca più avanzati sul Web Leggi di più

all'interno di un database online. Questo è il Deep Web TorSearch mira ad essere il Google per il Deep WebTor è un servizio nascosto e parte del Deep Web. TorSearch è un nuovo motore di ricerca anonimo che il suo fondatore, Chris MacNaughton, vuole creare il "Google di Tor". Leggi di più , ed è pieno di dati preziosi. Molto spesso mi imbatto in pagine Web piene zeppe di alcuni dei dati più preziosi su argomenti che spaziano dai dati del censimento agli studi epidemiologici sulle malattie rare. Ho costantemente nuove idee su come provare a correlare quelle diverse fonti di dati usando varie strumenti - e uno degli strumenti più preziosi che ho trovato è la query Web all'interno di Microsoft Eccellere.

Trovare correlazioni di dati interessanti

Quello che ti mostrerò oggi è un esempio di come puoi utilizzare le query Web di Excel per estrarre i dati siti Web diversi e tracciali uno di fronte all'altro al fine di cercare potenziali correlazioni tra dati.

Il modo per iniziare un esercizio come questo è di elaborare un'ipotesi interessante. Ad esempio - per mantenere le cose interessanti qui - ho intenzione di postulare in modo casuale i tassi di autismo alle stelle negli Stati Uniti sono causati da inoculazioni di vaccino o dalla crescente presenza di campi elettromagnetici dentro e intorno ai bambini, come le cellule cellulari. È un'ipotesi folle di quelle che troverai sulla maggior parte dei siti web della teoria della cospirazione, ma questo è ciò che rende divertente. Quindi iniziamo, vero?

Innanzitutto, apri Excel, vai alla voce di menu dati e trova l'icona "Dal Web" nella barra dei menu.

Questo è ciò che utilizzerai per importare le diverse tabelle di dati dai numerosi siti Web che li hanno pubblicati.

Importazione di dati Web in Excel

Quindi, ai vecchi tempi dovresti provare a copiare i dati da quella tabella su una pagina web, incollarli in Excel e quindi affrontare tutti i pazzi problemi di formattazione coinvolti nel farlo. La seccatura totale e molte volte non vale la pena mal di testa. Bene, con Excel Web Query, quei giorni sono passati. Ovviamente, prima di poter importare i dati, devi cercare su Google per il Web per trovare i dati di cui hai bisogno in formato tabella. Nel mio caso, ho trovato un sito Web che aveva pubblicato le statistiche del Dipartimento della Pubblica Istruzione per il numero di studenti delle scuole pubbliche statunitensi identificati come autistici. Un bel tavolo ha fornito numeri dal 1994 fino al 2006.

Quindi fai semplicemente clic su "Dal Web", incolla l'URL della pagina web nel campo dell'indirizzo della query, quindi scorri verso il basso la pagina fino a visualizzare la freccia gialla accanto alla tabella con i dati che desideri importare.

Fai clic sulla freccia in modo che diventi un segno di spunta verde.

Infine, indica a Excel in quale campo vuoi incollare i dati della tabella all'interno del tuo nuovo foglio di calcolo.

Quindi - Voila! I dati fluiscono automaticamente direttamente nel tuo foglio di calcolo.

Quindi, con una tendenza dei tassi di autismo nelle scuole pubbliche dal 1996 al 2006, è tempo di uscire alla ricerca anche delle tendenze di vaccinazione e dell'uso dei telefoni cellulari.

Fortunatamente, ho trovato rapidamente tendenze per gli abbonati ai telefoni cellulari negli Stati Uniti dal 1985 al 2012. Dati eccellenti per questo studio particolare. Ancora una volta, ho usato lo strumento Query Web di Excel per importare quella tabella.

Ho importato quella tabella in un nuovo foglio pulito. Quindi, ho scoperto le tendenze di vaccinazione per la percentuale di scolari vaccinati per diverse malattie. Ho importato quella tabella utilizzando lo strumento query Web in un terzo foglio. Quindi, alla fine, avevo tre fogli con le tre tabelle piene dei dati apparentemente non collegati che avevo scoperto sul Web.

Il passaggio successivo consiste nell'utilizzare Excel per analizzare i dati e provare a identificare eventuali correlazioni. È qui che entra in gioco uno dei miei strumenti preferiti di analisi dei dati: la tabella pivot.

Analisi dei dati in Excel con la tabella pivot

È meglio creare la tua tabella pivot in un foglio vuoto nuovo di zecca. Vuoi usare la procedura guidata per quello che stai per fare. Per abilitare la procedura guidata Tabella pivot in Excel, è necessario premere Alt-D contemporaneamente fino a quando viene visualizzata una finestra di notifica. Quindi rilasciare quei pulsanti e premere il tasto "P". Quindi, vedrai apparire la procedura guidata.

Nella prima finestra della procedura guidata, si desidera selezionare "Intervalli di consolidamento multipli", che consente di selezionare i dati da tutti i fogli importati. In questo modo, puoi consolidare tutti quei dati apparentemente non correlati in un unico, potente pivottable. In alcuni casi, potrebbe essere necessario massaggiare alcuni dei dati. Ad esempio, ho dovuto correggere il campo "Anno" nella tabella dell'autismo in modo che mostrasse "1994" anziché "1994-95" - facendolo allineare meglio con le tabelle sugli altri fogli, che ha avuto anche l'anno primario campo.

Quel campo comune tra i dati è ciò di cui hai bisogno per provare a correlare le informazioni, quindi tienilo a mente quando stai cercando i tuoi dati sul Web.

Una volta che la tabella pivot è terminata e hai tutti i diversi valori di dati visualizzati in una tabella, è tempo di fare un'analisi visiva per vedere se c'è qualche connessione ovvia che salta fuori da te.

La visualizzazione dei dati è la chiave

Avere un sacco di numeri in una tabella è fantastico se sei un economista, ma il modo più semplice e veloce per avere che "aha!" momento in cui stai cercando di trovare connessioni come un ago in un pagliaio, è tramite grafici e grafici. Dopo aver impostato il tuo grafico pivot con tutti i set di dati che hai raccolto, è tempo di creare il tuo grafico. Di solito un grafico a linee farà meglio, ma dipende dai dati. Ci sono momenti in cui un grafico a barre funziona molto meglio. Cerca di capire quale tipo di dati stai guardando e quali forme di confronto funzionano meglio.

In questo caso, sto osservando i dati nel tempo, quindi un grafico a linee è davvero il modo migliore per vedere le tendenze nel corso degli anni. Grafici dei tassi di autismo (verde) rispetto ai tassi di vaccinazione ridotti (blu scuro), vaccini contro la varicella (blu chiaro) e l'uso del cellulare (viola), una strana correlazione apparve all'improvviso in questo campione di dati che stavo riproducendo con.

Stranamente, la tendenza nell'uso dei telefoni cellulari dal 1994 al 2006 ha quasi perfettamente adattato la crescita dei tassi di autismo nello stesso periodo di tempo. Mentre lo schema era completamente inaspettato, è un perfetto esempio di come legare insieme dati interessanti può rivelare lead affascinanti: fornendoti maggiori spunti e motivazioni per continuare a spingere in avanti e cercare altri dati che possano rafforzare ulteriormente il tuo ipotesi.

Una correlazione come quella sopra non dimostra nulla. Ci sono molte tendenze che sorgono nel tempo - il modello potrebbe essere una coincidenza, ma potrebbe anche essere un indizio importante nella tua continua ricerca di ulteriori dati su Internet. Per fortuna, hai un potente strumento chiamato Excel Web Query che renderà la ricerca un po 'più semplice.

Diritti d'autore della foto: Kevin Dooley attraverso photopincc