Fare scienza dei dati nel cloud con ScraperWiki

Annuncio pubblicitario

Se hai le briciole mentali, un talento per la programmazione e la narrazione e un occhio per il design, puoi fare di peggio che entrare nella scienza dei dati. È la nuova grande novità tecnologica; altamente trendy e altamente pagato, con i data scientist ricercati da alcune delle più grandi aziende del mondo.

ScraperWiki è una società che è stata a lungo associata al campo della scienza dei dati. Negli ultimi anni, questa startup con sede a Liverpool ha offerto una piattaforma per i programmatori per scrivere strumenti che ottengano dati, li puliscano e li analizzino nel cloud.

Con un aggiornamento recente e la domanda sempre crescente di data scientist nell'azienda, vale la pena dare un'occhiata a ScraperWiki.

Informativa completa: sono stata stagista presso ScraperWiki la scorsa estate.

Cosa fa ScraperWiki?

ScraperWiki si commercializza come un luogo per ottenere, pulire e analizzare i dati e offre ciascuno di questi vantaggi. Nella sua forma più semplice, ti consente - l'utente - un posto dove puoi scrivere codice che recupera i dati da una fonte, strumenti per convertire in un formato facile da analizzare e da archiviare per conservarlo per una visualizzazione successiva, che puoi anche gestire con ScraperWiki.

Viene inoltre fornito con una serie di strumenti predefiniti che automatizzano le attività ripetitive, tra cui ottenere dati da PDF, che sono notoriamente difficili da decodificare. Questo è in aggiunta a Ricerca su Twitter 5 trucchi di ricerca su Twitter per monitorare ciò che le persone dicono di teSe possiedi un sito web o stai solo cercando di guadagnare soldi online come libero professionista, è sempre bene sapere cosa dicono le persone su di te su Internet. Le persone potrebbero citare ... Leggi di più e utilità di raschiatura. Non hai bisogno di alcuna esperienza di sviluppo software per usarli.

Costo

Come accennato in precedenza, ScraperWiki abbraccia il modello di prezzi freemium e offre un servizio che ha più livelli. Coloro che hanno appena iniziato con la scienza dei dati o con esigenze limitate possono usufruire del servizio gratuito. Questo ti dà tre set di dati - dove archiviare dati e codice.

Coloro che hanno intenzione di scrivere più scraper o vogliono fare montagne di analisi dei dati possono sborsare un po 'di denaro per un account premium. Questi partono da $ 9 al mese e offrono 10 set di dati. Se ciò non è ancora sufficiente, puoi sempre passare al livello più alto che viene fornito con 100 set di dati e costa $ 29 al mese.

Coding

I programmatori sono spesso abbastanza particolari quando si tratta di come codificano. Alcuni preferiscono i linguaggi di scripting rispetto ai linguaggi compilati. Alcuni preferiscono l'esperienza ridotta di un editor di testo rispetto a quella di un ambiente di sviluppo integrato (IDE). ScraperWiki lo riconosce e offre all'utente un'enorme scelta quando si tratta di come si scrive il codice.

Se sei così propenso, puoi scrivere il tuo codice nel browser. Come ti aspetteresti da qualsiasi livello professionale, basato sul web- I primi 3 IDE basati su browser To Code In The Cloud Leggi di più strumento di sviluppo, include funzionalità che qualsiasi programmatore considererebbe essenziali, come l'evidenziazione della sintassi.

Sono disponibili diverse lingue. Questi includono Pitone I 5 migliori siti Web per imparare la programmazione PythonVuoi imparare la programmazione Python? Ecco i modi migliori per imparare Python online, molti dei quali sono completamente gratuiti. Leggi di più , un popolare linguaggio di scripting utilizzato da artisti del calibro di Google e della NASA; Rubino 3 modi interattivi, divertenti e gratuiti per iniziare ad imparare il linguaggio di programmazione RubyRuby è un linguaggio di scripting espressivo, di altissimo livello. È utilizzato sul Web principalmente come parte del framework di sviluppo Web Ruby on Rails, ma anche autonomo. Se sei curioso di sapere cosa Ruby (non ... Leggi di più , che alimenta una serie di siti Web popolari come Living Social; e il popolare linguaggio di analisi statistica, R.

Inoltre, puoi anche scrivere codice dalla riga di comando usando SSH, Git e qualunque editor di testo ti piaccia usare. Sì, avete letto bene. SSH Che cos'è SSH e in che cosa differisce dall'FTP [Spiegazione della tecnologia] Leggi di più . Ogni box che usi è il suo account Linux e puoi connetterti come faresti con un VPS o qualsiasi altro account shell. Sono disponibili numerosi editor di testo, tra cui Vim I 7 principali motivi per dare una chance all'editore di testi VimPer anni ho provato un editor di testo dopo l'altro. Lo chiami, l'ho provato. Ho usato ognuno di questi editori per oltre due mesi come il mio principale editore quotidiano. In qualche modo, io ... Leggi di più che può essere esteso con plugin e modificando la configurazione. Quelli intimiditi da Vim possono usare Nano, che è un editor di testo a riga di comando leggero.

Le librerie installate dovrebbero essere sufficienti per la scrittura di strumenti per il recupero e l'elaborazione dei dati. Se hai bisogno di qualcosa di un po 'più oscuro, puoi sempre creare un virtualenv dalla riga di comando. Come puoi vedere, c'è un'enorme flessibilità offerta agli sviluppatori.

Visualizzazione dati

Quindi, hai i tuoi dati. L'hai normalizzato. L'hai pulito. L'hai analizzato. Ora è il momento di fare un po 'di visualizzazione e mostrare al mondo ciò che hai imparato.

ScraperWiki consente agli sviluppatori di visualizzare i propri dati utilizzando pagine Web costruite con la trifecta familiare di HTML, CSS e JavaScript. Inoltre, i componenti Bootstrap sono supportati immediatamente.

Sono disponibili numerose visualizzazioni predefinite, tra cui quelle che tracciano i dati su una mappa e trovano tendenze all'interno dei risultati. Per usarli, è necessario assicurarsi che i dati siano archiviati come file SQLite con il nome file "scraperwiki.sqlite". Quindi aggiungi semplicemente la visualizzazione che ti interessa. Semplice vero?

Conclusione

ScraperWiki offre molto agli sviluppatori che desiderano eseguire alcune analisi dei dati senza che il loro ambiente di sviluppo si ostacoli, pur avendo la flessibilità di soddisfare anche gli utenti più esigenti. Ma tu cosa ne pensi Fammi sapere nei commenti qui sotto.
Diritti d'autore della foto: Rocket Science (Dan Brown)