Να κάνετε την επιστήμη δεδομένων στο σύννεφο με το ScraperWiki

Διαφήμιση

Εάν έχετε τις διανοητικές μπριζόλες, μια αίσθηση για τον προγραμματισμό και την αφήγηση, και ένα μάτι για το σχεδιασμό, μπορείτε να κάνετε χειρότερα από ό, τι πάρει στην επιστήμη των δεδομένων. Είναι το νέο μεγάλο πράγμα στην τεχνολογία. ιδιαίτερα μοντέρνα και υψηλής αμοιβής, με τους επιστήμονες δεδομένων να αναζητούνται από μερικές από τις μεγαλύτερες εταιρείες στον κόσμο.

ScraperWiki είναι μια εταιρεία που έχει συνδεθεί εδώ και καιρό με τον τομέα της επιστήμης των δεδομένων. Για τα τελευταία χρόνια, αυτή η εκκίνηση με βάση το Λίβερπουλ προσφέρει μια πλατφόρμα για προγραμματιστές που γράφουν εργαλεία που λαμβάνουν δεδομένα, καθαρίζουν και αναλύουν το σύννεφο.

Με μια πρόσφατη ανανέωση και την συνεχώς αυξανόμενη ζήτηση για επιστήμονες δεδομένων στην επιχείρηση, αξίζει να ρίξουμε μια καλή ματιά στο ScraperWiki.

Πλήρης αποκάλυψη: Ήμουν intern στο ScraperWiki το περασμένο καλοκαίρι.

Τι κάνει το ScraperWiki;

Το ScraperWiki διακινείται ως χώρος για να πάρει, να καθαρίσει και να αναλύσει τα δεδομένα, και παρέχει σε κάθε μία από αυτές τις μετρήσεις. Στην απλούστερη μορφή του, σας επιτρέπει - τον χρήστη - ένα μέρος όπου μπορείτε να γράψετε κώδικα που ανακτά δεδομένα από μια πηγή, εργαλεία για τη μετατροπή σε μια μορφή που είναι εύκολο να αναλυθεί και αποθήκευση για να την διατηρήσετε για αργότερη οπτικοποίηση - την οποία μπορείτε επίσης να χειριστείτε με το ScraperWiki.

Έρχεται επίσης με μια σειρά από προ-κατασκευασμένα εργαλεία που αυτοματοποιούν επαναλαμβανόμενες εργασίες, συμπεριλαμβανομένων λήψη δεδομένων από αρχεία PDF, τα οποία είναι γνωστά δύσκολα να αποκωδικοποιηθούν. Αυτό είναι επιπλέον Αναζήτηση στο Twitter 5 Cool Twitter κόλπα αναζήτησης για να παρακολουθείτε τι λένε οι άνθρωποι για σαςΕάν είστε κάτοχος ιστότοπου ή απλώς προσπαθείτε να κερδίσετε χρήματα online ως ελεύθερος επαγγελματίας, είναι πάντα καλό να γνωρίζετε τι λένε οι άνθρωποι για εσάς μέσω του Διαδικτύου. Οι άνθρωποι μπορεί να επικαλεστούν ... Διαβάστε περισσότερα και απομάκρυνση βοηθητικών προγραμμάτων. Δεν χρειάζεστε εμπειρία ανάπτυξης λογισμικού για να τις χρησιμοποιήσετε.

Κόστος

Όπως αναφέρθηκε προηγουμένως, το ScraperWiki αγκαλιάζει το μοντέλο τιμολόγησης του freemium και προσφέρει μια υπηρεσία που έχει πολλαπλά επίπεδα. Εκείνοι που μόλις αρχίζουν με την επιστήμη των δεδομένων ή με περιορισμένες ανάγκες μπορούν να κάνουν χρήση της δωρεάν υπηρεσίας. Αυτό σας δίνει τρία σύνολα δεδομένων - όπου αποθηκεύετε τα δεδομένα και τον κωδικό σας.

Εκείνοι που σχεδιάζουν να γράψουν πολλαπλές ξύστρες ή που θέλουν να κάνουν βουνά της ανάλυσης δεδομένων μπορούν να περάσουν κάποια μετρητά για ένα premium λογαριασμό. Αυτά ξεκινούν από $ 9 ανά μήνα και προσφέρουν 10 σύνολα δεδομένων. Αν αυτό δεν είναι αρκετό, μπορείτε πάντα να αναβαθμίσετε την υψηλότερη βαθμίδα, η οποία έρχεται με 100 σύνολα δεδομένων και κοστίζει 29 δολάρια το μήνα.

Κωδικοποίηση

Οι προγραμματιστές είναι συχνά πολύ συγκεκριμένοι όταν πρόκειται για τον τρόπο με τον οποίο κωδικοποιούν. Ορισμένοι προτιμούν γλώσσες δέσμης ενεργειών σε γλώσσες που έχουν συνταχθεί. Κάποιοι προτιμούν την εμπειρία του διαχειριστή κειμένου σε σχέση με ένα ολοκληρωμένο περιβάλλον ανάπτυξης (IDE). Το ScraperWiki αναγνωρίζει αυτό και δίνει στον χρήστη μια τεράστια επιλογή όταν πρόκειται για το πώς γράφετε τον κωδικό σας.

Αν είστε τόσο διασκεδασμένοι, μπορείτε να γράψετε τον κωδικό σας στο πρόγραμμα περιήγησης. Όπως θα περιμένατε από οποιοδήποτε επαγγελματικό επίπεδο, web-based Τα IDE Top 3 που βασίζονται στο πρόγραμμα περιήγησης για να κωδικοποιήσουν το σύννεφο Διαβάστε περισσότερα εργαλείο ανάπτυξης, αυτό έρχεται με χαρακτηριστικά που κάθε προγραμματιστής θα θεωρούσε απαραίτητη, όπως η επισήμανση σύνταξης.

Υπάρχουν πολλές γλώσσες που προσφέρονται. Αυτά περιλαμβάνουν Πύθων Οι 5 καλύτερες ιστοσελίδες για να μάθετε τον προγραμματισμό της PythonΘέλετε να μάθετε τον προγραμματισμό της Python; Εδώ είναι οι καλύτεροι τρόποι για να μάθετε online το Python, πολλά από τα οποία είναι εντελώς δωρεάν. Διαβάστε περισσότερα , μια δημοφιλής γλώσσα scripting που χρησιμοποιείται από τους συμπαθείς της Google και της NASA. Ρουμπίνι 3 Διαδραστική, διασκέδαση, δωρεάν τρόποι για να αρχίσετε να μαθαίνετε τη γλώσσα προγραμματισμού RubyΤο Ruby είναι μια εκφραστική, πολύ υψηλού επιπέδου, γλώσσα scripting. Χρησιμοποιείται στο Web κυρίως ως μέρος του πλαισίου ανάπτυξης ιστοσελίδων Ruby on Rails, αλλά και αυτόνομο. Αν είστε περίεργοι για το τι Ruby (όχι ... Διαβάστε περισσότερα , η οποία εξουσιώνει μια σειρά από δημοφιλείς ιστότοπους όπως το Living Social. και η δημοφιλής γλώσσα στατιστικής ανάλυσης, R.

Επιπλέον, μπορείτε επίσης να γράψετε κώδικα από τη γραμμή εντολών χρησιμοποιώντας SSH, Git και οποιοδήποτε πρόγραμμα επεξεργασίας κειμένου που σας αρέσει να χρησιμοποιείτε. Ναι, το διάβασες σωστά. SSH Τι είναι το SSH και πώς είναι διαφορετικό από το FTP [Τεχνολογία που εξηγείται] Διαβάστε περισσότερα . Κάθε κιβώτιο που χρησιμοποιείτε είναι ο δικός του λογαριασμός Linux και είστε σε θέση να συνδεθείτε με αυτόν όπως θα κάνατε με ένα VPS ή οποιοδήποτε άλλο λογαριασμό shell. Υπάρχουν διαθέσιμοι ορισμένοι συντάκτες κειμένων, συμπεριλαμβανομένων των Ζωτικότητα Οι Top 7 Λόγοι για να δώσετε στον Vim Text Editor μια ευκαιρίαΓια χρόνια, έχω δοκιμάσει ένα πρόγραμμα επεξεργασίας κειμένου μετά το άλλο. Το ονομάζεις, το δοκίμασα. Χρησιμοποίησα τον καθένα από αυτούς τους εκδότες για πάνω από δύο μήνες ως ο κύριος συντάκτης της ημέρας. Κάπως, εγώ ... Διαβάστε περισσότερα το οποίο μπορεί να επεκταθεί με plugins και με επεξεργασία της διαμόρφωσης. Εκείνοι που εκφοβίζονται από το Vim μπορούν να χρησιμοποιήσουν το Nano, το οποίο είναι ένας ελαφρύς επεξεργαστής κειμένου γραμμής εντολών.

Οι εγκατεστημένες βιβλιοθήκες θα πρέπει να επαρκούν για τη σύνταξη εργαλείων για την ανάκτηση δεδομένων και την επεξεργασία τους. Αν χρειάζεστε κάτι πιο σκοτεινό, μπορείτε πάντα να δημιουργήσετε ένα virtualenv από τη γραμμή εντολών. Όπως μπορείτε να δείτε, υπάρχει ένα τεράστιο ποσό ευελιξίας που παρέχεται στους προγραμματιστές.

Οπτικοποίηση δεδομένων

¶Έτσι, έχετε τα δεδομένα σας. Έχεις κανονικοποιήσει. Το καθαρίσατε. Το έχετε αναλύσει. Τώρα είναι καιρός να κάνετε κάποια απεικόνιση και να δείξετε στον κόσμο αυτό που έχετε μάθει.

Το ScraperWiki επιτρέπει στους προγραμματιστές να προβάλλουν τα δεδομένα τους χρησιμοποιώντας ιστοσελίδες που έχουν κατασκευαστεί από όλα τα γνωστά trifecta των HTML, CSS και JavaScript. Επιπλέον, τα στοιχεία Bootstrap υποστηρίζονται από το κουτί.

Υπάρχουν διάφορες προ-πραγματοποιημένες απεικονίσεις διαθέσιμες, συμπεριλαμβανομένων αυτών που σχεδιάζουν τα δεδομένα σας σε χάρτη και βρίσκουν τάσεις στα ευρήματά σας. Για να τα χρησιμοποιήσετε, πρέπει να βεβαιωθείτε ότι τα δεδομένα σας αποθηκεύονται ως αρχείο SQLite με το όνομα αρχείου 'scraperwiki.sqlite'. Στη συνέχεια, απλά προσθέστε την οπτικοποίηση που σας ενδιαφέρει. Απλά, έτσι;

συμπέρασμα

ScraperWiki προσφέρει πολλά για προγραμματιστές που θέλουν να κάνουν κάποια ανάλυση δεδομένων χωρίς να αναπτύξουν το περιβάλλον ανάπτυξης τους, ενώ παράλληλα έχουν την ευελιξία να ικανοποιήσουν και τους πιο απαιτητικούς χρήστες. Αλλά τι νομίζεις; Ενημερώστε με τα σχόλια παρακάτω.
Δικαιώματα φωτογραφίας: Rocket Science (Dan Brown)