Κάνετε Οραματιστικές Έρευνες Ιστού χρησιμοποιώντας Δεδομένα Deep Web & Excel Web Queries

Διαφήμιση

Τι θα λέγατε αν σας είπα ότι έχετε στη διάθεσή σας τα εργαλεία για να κάνετε πρωτοποριακή έρευνα που καταστρέφει τη Γη; Λοιπόν, το κάνετε και θα σας δείξω πώς.

Κυβερνήσεις, ακαδημαϊκά ιδρύματα και μη κερδοσκοπικοί ερευνητικοί οργανισμοί δημοσιεύουν πίνακες γεμάτους δεδομένα στο δημόσιο τομέα. Χωρίς κανέναν να χρησιμοποιεί αυτές τις πληροφορίες, η πραγματική του αξία δεν θα είναι ποτέ γνωστή. Δυστυχώς, λίγοι άνθρωποι έχουν τη διορατικότητα, τις δεξιότητες ή τα εργαλεία για να πάρουν τα δεδομένα και να κάνουν ενδιαφέρουσες συσχετίσεις μεταξύ φαινομενικά μη συνδεδεμένων πληροφοριών.

Ιστορικό

Πολλές έρευνες που κάνω για το δικό μου ιστολόγιο περιλαμβάνουν το ψάξιμο σε αυτό που είναι γνωστό ως αόρατος ιστός Οι 12 καλύτερες μηχανές αναζήτησης για να εξερευνήσετε τον Αόρατο ΙστόΤο Google ή το Bing δεν μπορούν να αναζητήσουν τα πάντα. Για να εξερευνήσετε τον αόρατο ιστό, πρέπει να χρησιμοποιήσετε αυτές τις ειδικές μηχανές αναζήτησης. Διαβάστε περισσότερα , για να αποκαλύψετε δεδομένα που έχουν κυκλοφορήσει στο κοινό, αλλά κρυμμένα από

μηχανές αναζήτησης Οι 5 πιο προηγμένες μηχανές αναζήτησης στον Ιστό Διαβάστε περισσότερα μέσα σε μια ηλεκτρονική βάση δεδομένων. Αυτό είναι το deep web Η TorSearch στοχεύει να είναι το Google για το Deep WebΤο Tor είναι μια κρυφή υπηρεσία και μέρος του Deep Web. Το TorSearch είναι μια νέα ανώνυμη μηχανή αναζήτησης που ο ιδρυτής της Chris MacNaughton θέλει να κάνει το "Google of Tor". Διαβάστε περισσότερα και είναι γεμάτο πολύτιμα δεδομένα. Πολύ συχνά, συναντώ ιστοσελίδες που είναι γεμάτες με μερικά από τα πιο πολύτιμα δεδομένα σχετικά με θέματα που τρέχουν το φάσμα από απογραφή δεδομένων έως επιδημιολογικές μελέτες για σπάνιες ασθένειες. Έχω συνεχώς νέες ιδέες για το πώς να δοκιμάσω και να συσχετίσω αυτές τις διαφορετικές πηγές δεδομένων χρησιμοποιώντας διάφορες εργαλεία - και ένα από τα πιο πολύτιμα εργαλεία που βρήκα είναι το Web Query στο εσωτερικό της Microsoft Υπερτερώ.

Εύρεση ενδιαφέρων συσχετισμών δεδομένων

Αυτό που θα σας δείξω σήμερα είναι ένα παράδειγμα του τρόπου με τον οποίο μπορείτε να κάνετε χρήση των Ερωτήσεων Ιστού του Excel για να αντλήσετε δεδομένα διαφορετικούς ιστότοπους και χαρτογραφήστε τους μεταξύ τους για να αναζητήσετε πιθανές συσχετίσεις μεταξύ του δεδομένα.

Ο τρόπος για να ξεκινήσετε μια τέτοια άσκηση είναι να βρείτε μια ενδιαφέρουσα υπόθεση. Για παράδειγμα - για να διατηρήσω τα ενδιαφέροντα εδώ - πρόκειται να υποθέσω τυχαία ότι τα υψηλά ποσοστά αυτισμού στις Ηνωμένες Πολιτείες προκαλούνται είτε από εμβολιασμούς εμβολίων είτε από την αυξανόμενη παρουσία ηλεκτρομαγνητικών πεδίων εντός και γύρω από τα παιδιά, όπως τα κύτταρα τηλέφωνα. Είναι μια τρελή υπόθεση της οποίας θα βρείτε στους περισσότερους ιστότοπους θεωρητικών συνωμοσιών, αλλά αυτό είναι που διασκεδάζει. Ας ξεκινήσουμε λοιπόν;

Αρχικά, ανοίξτε το Excel, μεταβείτε στο στοιχείο μενού δεδομένων και βρείτε το εικονίδιο "Από τον Ιστό" στην κορδέλα μενού.

Αυτό θα χρησιμοποιήσετε για να εισαγάγετε τους διαφορετικούς πίνακες δεδομένων από τους πολλούς ιστότοπους εκεί έξω που τους έχουν δημοσιεύσει.

Εισαγωγή δεδομένων ιστού στο Excel

Επομένως, στις παλιές μέρες θα πρέπει να προσπαθήσετε να αντιγράψετε τα δεδομένα από αυτόν τον πίνακα σε μια ιστοσελίδα, να τα επικολλήσετε στο Excel και, στη συνέχεια, να αντιμετωπίσετε όλα τα τρελά ζητήματα μορφοποίησης που σχετίζονται με αυτό. Συνολική ταλαιπωρία και πολλές φορές δεν αξίζει τον πονοκέφαλο. Λοιπόν, με το Excel Web Queries, αυτές οι μέρες έχουν φύγει. Φυσικά, προτού μπορέσετε να εισαγάγετε τα δεδομένα, θα χρειαστεί να μεταβείτε στο Google στον Ιστό για να βρείτε τα δεδομένα που χρειάζεστε σε μορφή πίνακα. Στην περίπτωσή μου, βρήκα έναν ιστότοπο που είχε δημοσιεύσει στατιστικά στοιχεία του Υπουργείου Παιδείας για τον αριθμό των μαθητών δημοσίου σχολείου των ΗΠΑ που αναγνωρίστηκαν ότι είχαν αυτισμό. Ένα ωραίο τραπέζι παρείχε αριθμούς από το 1994 μέχρι το 2006.

Απλώς κάντε κλικ στο "From Web", επικολλήστε τη διεύθυνση URL της ιστοσελίδας στο πεδίο διεύθυνσης ερωτήματος και, στη συνέχεια, μετακινηθείτε προς τα κάτω στη σελίδα μέχρι να δείτε το κίτρινο βέλος δίπλα στον πίνακα με τα δεδομένα που θέλετε να εισαγάγετε.

Κάντε κλικ στο βέλος για να γίνει ένα πράσινο σημάδι επιλογής.

Τέλος, πείτε στο Excel σε ποιο πεδίο θέλετε να επικολλήσετε τα δεδομένα πίνακα στο εσωτερικό του νέου υπολογιστικού φύλλου.

Τότε - Βόιλα! Τα δεδομένα ρέουν αυτόματα στο υπολογιστικό φύλλο σας.

Έτσι, με την τάση των ποσοστών αυτισμού του δημόσιου σχολείου από το 1996 έως το 2006, ήρθε η ώρα να αναζητήσετε τάσεις εμβολιασμού και χρήσης κινητών τηλεφώνων.

Ευτυχώς, βρήκα γρήγορα τάσεις για συνδρομητές κινητών τηλεφώνων στις ΗΠΑ από το 1985 έως το 2012. Εξαιρετικά δεδομένα για τη συγκεκριμένη μελέτη. Και πάλι, χρησιμοποίησα το εργαλείο ερωτήματος Ιστού του Excel για να εισαγάγω αυτόν τον πίνακα.

Εισήγαγα αυτόν τον πίνακα σε ένα καθαρό, νέο φύλλο. Στη συνέχεια, ανακάλυψα τις τάσεις εμβολιασμού για το ποσοστό των μαθητών που εμβολιάστηκαν για διάφορες ασθένειες. Εισήγαγα αυτόν τον πίνακα χρησιμοποιώντας το εργαλείο ερωτήματος Web σε ένα τρίτο φύλλο. Έτσι, τελικά, είχα τρία φύλλα με τους τρεις πίνακες γεμάτους με τα φαινομενικά μη συνδεδεμένα δεδομένα που είχα ανακαλύψει στον Ιστό.

Το επόμενο βήμα, είναι να χρησιμοποιήσετε το Excel για να αναλύσετε τα δεδομένα και να προσπαθήσετε να εντοπίσετε τυχόν συσχετίσεις. Εκεί μπαίνει ένα από τα αγαπημένα μου εργαλεία ανάλυσης δεδομένων - ο Συγκεντρωτικός Πίνακας.

Ανάλυση δεδομένων στο Excel με τον συγκεντρωτικό πίνακα

Είναι καλύτερο να δημιουργήσετε τον Συγκεντρωτικό σας Πίνακα σε ένα ολοκαίνουργιο, κενό φύλλο. Θέλετε να χρησιμοποιήσετε τον οδηγό για αυτό που πρόκειται να κάνετε. Για να ενεργοποιήσετε τον οδηγό Συγκεντρωτικού Πίνακα στο Excel, πρέπει να πατήσετε Alt-D ταυτόχρονα μέχρι να εμφανιστεί ένα παράθυρο ειδοποίησης. Στη συνέχεια, αφήστε αυτά τα κουμπιά και πατήστε το πλήκτρο "P". Στη συνέχεια, θα εμφανιστεί ο οδηγός.

Στο πρώτο παράθυρο του οδηγού, θέλετε να επιλέξετε "Πολλαπλές περιοχές ενοποίησης", η οποία σας επιτρέπει να επιλέξετε τα δεδομένα από όλα τα φύλλα που έχετε εισαγάγει. Με αυτόν τον τρόπο, μπορείτε να ενοποιήσετε όλα αυτά τα φαινομενικά άσχετα δεδομένα σε ένα, ισχυρό περιστρεφόμενο. Σε ορισμένες περιπτώσεις, ίσως χρειαστεί να κάνετε μασάζ σε ορισμένα από τα δεδομένα. Για παράδειγμα, έπρεπε να διορθώσω το πεδίο «Έτος» στον πίνακα αυτισμού έτσι ώστε να δείχνει «1994» αντί "1994-95" - καθιστώντας το ευθυγραμμισμένο καλύτερα με τους πίνακες στα άλλα φύλλα, τα οποία είχαν επίσης την πρώτη χρονιά πεδίο.

Αυτό το κοινό πεδίο μεταξύ δεδομένων είναι αυτό που χρειάζεστε για να δοκιμάσετε και να συσχετίσετε πληροφορίες, γι 'αυτό λάβετε υπόψη σας όταν ψάχνετε τον Ιστό για τα δεδομένα σας.

Μόλις ολοκληρωθεί ο Συγκεντρωτικός Πίνακας και έχετε εμφανίσει όλες τις διαφορετικές τιμές δεδομένων σε έναν πίνακα, ήρθε η ώρα να κάνετε μια οπτική ανάλυση για να δείτε αν υπάρχει προφανής σύνδεση που σας ξεπροβάλλει.

Η οπτικοποίηση των δεδομένων είναι βασική

Το να έχετε ένα σωρό αριθμούς σε έναν πίνακα είναι υπέροχο αν είστε οικονομολόγος, αλλά ο γρηγορότερος και ευκολότερος τρόπος να το έχετε ότι "αα!" Η στιγμή που προσπαθείτε να βρείτε συνδέσεις όπως βελόνα σε άχυρα, είναι μέσω γραφημάτων και γραφικές παραστάσεις. Μόλις τοποθετήσετε το PivotChart σας με όλα τα σύνολα δεδομένων που έχετε συλλέξει, είναι καιρός να δημιουργήσετε το γράφημα σας. Συνήθως ένα γράφημα γραμμής θα έχει το καλύτερο, αλλά εξαρτάται από τα δεδομένα. Υπάρχουν στιγμές που το γράφημα ράβδων λειτουργεί πολύ καλύτερα. Προσπαθήστε να καταλάβετε τι είδους δεδομένα βλέπετε και ποιες συγκρίσεις μορφής λειτουργούν καλύτερα.

Σε αυτήν την περίπτωση, κοιτάζω δεδομένα με την πάροδο του χρόνου, οπότε ένα γράφημα γραμμής είναι πραγματικά ο καλύτερος τρόπος για να δείτε τις τάσεις με την πάροδο των ετών. Γράφοντας ποσοστά αυτισμού (πράσινο) έναντι ποσοστών εμβολιασμού (σκούρο μπλε), εμβόλια ευλογιάς (ανοιχτό μπλε) και χρήση κινητού τηλεφώνου (μοβ), εμφανίστηκε ξαφνικά μια περίεργη συσχέτιση σε αυτό το σύνολο δειγμάτων δεδομένων που έπαιζα με.

Παραδόξως, η τάση στη χρήση κινητών τηλεφώνων από το 1994 έως το 2006 σχεδόν ταιριάζει με την άνοδο των ποσοστών αυτισμού κατά την ίδια χρονική περίοδο. Ενώ το μοτίβο ήταν εντελώς απροσδόκητο, είναι ένα τέλειο παράδειγμα για το πώς η σύνδεση ενδιαφέρων δεδομένων μπορεί να αποκαλύψει συναρπαστικούς δυνητικούς πελάτες - παρέχοντας σας μεγαλύτερη εικόνα και κίνητρα για να συνεχίσετε να προωθείτε και να αναζητάτε περισσότερα δεδομένα που μπορεί να ενισχύσουν περαιτέρω τα δεδομένα σας υπόθεση.

Μια συσχέτιση όπως αυτή παραπάνω δεν αποδεικνύει τίποτα. Υπάρχουν πολλές τάσεις που αυξάνονται με την πάροδο του χρόνου - το μοτίβο θα μπορούσε να είναι σύμπτωση, αλλά θα μπορούσε επίσης να είναι μια σημαντική ένδειξη στη συνεχιζόμενη αναζήτηση για περισσότερα δεδομένα στο Διαδίκτυο. Ευτυχώς, έχετε ένα ισχυρό εργαλείο που ονομάζεται Excel Web Queries που θα κάνει αυτήν την αναζήτηση λίγο πιο εύκολη.

Δικαιώματα φωτογραφίας: Κέβιν Ντάλεϊ μέσω φωτοτίνηcc