data analysis and visualization ideas

[epidrome]

@vpant @diogenisAl
συζήτηση για την ανάλυση και οπτικοποίηση δεδομένων

[epidrome]

σε απάντηση του πρόσφατου ερωτήματος στο #4 άνοιξα αυτό το θέμα καθώς και #9 γιατί νομίζω πως τόσο η αρχική ιδέα με την απλή καταμέτρηση πλήθους λέξεων για σπίτια στο τουίτερ, αλλά και η νέα ιδέα του @diogenisAl παραμένουν προβληματικές (=ατεκμηρίωτες)

τουλάχιστον η αρχική ιδέα για τα σπίτια στον πραγματικό κόσμο που ήταν δικιά μου δεν είχε ποτέ σοβαρό σκοπό ήταν απλά ένα παιχνίδι για να δούμε το εφικτό

τώρα που είμαστε σε πτυχιακή θέλουμε κάτι πιο σοβαρό και επειδή για την ώρα δεν έχω κάτι ολοκληρωμένο να προτείνω η καλύτερη ιδέα είναι να δώσουμε έμφαση στην δημιουργία μιας κονσόλας ελέγχου που θα διευκολύνει την διασύνδεση του κόσμου του minecraft με εξωτερικές πηγές δεδομένων.

[epidrome]

μια ιδέα που είχα πρόσφατα για την ανάλυση και οπτικοποίηση των δεδομένων

ας αφήσουμε το τουιτερ με τις ασαφείς οπτικοποιήσεις συναισθημάτων-κτηρίων και ας κάνουμε κάτι πιο καθαρό που δεν θέλει δικαιολόγηση

σε ποιο βαθμό μπορούμε να περάσουμε στοιχεία από τον πραγματικό κόσμο γεωλογικό-κτιστό κόσμο αυτόματα στο minecraft?

παραθέτω τεκμηρίωση και θα ήθελα οι τοποθετήσεις-απαντήσεις-σχόλια σας να συνοδεύονται από την αντίστοιχη τεκμηρίωση, έτσι ώστε να καταλήξουμε κάπου συντεταγμένα

https://www.ordnancesurvey.co.uk/innovate/developers/minecraft-map-britain.html
https://arstechnica.com/gaming/2014/04/danish-government-releases-geographic-data-by-way-of-11-minecraft-map/
https://www.minecraftforum.net/forums/archive/tutorials/930401-mapping-using-real-world-terrain-data

για παράδειγμα θα μπορούσε να γίνει κάτι τέτοιο για την παλιά πόλη της κέρκυρας, ή αν είμαστε φιλόδοξοι για την αθήνα.

[diogenisAl]

@epidrome Αυτή μου φαίνεται πολύ καλή ιδέα. Ο @vpant τι γνώμη έχει;

[vpant]

Καλησπέρα,

διάβασα τα άρθρα που επισυνάψετε κύριε @epidrome και κοίταξα το θέμα γιατί μου φάνηκε καλή ιδέα, όμως δεν είναι εφικτή. Δεν κατάφερα να βρω κάποιο API που να παρέχει αρκετές πληροφορίες. Υπάρχουν κάποια για να κάνεις export το elevetion, από έναν χάρτη να βγάλεις τα ύψη από διάφορα σημεία (πρακτικά για να δημιουργήσεις τα βουνά, πεδιάδες κ.τ.λ.), αλλά για κτήρια όχι.

Τα περισσότερα επιχειρήματα περί αυτού του θέματος δεν έχουν γίνει προγραμματιστικά, οπότε είναι δύσκολο να βρω περαιτέρω πληροφορίες που ίσως να με βοηθούσαν για την ανάπτυξη ενός τέτοιου συστήματος.

Συνεχίζοντας, δυσκολεύομαι να καταλάβω την άποψη σας για την τεκμηρίωση. Όπως το σκέφτομαι εγώ η τεκμηρίωση θα ήταν η αναφορά για τον λόγο επιλογής των δεδομένων και εάν εξυπηρετούν κάποιο άλλο σκοπό, πέρα από το λειτουργικό κομμάτι της εργασίας (δηλαδή η οπτικοποίηση στο Minecraft). Σύμφωνα με αυτό δεν βλέπω γιατί το θέμα που αναφέρεται παραπάνω δεν χρειάζεται εξίσου δικαιολόγηση απλός δεν θα είναι πλέον για τα δεδομένα αλλά γενικότερα για το θέμα της εργασίας.

Εγώ συνεχίζω και αναπτύσσω την ιδέα για τα συναισθήματα και σκεφτόμουν τα σπίτια εκτός από την προφανής οπτικοποίηση του θα μπορούσαν να χρησιμοποιηθούν και ως ένας τρόπος αναπαράστασης των συναισθημάτων που έχουν οι άνθρωποι σε κοντινές αποστάσεις (π.χ <= 5km). Δηλαδή, πλέον ένα σπίτι δεν θα αποτελείται από τυχαία συναισθήματα αλλά από συναισθήματα (tweets) που προέρχονται από την ίδια περιοχή (Geolocation των tweets π.χ Μανχάταν ή Μπρούκλιν ή Αθήνα κ.α). Θα χαρώ να ακούσω και τις δικές σας γνώμες κύριε @epidrome @diogenisAl .

[epidrome]

η απάντηση σου ίσως να φαίνεται λογική, όμως αδιαφορεί για το αίτημα μου:

παραθέτω τεκμηρίωση και θα ήθελα οι τοποθετήσεις-απαντήσεις-σχόλια σας να συνοδεύονται από την αντίστοιχη τεκμηρίωση, έτσι ώστε να καταλήξουμε κάπου συντεταγμένα

έχεις κάποια λινκ όπου τα συναισθήματα οπτικοποιούνται με κτίρια στο minecraft?

π.χ., εγώ έστειλα λινκ όπου ο φυσικός κόσμος γίνεται κόσμος στο minecraft,

δεν μπορούμε να ρίχνουμε ιδέες έτσι επειδή φαίνονται λογικές, σίγουρα όχι σε μια πτυχιακή που επιβλέπω.

[epidrome]

επίσης αναφορικά με το εφικτό της ιδέας γιατί να ξεκινήσουμε από τα κτήρια, ας δούμε πρώτα το γεωλογικό καθώς και τους δρόμους και για τα δύο νομίζω πως υπάρχει πλούσια πληροφορία σε ανοιχτά δεδομένα όπως το open street maps αλλά και στο γκουγκλ μαπς απι

ακόμη η πληροφορία σχετικά με τα κτήρια ίσως να είναι ή να γίνει διαθέσιμη σύντομα καθώς είναι κάτι νέο στους χάρτες της γκουγκλ
https://stackoverflow.com/questions/5401661/google-maps-how-to-get-buildings-polygon-coordinates-from-address?noredirect=1&lq=1

[vpant]

Καλησπέρα,

για συναισθήματα δεν μπορώ να βρω οπτικοποίηση τους στο Minecraft, ως κτήρια, αλλά δεν θεωρώ ότι πρέπει να στοχεύουμε σε κάτι που ήδη έχει γίνει. Για τα συναισθήματα υπάρχουν αρκετά projects που τα οπτικοποιούν όπως είναι το Biomapping, το Atlas of Emotion και φυσικά το We Feel Fine που μας έχετε μιλήσει και εσείς στο μάθημα. Υπάρχει και ένα mod που αξιοποιεί τα συναισθήματα για την λειτουργία του με μόνο σκοπό την διασκέδαση των χρηστών του mod.

Ό,τι αφορά την οπτικοποίηση ενός κομματιού από τον αληθινό κόσμο στο Minecraft δεν πήγα κατευθείαν στα κτήρια πήγα στο τι δεν είναι εφικτό να κάνουμε. Το γεωλογικό κομμάτι είναι εφικτό προγραμματιστικά. Επίσης αυτή η ιδέα ακυρώνει όλα όσα έχω κάνει ως τώρα (έρευνα, σχεδιασμός και κώδικας). Ίσως να μπορώ να επαναχρησιμοποιήσω κομμάτια κώδικα από το πρόγραμμα που συνδέεται στο API του Twitter.

[epidrome]

σε μια εργασία σε επίπεδο πτυχιακής καλύτερα να κάνουμε μια μικρή παραλλαγή σε κάτι που υπάρχει, για κάτι νέο έχουμε το διδακτορικό, αφού πρώτα πάρεις μάστερ, ένα-ένα ;-)

σίγουρα τα συναισθήματα οπτικοποιούνται με πολλούς ωραίους τρόπους, είναι τα κτίρια ένας ωραίος τρόπος και γιατί; εγώ όσο το σκέφτομαι τόσο πιο αρνητικός είμαι ειδικά όσο δεν μπορώ να δω σχετική τεκμηρίωση.

[vpant]

Κύριε @epidrome τα κτήρια δεν θα παριστάνουν ακριβώς τα συναισθήματα, αλλά μια "γειτονιά" από συναισθήματα. Κάθε σπίτι θα χτίζεται από tweets συναισθηματικού χαρακτήρα που προσδίδει ο συγγραφέας του, εγώ θα τα συλλέγω μαζί με τις πληροφορίες τοποθεσίας του χρήστη και θα τα οπτικοποιώ σε ένα κτήριο στο minecraft. Θα είναι, δηλαδή, μια "γειτονιά συναισθημάτων" που θα μπορεί ο χρήστης να εξερευνήσει και να δει τα διάφορα συναισθήματα που έχουν διάφορα άτομα σε κοντινή απόσταση.

Στην αρχή ήμουν και εγώ επιφυλακτικός με την ιδέα για τα συναισθήματα αλλά καθώς το σκεφτόμουν έβγαζε περισσότερο νόημα και γινόταν ενδιαφέρον. Πλέον ξεφεύγουμε από την κυριολεκτική έννοια της πόλης (σπίτια, κτήρια κτλ) και σκεφτόμαστε το κύριο συστατικό της που είναι οι άνθρωποι.

Πίστευα θα σας άρεσε αυτή η ιδέα καθώς και από τις εργασίες που μας έχετε δείξει φαινόταν η προτίμησή σας σε οπτικοποιήσεις που εμπεριέχουν και την τοποθεσία σαν κριτήριο. Βέβαια από ότι κατάλαβα, η παραπάνω ιδέα δεν σας αρέσει καθόλου και μου έχει δημιουργηθεί και η εντύπωση ότι οτιδήποτε και να πω θα είναι μάταιο. Για αυτόν το λόγο θα προσπαθήσω να βρω κάμποσες άλλες ιδέες, που δεν θα ακυρώνουν την ήδη δουλειά που έχω κάνει ως τώρα, για να τις συζητήσουμε και να καταλήξουμε κάπου. Αλλιώς, σαν έσχατη λύση, θα συνεχίσω με την προφανής οπτικοποίηση των tweets που μιλάνε για κτήρια, πόλης, σπίτια προσπαθώντας να κάνω όσο το καλύτερο φιλτράρισμα γίνεται έτσι ώστε τα δεδομένα να είναι σχετικά.

Σε κάποιο άλλο issue, που δεν βρίσκω αυτή την στιγμή, σχολιάσετε είπατε ότι ο κώδικας καλό θα είναι σε δημόσιο repo, θα φροντίσω να γίνει.

[epidrome]

δεν λέω ότι είναι κακή ιδέα, λέω ότι βλέπω καλύτερες ιδέες όσο το ψάχνω, για αυτό καλέσαμε και τον @mkamgit να μας πει την γνώμη του που ασχολείται με γεωγραφικά θέματα στο διδακτορικό του

τα συναισθήματα με τα οποία ασχολείται ο @diogenisAl είναι όπως είπα σπουδαία περιοχή για οπτικοποίηση δεν έχω πειστεί ότι αυτή είναι τα κτήρια, έχεις να στείλεις ένα σχετικό λινκ για να βασιστούμε εκεί όπως έκανα εγώ με τα λινκ για τους γεωγραφικούς χάρτες? αν όχι ας το κλείσουμε εδώ.

[epidrome]

να συμπληρώσω ότι η ιδέα μου για μια πιο ρεαλιστική και εφικτή γεωγραφική υλοποίηση βασίζεται μερικώς και σε δικιά σου τοποθέτηση

από την στιγμή που δεν θα κάνουμε χρήση των μικρών μοτίβων του μαινκραφτ τότε έχουμε μεγάλη ευελιξία για αναπαράσταση του πραγματικού κόσμου

να επαναλάβω ότι δεν θα πρότεινα την ιδέα καν αν δεν είχα πρώτα βρει λινκ με παρόμοιες δουλειές που έστειλα παραπάνω.

[vpant]

Γενικότερα να βρούμε διάφορες οπτικοποιήσεις δεδομένων στο Minecraft (πέρα από τα προφανή με τα κτήρια) είναι αρκετά δύσκολο διότι δεν χρησιμοποιείται αρκετά για τέτοιου είδους εργασίες. Μπορώ να βρω λινκς για την ιδέα της οπτικοποίησης που προτείνω (εξόρυξη συναισθημάτων και γεωγραφική τους ταξινόμηση). Παραθέτω μερικά:

• Mapping Moods: Geo-Mapped Sentiment Analysis
  During Hurricane Sandy

• TweetMap: Ανάλυση συναισθήματος σε Tweets και οπτικοποίηση σε χάρτη

Σε συνδυασμό με αυτό που είχα αναφέρει στο θέμα #4 σας απάντησα εάν είναι εφικτό. Σαν ιδέα είναι ενδιαφέρον αλλά ψάχνοντας για APIs που θα τροφοδοτήσουν την εφαρμογή με δεδομένα για τα κτήρια σε όλους τους άξονες (X, Y και Z) δεν βρήκα κανένα. Επιπλέον, τα links τα links που έχετε στείλει είναι δουλειές οι οποίες δεν έχουν γίνει προγραμματιστικά αλλά με το χέρι (μπορεί χρησιμοποιώντας εργαλεία μαζικής τοποθέτησης blocks) οπότε από την μεριά της οπτικοποίησης μπορούν να υποστηρίξουν την ιδέα αλλά όχι και το τεχνικό κομμάτι.

Θα συνεχίσω να ψάχνω και ιδέες και για άλλα λινκς μπας και βρω κάποια παρόμοια οπτικοποίηση στο minecraft αλλά έχω αρχίσει ότι δεν θα μπορέσω να βρω κάτι.

[epidrome]

μπράβο, τώρα μιλάμε με λινκς-αναφορές

βέβαια το γεγονός ότι υπάρχουν δουλειές με τουιτς και χάρτες δεν βοηθάει ιδιαίτερα στο μαινκραφτ που είναι ένας εικονικός-αφαιρετικός κόσμος.

είσαι σίγουρος ότι οι δουλειές που έστειλα έγιναν με το χέρι και όχι προγραμματιστικά με κάποια διεπαφή μεταφοράς των δεδομένων?

[vpant]

Ο χάρτης της Δανίας είμαι σχεδόν σίγουρος ότι έγινε από χέρι. Με βάλατε σε σκέψεις και ξαναμελέτησα το λινκ που στέιλατε με το Λονδίνο. Διαβάζοντας την ενότητα How we built it είδα τι προγράμματα χρησιμοποίησαν και όντως έγινε προγραμματιστικά. Μου κίνησε το ενδιαφέρον για αυτό κατέβασα τον χάρτη να τον δω και τελικά είδα ότι δεν έχει ύψος. Δηλαδή μπορείς να δεις τους δρόμους, το ποτάμι, χώρους με γρασίδι όπως και χώρος που υπάρχουν κτήρια (κάθε ένα αναπαριστάτε από αντίστοιχα blocks. Δείτε ενότητα Block Materials εδώ). Μιας και το έχω εύκαιρο σας παραθέτω παρακάτω μερικά screenshots.

Τα λινκς με τους χάρτες τα έστειλα με το σκεπτικό ότι την θέση του χάρτη πλέον θα την έχουν τα σπίτια στο minecraft. Δηλαδή,η κοντινή απόσταση σε συναισθήματα στο χάρτη θα μεταφράζεται σαν γειτονικά blocks που δημιουργούν μια συνοικία στο minecraft. Όπως είπα και στον @mkamgit στην συνομιλία μας στο skype δεν υπάρχουν πολλές οπτικοποιήσεις δεδομένων οι οποίες έχουν γίνει στο Minecraft (πέρα από τα προφανή όπως π.χ να μεταφέρεις ένα κομμάτι το πραγματικού κόσμου στο minecraft).

[epidrome]

είδες που ήσουν αρνητικός?

βλέπω τουλάχιστον δύο επιλογές,

1. είτε εστιάζεις στα συναισθήματα και στην οπτικοποίηση τους με ένα τρόπο που τεκμηριώνεται βιβλιογραφικά, σίγουρα όχι το μαινκραφτ μέχρι τώρα. δλδ κάτι όπως το φλουτρακ.

2. είτε εστιάζεις στο μαινκραφτ και φτιάχνεις κάτι που τεκμηριώνεται βιβλιογραφικά, π.χ., αναπαράσταση γεωγραφίας, ή κάτι άλλο που επίσης τεκμηριώνεται βιβλιογραφικά

σίγουρα όχι μαινκραφτ+συναισθήματα = 💣

μάλιστα θα έλεγα ότι αν θες να τελειώσεις σε εύλογο χρονικό διάστημα ίσως είναι συνετό να πάρεις κάποιο από τα έτοιμα θέματα π.χ., :
https://github.com/orgs/flutrack/projects

φυσικά, συνεχίζει να μου αρέσει πολύ το μαινκραφτ, αλλά αυτός δεν είναι λόγος να κάνουμε κάτι ατεκμηρίωτο, για αυτό άλλωστε το έψαξα και σου έστειλα σχετικά λινκ, αλλά έχω την διαίσθηση ότι θα είναι δύσκολος και ανηφορικός δρόμος.

[mkamgit]

@vpant Για ρίξε μια ματιά σε αυτά αν σε ενδιαφέρει η μεταφορά του πραγματικού κόσμου στo minecraft.
https://www.geospatialworld.net/article/geocraft-real-world-minecraft/
https://github.com/cgutteridge/geocraft

[vpant]

Καλησπέρα,
συγνώμη για το διάστημα που μου πήρε να απαντήσω είχα ανέβει Θεσσαλονίκη για το σαββατοκύριακο και δεν βρήκα αρκετό ελεύθερο χρόνο.

Δεν ήμουν σε τίποτα αρνητικός για αυτό άλλωστε και το έψαξα γιατί με ενδιέφερε. Αλλά το να πάμε σε ένα θέμα όπως είναι αυτό ακυρώνει ότι έχω κάνει ως τώρα για την εργασία μου οπότε λογικό είναι να είμαι λιγότερο πρόθυμος να πάω προς τα εκεί. Έχω ρίξει αρκετή δουλεία, ερεύνα και σχεδιασμό για το πως θα υλοποιήσω την εργασία μου και ήδη έχω υλοποιήσει κάποιο κομμάτια (σύνδεση στο twittert και την δημιουργία των Paths που μου πήραν αρκετό χρόνο οπότε είναι λογικό οι ιδέες που προτείνω να συμβαδίζουν με την δουλεία που ήδη έχω κάνει.

Τώρα για το σχόλιό σας ότι μαινκραφτ+συναισθήματα = 💣 πιστεύω το λέτε λόγω οπτικοποίησης (τον συσχετισμό στιγμάτων τοποθεσίας με σπίτια σε μια πόλη στο Minecraft) που από αυτή την άποψη θεωρώ είναι στην κρίση του καθενός εάν θα του αρέσει ή όχι.

Τώρα για την τεκμηρίωση όπως σας ανέφερα δεν υπάρχουν οπτικοποιήσεις στο Minecraft αλλά πέρα από αυτό, μετά την ανάγνωση που έκανα στο γραπτό κομμάτι τις πτυχιακής του φοιτητή που έκανε το flutrack βλέπω ότι εστιάζει την προσοχή του στα δεδομένα και όχι στην οπτικοποίηση τους στον χάρτη. Με την παραπάνω προσέγγιση θεωρώ ότι τα links που έστειλα παραθέτουν οπτικοποιήσεις συναισθημάτων που θα μπορούσαμε να βασιστούμε και επομένως να μπορέσω να το τεκμηριώσω.

Το λινκ με τα θέματα μου δίνει 404 σελίδα.

[epidrome]

καταλαβαίνω ότι υπάρχουν διαφορετικές απόψεις και συμφωνώ ότι δεν μπορεί να αποδειχτεί τουλάχιστον με μαθηματικό τρόπο ούτε το ένα ούτε το άλλο.

αν επιμένεις να συνεχίσεις στο θέμα που λες εγώ το σέβομαι απόλυτα και και σε προτρέπω να αλλάξεις επιβλέποντα με την πρώτη ευκαιρία.

[vpant]

Ωραία και γιατί δεν μου λέτε εξ αρχής ότι το θέμα αυτό είναι εκτός συζήτησης αλλά με αφήνεται να θεωρώ ότι είστε ανοιχτός στην ιδέα αρκεί να την τεκμηριώσω; Από ότι καταλαβαίνω από την απάντησή σας ή θα κάνω κάτι που προτείνεται εσείς ή αλλάζω επιβλέποντα;

Επειδή δεν έχω την πολυτέλεια να αλλάξω επιβλέποντα γιατί θέλω να τελειώσω, μπορείτε να μου πείτε ποια είναι τα έτοιμα θέματα να κάτσω να σκεφτώ μία εργασία;

[epidrome]

αν κάνεις τον κόπο να διαβάσεις αυτό το θέμα από την αρχή θα διαπιστώσεις:

1. το θέμα των συναισθημάτων συζητήθηκε πριν απορριφθεί τεκμηριωμένα
2. τεκμηρίωση = επιστημονική βιβλιογραφία
3. στην βιβλιογραφία του flutrack υπάρχει ήδη σχετική δουλειά
4. οι επιλογές σου είναι σε ποστ λίγο παραπάνω

βασικά, το θέμα που σου αρέσει ίσως είναι σπουδαίο, εμείς όμως είμαστε συντηρητικοί (=επιστημονική τεκμηρίωση) και κυρίως δεν έχουμε τον χρόνο να διαπραγματευτούμε την σχεδίαση του, ίσως κάποιος άλλος όμως να είναι θετικός

ότι και να κάνεις με εμάς δεν νομίζω ότι θα τελειώσεις σε λιγότερο από 9-12 μήνες από σήμερα.

[vpant]

Καλησπέρα σε όλους,

έγινε αλλαγή επιβλέποντα και θα συνεχίσω το θέμα που πρότεινα με την κυρία Κερμανίδου, για αυτό θα κλείσω όλα τα θέματα που έχουν δημιουργηθεί και θα σας αποκλείσω από Collaborators για να σας γλιτώσω από τις ενημερώσεις που θα σας έρχονται. Σε περίπτωση που θέλετε να συνεχίσετε να παρακολουθείτε την εργασία στείλτε μου ένα email στο [email protected] ή στο [email protected] και θα χαρώ να σας ξανακάνω invite.

Σας ευχαριστώ πολύ για το χρόνο σας και καλή συνέχεια.