Πως να ανακαλύψετε τα blogs του yupi και της Athens Voice

ΠΡΟΣΟΧΗ: Αυτό το post δεν έχει καμμία χρηστική αξία για σένα, εκτός και αν ενδιαφέρεσαι να φτιάξεις έναν feed aggregator.

Ενα από τα πρωτα πράγματα που με απασχόλησαν κατά τη δημιουργία του mpouligator ήταν το πως θα ενημερώνω τη βάση με τα νέα blogs που δημιουργούνται κάθε μέρα. Το πρόβλημα λύθηκε με τη δημιουργία ενός robot που ρουφάει σελίδες σε δύο επίπεδα, απομονώνει τα urls τυπου xxx.blogspot.com, xxx.wordpress.com, xxx.pblogs.gr, xxx.spaces.live.com ελέγχει τις σελίδες για ελληνικούς χαρακτήρες, βρίσκει το feed url του καθενός και τέλος. Ο μηχανισμός δουλεύει και όπως μπορείς να δεις και από τη σελίδα των στατιστικών προστίθενται 60-70 νέα blogs κάθε μέρα, αυτόματα. Ενα βασικό στοιχείο της διαδικασίας είναι ότι και στις 4 προαναφερθείσες πλατφόρμες το feed url προκύπτει εύκολα αν γνωρίζεις το blog url. Πχ το feed url του mpoulis.wordpress.com είναι το mpoulis.wordpress.com/feed κ.ο.κ.

Στην πορεία προέκυψαν δύο νέα sites που μεταξύ άλλων προσφέρουν δυνατότητα δημιουργίας blog. Το yupi.gr και το athensvoice.gr. Και τα δύο βασίζονται σε μία πλατφόρμα που λέγεται ICE και από όσο έχω καταλάβει είναι ένας κλώνος του Joomla. To πρόβλημα εδώ ήταν ότι το blog url και το feed url δεν έχουν καμμία σχέση μεταξύ τους, π.χ. το feed url του http://blogs.yupi.gr/alice/ είναι το http://blogs.yupi.gr/rss/posts_a3f390d88e4c41f2747bfa2f1b5f87db.xml . Τρέχα γύρευε δηλαδή. ή  μήπως όχι;

Κοιτώντας πιο προσεκτικά το a3f390d88e4c41f2747bfa2f1b5f87db βλέπουμε ότι έχει μέγεθος 32 χαρακτήρες. Ο αριθμός δεν είναι και τόσο τυχαίος. Επίσης όλα τα feeds είναι κάτω από το ίδιο virtual directory. Αρα μάλλον πρόκειται για hash value. Ναι αλλά με ποιον αλγόριθμο;  O SHA1 αποκλείεται λόγω μεγέθους (160bit, 40 chars). Ο MD5 ταιριάζει γάντι (128bit, 32 chars). Αφού καταλήξαμε στον αλγόριθμο πρέπει να μαντέψουμε το input της hash function. Πρέπει να είναι κάτι μοναδικό στο blog. Τι είναι μοναδικό στο κάθε blog; Το url του, μέρος του url, με ή χωρίς το http, με ή χωρίς το / στο τέλος κλπ.  Ξεκινάμε δοκιμές υπολογίζοντας το hash value με διάφορα inputs, όπως: http://blogs.yupi.gr/alice/ – blogs.yupi.gr/alice/ – blogs.yupi.gr/alice – alice – /alice/ προσπαθώντας να πάρουμε σαν αποτέλεσμα το a3f390d88e4c41f2747bfa2f1b5f87db . Τζίφος. Διάλλειμα για τσιγάρο και βόλτα γύρω από το γραφείο. Κοιτάμε ξανά το xml source του feed ψάχνοντας απεγνωσμένα για κάτι που είναι μοναδικό. Τίποτα. Δεύτερο τσιγάρο, τρίτο τσιγάρο. Σκέψη από άλλο σημειο εκκίνησης. Τι είναι το blogs.yupi.gr; Πλατφόρμα για blogs. Μάλιστα. Που αποθηκεύονται τα blogs; Οι σελίδες στο file system και κάποια στοιχεία οπωσδήποτε σε μία βάση δεδομένων. Βάση δεδομένων; Aρα θα υπάρχει σίγουρα ένας master πίνακας οπου κάθε record θα ειναι ενα blog με τα βασικά στοιχεία (url, owner, περιγραφή κλπ). Ποιο θα είναι το primary key του πίνακα; To ονομα του blog (π.χ alice). Το δοκιμάσαμε και πήραμε τα !#$@% μας. χμμ. Για μισό λεπτό. Εγώ συνήθως ανεξάρτητα από αλλα keys συνήθως χρησιμοποιώ για primary key κάποιο auto-increment integer στη βάση. Λες; Πόσα blogs να υπάρχουν στο yupi; Οχι πάνω από 1000. Φτιαχνουμε στο καπάκι script που δείχνει τα hash values των ακέραιων από το 1 έως το 1000. Copy-paste του output στο notepad. Βάζουμε να ψάξει για το a3f390d88e4c41f2747bfa2f1b5f87db. ΕΥΡΗΚΑ! Πρόκειται για το hash value του αριθμού 68 ! Τα πράγματα από δω και πέρα είναι απλά. Δημιουργούμε 1000 urls του τύπου http://blogs.yupi.gr/rss/posts_HASHVALUE.xml. Τα χτυπάμε με http get. Εάν πάρουμε HTTP 200 OK, κάνουμε parse και αν πρόκειται για valid xml τα προσθέτουμε στον mpouligator. Και έτσι ανακαλύπτουμε 134 blogs στο yupi.gr και 629 στο athensvoice.gr. Σημειώνουμε τους αριθμούς του τελευταιου HTTP 200. Σε μια εβδομάδα θα ξεκινήσουμε από εκεί και θα σταματήσουμε στο +100. Οποτε καθαρίσαμε και με την ενημέρωση από εκεί.

Και πάμε για άλλα…

« Acorn computers memorabilia

In a manner of speaking »