ProtagorasBot

Τι είναι

Το ProtagorasBot διαβάζει τις δημόσιες ροές άρθρων RSS, Atom και WordPress των ελληνικών ειδησεογραφικών ιστοσελίδων και τα άρθρα στα οποία οδηγούν. Έτσι ο Πρωταγόρας συγκεντρώνει την κάλυψη της ίδιας είδησης από διαφορετικά μέσα. Το bot λειτουργεί σε σταθερό πρόγραμμα και διαβάζει μόνο δημόσιες σελίδες.

Πώς λειτουργεί

• Ελέγχει το robots.txt πριν από κάθε λήψη και σέβεται τους κανόνες Disallow, με το ίδιο User-Agent που χρησιμοποιεί και στις λήψεις.
• Περιμένει τουλάχιστον ένα δευτερόλεπτο ανάμεσα σε λήψεις άρθρων από τον ίδιο διακομιστή. Αν το robots.txt ορίζει Crawl-delay, περιμένει περισσότερο.
• Οι ροές άρθρων ελέγχονται σε σταθερά διαστήματα, συνήθως κάθε 15 λεπτά.
• Χρησιμοποιεί τα ETag και Last-Modified του εκδότη για να ελέγχει αν άλλαξε το περιεχόμενο. Στέλνει τις κεφαλίδες If-None-Match και If-Modified-Since. Όταν δεν υπάρχουν αλλαγές, ο διακομιστής μπορεί να απαντήσει με κωδικό 304, χωρίς να ξαναστείλει το περιεχόμενο.

Πώς θα το αναγνωρίσετε

Σε κάθε αίτημα (robots.txt, feeds και άρθρα) το ProtagorasBot δηλώνει το ίδιο User-Agent:

ProtagorasBot/1.0 (+https://protagoras.news/about/bot; contact: info@protagoras.news)

Τι αποθηκεύει

Αποθηκεύει συνήθως τον τίτλο, τον σύνδεσμο, την ώρα δημοσίευσης και τη σύντομη περίληψη από τη ροή άρθρων. Δεν αναδημοσιεύει πλήρη άρθρα. Για να αποθηκεύσει ολόκληρο κείμενο, χρειάζεται ρητή συμφωνία με τον εκδότη.

Επικοινωνία

Για οτιδήποτε αφορά το bot, γράψτε μας στο info@protagoras.news