Μια από τις πιο συχνές κουβέντες που κάνω φέτος ξεκινά έτσι: «Το έκλεισα το GPTBot, δεν θέλω να παίρνουν το περιεχόμενό μου». Και συνεχίζει, δύο προτάσεις παρακάτω, έτσι: «Αλλά θέλω να με προτείνει το ChatGPT όταν ρωτάνε για την περιοχή μου».

Και τα δύο είναι απολύτως λογικά. Το πρόβλημα είναι ότι ο άνθρωπος νομίζει πως έκανε ένα πράγμα, ενώ έκανε άλλο. Ας δούμε τι.

Δεν υπάρχει «ο σαρωτής». Υπάρχουν πολλοί, με διαφορετική δουλειά

Η βασική παρανόηση είναι ότι κάθε εταιρεία έχει έναν σαρωτή που κάνει τα πάντα. Δεν ισχύει. Η κάθε μία έχει πολλούς, με χωριστά ονόματα, και ο καθένας εξυπηρετεί άλλον σκοπό. Αυτό δεν είναι λεπτομέρεια για τεχνικούς, είναι ακριβώς το σημείο όπου παίρνει κανείς λάθος απόφαση.

Στην OpenAI, η τεκμηρίωσή της περιγράφει τρεις:

Το OAI-SearchBot, που, με τα λόγια της, «χρησιμοποιείται για να εμφανίζονται ιστότοποι στα αποτελέσματα των λειτουργιών αναζήτησης του ChatGPT».

Το GPTBot, που «σαρώνει περιεχόμενο το οποίο μπορεί να χρησιμοποιηθεί για την εκπαίδευση των μοντέλων μας». Και συμπληρώνει: «η απαγόρευση του GPTBot δηλώνει ότι το περιεχόμενο ενός ιστότοπου δεν πρέπει να χρησιμοποιηθεί για την εκπαίδευση».

Και το ChatGPT-User, για ενέργειες που ξεκινά ο ίδιος ο χρήστης μέσα στο ChatGPT.

Καταλάβατε τώρα πού πάει η ιστορία. Το GPTBot και το OAI-SearchBot είναι διαφορετικά πράγματα. Κλείνοντας το πρώτο δεν κλείνετε το δεύτερο. Το περιεχόμενό σας δεν πάει για εκπαίδευση, αλλά συνεχίζετε να εμφανίζεστε στα αποτελέσματα. Που, αν το σκεφτείτε ψύχραιμα, είναι μάλλον ακριβώς αυτό που ήθελε ο πελάτης μου.

Το αντίστροφο λάθος είναι χειρότερο και το βλέπω κι αυτό: κάποιος κλείνει τα πάντα με ένα γενναιόδωρο Disallow: / για όλα τα ονόματα που βρήκε σε μια λίστα, και μετά απορεί γιατί δεν τον αναφέρει κανείς πουθενά.

Το ChatGPT-User και η λεπτομέρεια που παραβλέπεται

Για το τρίτο, η ίδια τεκμηρίωση προσθέτει κάτι που αξίζει να το ξέρετε: για το ChatGPT-User «οι κανόνες του robots.txt μπορεί να μην εφαρμόζονται», επειδή πρόκειται για ενέργειες που ξεκινά ο χρήστης και όχι για αυτόματη σάρωση.

Δηλαδή, όταν κάποιος άνθρωπος ζητά ρητά από το ChatGPT να ανοίξει τη σελίδα σας, η σελίδα ανοίγει. Λογικό, αν το σκεφτείτε: το ίδιο κάνει και ένας άνθρωπος με ένα browser. Το robots.txt δεν ρυθμίζει τους ανθρώπους.

Στη Google, το ίδιο μοτίβο με άλλα ονόματα

Η τεκμηρίωση της Google καταγράφει έντεκα ονόματα σαρωτών. Το ένα από αυτά μας ενδιαφέρει σήμερα: το Google-Extended.

Είναι, με τα λόγια της, «ένα αυτοτελές διακριτικό που μπορούν να χρησιμοποιήσουν οι εκδότες για να διαχειριστούν αν το περιεχόμενο που σαρώνει η Google από τους ιστότοπούς τους μπορεί να χρησιμοποιηθεί για την εκπαίδευση μελλοντικών γενεών των μοντέλων Gemini».

Και μετά έρχεται η πρόταση που λύνει την αγωνία των μισών ανθρώπων που ρωτάνε, οπότε την παραθέτω ολόκληρη: «Το Google-Extended δεν επηρεάζει τη συμπερίληψη ενός ιστότοπου στην Αναζήτηση Google ούτε χρησιμοποιείται ως σήμα κατάταξης στην Αναζήτηση Google.»

Μπορείτε δηλαδή να πείτε όχι στην εκπαίδευση χωρίς να πληρώσετε τίποτα στην κατάταξη. Η Google το γράφει η ίδια, ρητά, στη δική της σελίδα.

Με μία επιφύλαξη που πρέπει να ειπωθεί: το Google-Extended ελέγχει και τη θεμελίωση, δηλαδή το να τραβά το μοντέλο περιεχόμενο από το ευρετήριο τη στιγμή που απαντά ώστε η απάντηση να πατά σε πραγματικές πηγές. Άρα δεν είναι εντελώς χωρίς κόστος αν αυτό που θέλετε είναι να σας αναφέρουν οι απαντήσεις.

Ας μιλήσουμε για το τι έχει νόημα να κλείσετε

Εδώ σταματάω τα ονόματα και κάνω την ερώτηση που έπρεπε να είχε γίνει πρώτη: τι πουλάτε;

Αν πουλάτε το ίδιο το περιεχόμενο, αν είστε εκδοτικός οργανισμός ή έχετε αρχείο που κάποιος πληρώνει για να διαβάσει, τότε το ερώτημα της εκπαίδευσης είναι πραγματικό και δεν θα σας πω εγώ τι να κάνετε. Είναι εμπορική απόφαση, όχι τεχνική.

Αν όμως είστε ξενοδόχος, λογιστής, δικηγόρος, συνεργείο, εμπορικό κατάστημα, δηλαδή αν το site σας υπάρχει για να σας βρίσκουν, τότε το να κλείνετε πόρτες σε μηχανές που προτείνουν επιχειρήσεις είναι σαν να κατεβάζετε την ταμπέλα για να μη σας αντιγράψουν το όνομα. Κάτι κερδίσατε. Δεν είναι αυτό που θέλατε.

Και μια υπενθύμιση που την ξεχνούν όσοι νομίζουν ότι έκλεισαν την πόρτα: το robots.txt δεν είναι κλειδαριά. Είναι δήλωση προθέσεων. Οι σοβαροί τη σέβονται, οι υπόλοιποι όχι. Ό,τι πραγματικά δεν πρέπει να διαβαστεί δεν προστατεύεται με ένα αρχείο κειμένου, προστατεύεται με έλεγχο πρόσβασης. Άλλη κουβέντα, άλλο άρθρο.

Τι έχουμε βάλει εμείς, και γιατί

Το robots.txt του mslogic.gr χωράει σε τέσσερις γραμμές και λέει: όλα ανοιχτά σε όλους, και ορίστε ο χάρτης του site. Καμία απαγόρευση, κανένα εξαιρεμένο όνομα.

Και έχουμε δύο αρχεία παραπάνω από όσα έχει ο μέσος ιστότοπος: το llms.txt και το llms-full.txt, σε απλό κείμενο, που εξηγούν ποιοι είμαστε, τι κάνουμε και τι κάνει το κάθε προϊόν. Όχι γιατί το επιβάλλει κάποιο πρότυπο, αλλά γιατί προτιμούμε να το διαβάσει μια μηχανή γραμμένο από εμάς παρά να το συμπεράνει μόνη της από τα μενού.

Το σκεπτικό είναι απλό και δεν κρύβεται: θέλουμε να μας διαβάζουν. Δεν πουλάμε κείμενα. Πουλάμε δουλειά. Το κείμενο είναι ο τρόπος να μας βρει αυτός που τη χρειάζεται.

Πριν αγγίξετε το αρχείο σας

Ανοίξτε το mslogic.gr/robots.txt ή το δικό σας, βάζοντας απλώς /robots.txt στο τέλος της διεύθυνσής σας. Είναι δημόσιο, το βλέπουν όλοι, το βλέπετε και εσείς. Αν βρείτε μέσα ονόματα που δεν θυμάστε ποιος τα έβαλε και τι κάνουν, μην τα σβήσετε στα τυφλά. Και μην τα αφήσετε κιόλας.

Αν θέλετε να δούμε μαζί τι επιτρέπει και τι απαγορεύει σήμερα το site σας, και το κυριότερο αν αυτό συμφωνεί με το τι θέλετε από αυτό, πείτε μου. Είναι από τις πιο σύντομες συζητήσεις που κάνω, και από τις πιο συχνά χρήσιμες.