Tου Φράνκο Σύλος Λαμπίνι.
Η αξιολόγηση της έρευνας είναι αναγκαία αλλά και πολύ ευαίσθητη. Είναι αναγκαία διότι χωρίς την αξιολόγηση των αποτελεσμάτων της ερευνητικής δραστηριότητας, θα καταλήξει κάποιος στην επικράτεια της πλήρους αυθαιρεσίας – ενώ αυτό που θα θέλαμε είναι να κατανεμηθούν οι πόροι και οι θέσεις στη βάση της ποιότητας έτσι ώστε «να επιβραβεύεται η αριστεία». Όμως, η αξιολόγηση της ποιότητας είναι και πολύ ευαίσθητο ζήτημα, διότι αν γίνει με επιφανειακό ή με λανθασμένο τρόπο, μπορεί να αποτελέσει αφετηρία φαύλων δυναμικών.
Το ερώτημα, αν είναι δυνατό να διατυπωθεί ένα αντικειμενικό κριτήριο για την ποιότητα της έρευνας που διεξάγει ένας ερευνητής, δεν επιδέχεται απαντήσεις που είναι υποχρεωτικά απλές, διότι δεν υπάρχει ένας μαθηματικός αλγόριθμος που να επιτρέπει την ταξινόμηση των επιστημονικών αποτελεσμάτων με βάση τη σημασία τους. Οι «σκληρές» επιστήμες, όπως για παράδειγμα η Φυσική, ιστορικά έχουν παίξει ρόλο πρωτοπορίας. Για να αξιολογηθεί η επιστημονική παραγωγή ενός ερευνητή έχουν εισαχθεί, ολοένα και πιο εκλεπτυσμένοι, βιβλιομετρικοί δείκτες. Κάποιοι είναι σημαντικοί, άλλοι λιγότερο και άλλοι δίνουν ενδείξεις εντελώς αποπροσανατολιστικές. Ας δούμε μερικά παραδείγματα.
Ένας πρώτος προφανής βιβλιομετρικός δείκτης αφορά τον υπολογισμό του συνολικού αριθμού δημοσιεύσεων. Στις σκληρές επιστήμες, ως δημοσίευση θεωρείται ένα άρθρο σε ένα διεθνές επιστημονικό περιοδικό στο οποίο γίνεται peer review (έλεγχος από άλλους επιστήμονες της κοινότητας). Αλλά μια απλή καταμέτρηση του αριθμού των δημοσιεύσεων είναι εντελώς αδύνατο να μας δώσει μια ιδέα για την ποιότητά τους. Γι’ αυτό μπορεί να μετρηθεί το πλήθος των παραπομπών που έχουν γίνει σε κάθε άρθρο. Αυτό μας δίνει μια ιδέα, όχι για την πραγματική επιστημονική ποιότητα, αλλά περισσότερο για την επίδραση ή καλύτερα για τη δημοτικότητα που απέκτησε μια δημοσίευση. Ένας συνθετικός δείκτης που έχει προσφάτως εισαχθεί και επιτρέπει τον υπολογισμό όχι μόνο του αριθμού των δημοσιεύσεων αλλά και του αριθμού των παραπομπών είναι ο δείκτης Η, που πήρε το όνομα του από τον Jorge E. Hirsch που τον ανακάλυψε. Ένας επιστήμονας έχει δείκτη Η αν τα Η άρθρα του, με το μεγαλύτερο πλήθος παραπομπών, έχουν, το καθένα, τουλάχιστον Η παραπομπές ενώ τα υπόλοιπα άρθρα του έχουν, το καθένα, λιγότερες από Η παραπομπές. Όπως και με τις παραπομπές, ένα υψηλός δείκτης Η δεν είναι αναγκαία σήμα ποιότητας, σίγουρα όμως είναι ένας παράγων κύρους στο εσωτερικό της διεθνούς επιστημονικής κοινότητας.
Τα τελευταία χρόνια ο παράγων επίδρασης (impact factor) γίνεται όλο και περισσότερο αποδεκτός, ως η κύρια μέθοδος κατάταξης της αξίας των επιστημονικών περιοδικών και, κατ’ επέκταση, ορισμένοι χρησιμοποιούν αυτό το δείκτη για να ποσοτικοποιήσουν την ποιότητα των μεμονωμένων δημοσιεύσεων. Ο παράγων επίδρασης ενός περιοδικού υπολογίζεται από τις παραπομπές που έγιναν σε ένα έτος, στα άρθρα που δημοσιεύτηκαν τα προηγούμενα δύο έτη. Με αυτό τον τρόπο μπορεί να εκτιμηθεί πόσες είναι, κατά μέσο όρο, οι παραπομπές που γίνονται σε ένα άρθρο ενός συγκεκριμένου περιοδικού. Τα περιοδικά με άρθρα που έχουν μεγάλο αριθμό παραπομπών, έχουν υψηλό παράγοντα επίδρασης, γεγονός που μπορεί να προσφέρει μια εκτίμηση για την ποιότητα του περιοδικού. Αυτό το συμπέρασμα συχνά είναι λανθασμένο και η χρήση του παράγοντα επίδρασης για την αξιολόγηση της έρευνας έχει δεχθεί οξεία κριτική. Ο παράγων επίδρασης δεν έχει καμιά σημασία όταν εφαρμόζεται σε ένα μεμονωμένο άρθρο, επειδή υπάρχει μεγάλη μεταβλητότητα στην κατανομή των παραπομπών και δεν υπάρχει πρακτικά καμιά συσχέτιση ανάμεσα στο πλήθος των παραπομπών σε ένα τυχαία επιλεγμένο άρθρο και στον παράγοντα επίδρασης του περιοδικού που το φιλοξενεί (**).
Από την κατανομή ενός βιβλιομετρικού δείκτη σε μια δεδομένη κοινότητα μπορεί κάποιος, αποτελεσματικά, να διακρίνει τα άκρα: ποιος είναι πολύ καλός και ποιος ελάχιστα παραγωγικός. Για παράδειγμα, μία ανάλυση του δείκτη Η των κατόχων του βραβείου Νόμπελ, δείχνει ότι αυτός είναι αναμφίβολα υψηλός. Από την άλλη πλευρά, είναι επίσης απλό να διακρίνουμε εκείνους που έχουν μια επιστημονική παραγωγή πολύ ανεπαρκή και γι αυτό τοποθετούνται στο άλλο άκρο της κατανομής. Το κρίσιμο πρόβλημα αφορά την κατάταξη εκείνων που βρίσκονται μακριά από αμφότερα τα άκρα που αναφέραμε και, γενικώς, αποτελούν την πλειοψηφία των περιπτώσεων. Το να σκεφτεί κάποιος να κάνει επιλογή προσωπικού στη βάση της τιμής του δείκτη Η είναι, στις περισσότερες περιπτώσεις, πολύ αφελές και έχει επικίνδυνα αποτελέσματα. Η επίδειξη μεγάλης προσοχής στους βιβλιομετρικούς δείκτες μπορεί να ωθήσει τους ερευνητές να προσανατολίσουν τη δραστηριότητα τους στην μεγιστοποίηση του δείκτη Η που έχουν, όχι στη βάση της ποιότητας και της πρωτοτυπίας των δικών τους επιστημονικών αποτελεσμάτων, αλλά κυρίως με την υπόκλιση στην έρευνα που κυριαρχεί στον κλάδο τους (το λεγόμενο mainstream). Πράγματι, επιζητώντας την κοινωνική συναίνεση στο εσωτερικό της επιστημονικής κοινότητας καταφέρνει κανείς να παραπέμπουν σε αυτόν χωρίς προβλήματα. Αντιθέτως, μια πρωτότυπη έρευνα, κόντρα στο ρεύμα και αμφιλεγόμενη, μπορεί να οδηγήσει σε χαμηλούς βιβλιομετρικούς δείκτες, τουλάχιστον για μια σύντομη μέση περίοδο. Από την άλλη, όμως, δεδομένου ότι αυτή είναι η χρονική κλίμακα που παίζεται η επιστημονική καριέρα κάποιου, γιατί αυτός να ρισκάρει;
Σε πρόσφατο άρθρο του (***), ένα διάσημος Αμερικανός φυσικός, αναφερόμενος στην περίπτωση της Αστροφυσικής αντιμετωπίζει ένα γενικότερο πρόβλημα που, ιδιαιτέρως στις ΗΠΑ, γίνεται ολοένα και πιο σημαντικό. Συγκεκριμένα, ότι αποτελεί κοινή πρακτική των νέων να επενδύουν την ενέργεια τους στην έρευνα με τρόπο συντηρητικό, σε ιδέες mainstream, που έχουν ήδη ερευνηθεί στην επιστημονική φιλολογία. Αυτή η τάση καθοδηγείται από την πίεση που οφείλεται στο peer review, δεδομένου ότι είναι πιο εύκολο να δημοσιεύεις και να λαμβάνεις παραπομπές όταν δουλεύεις σε ιδέες που συμμερίζεται ο μέγιστος δυνατός αριθμός ανθρώπων και η οπτική της αγοράς εργασίας: είναι εκείνοι που δημοσιεύουν πολύ, που αναφέρονται πολύ και που καταφέρνουν να κερδίζουν ερευνητικά προγράμματα, που και αυτά βασίζονται στο peer review, είναι εκείνοι που τελικώς καταφέρνουν να κρατούν μόνιμες θέσεις. Αντιθέτως, οι νέοι θα έπρεπε τουλάχιστον να διαφοροποιούν την ερευνητική τους δραστηριότητα, αφήνοντας χώρο στην εξερεύνηση νέων ιδεών, αφιερώνοντας ένα μέρος του χρόνου τους σε καινοτόμα προγράμματα που έχουν κινδύνους αλλά δυνητικά θα μπορούσαν να επιφέρουν και ενδιαφέρουσες «απολαβές» σε γενικώς μακρύτερες χρονικές κλίμακες. Επίσης, οι επιτροπές επιλογής και προαγωγής θα πρέπει να βρουν νέες στρατηγικές για την επιβράβευση εκείνων που επιδίδονται σε τέτοια εγχειρήματα. Μια τέτοιου είδους αλλαγή στρατηγικής είναι ζωτικής σημασίας για την ίδια την επιστημονική πρόοδο.
Πιστεύω ότι αυτές οι σημαντικές διαπιστώσεις υπερβαίνουν το επιστημονικό πεδίο στο οποίο αναφέρονται και αξίζει να τις σκεφτούμε και σε πεδία που οι δυναμικές των «οπαδών του mainstream» είναι έκδηλες. Για παράδειγμα στην οικονομία, όπου τα βιβλιομετρικά κριτήρια χρησιμοποιούνται με ακατάλληλο τρόπο (δίνοντας, για παράδειγμα, υπερβολική σημασία στον παράγοντα επίδρασης) με στόχο πειθαρχικό έναντι εκείνων που δεν κάνουν έρευνα σε θέματα mainstream. Ολόκληρη η διαδικασία της αξιολόγησης μπορεί να γίνει αρνητική όταν χρησιμοποιείται ως εργαλείο της πλειοψηφίας για την επιβολή σιωπής στις μειοψηφίες. Αν η φυσική αποτέλεσε αναφορά για την επεξεργασία ποσοτικών βιβλιομετρικών κριτηρίων, είναι καλό να λαμβάνουμε υπ’ όψιν ποιος εμπνέεται αυτά τα μοντέλα, ποια είναι τα όρια τους και οι αντενδείξεις τους. Είναι, λοιπόν, αναγκαίο να αξιολογηθεί η έρευνα, αλλά είναι αναγκαίο, επίσης, αυτό να γίνει σωστά.
[*] Ο Φράνκο Σύλος Λαμπίνι είναι αστροφυσικός, ερευνητής στο Εθνικό Κέντρο Ερευνών της Ιταλίας (CNR, Ρώμη). Το άρθρο δημοσιεύτηκε στην εφημερίδα Il Fatto Quotidiano (10/9/2010).
[**] Ο Λαμπίνι υποστηρίζει αυτή τη θέση με ένα τεχνικό επιχείρημα που αναφέρεται στο βιβλίο που συνυπογράφει με τον Στέφανο Τζάπερι με τίτλο Οι ερευνητές δεν αναπτύσσονται στα δέντρα.
[***] Ο Λαμπίνι αναφέρεται στο άρθρο του Άμπρααμ Λέμπ Παίρνοντας «το δρόμο που δεν έχει ληφθεί»: Για τα πλεονεκτήματα της ποικιλίας στο ακαδημαϊκό προφίλ που δημοσιεύεται στο https://lanl.arxiv.org/abs/1008.1586.
