Storia, scienza e interpretabilità
L'interpretazione della storia è soggetta a pregiudizio ma i dati possono aiutarci a misuralo e gestirlo.
1. Cicli storici e interpretabilità
Nel post precedente abbiamo visto le dimensioni universali che ho annotato come colonne del Chronos dataset. Quasi tutte le dimensioni erano già presenti in qualche forma nei dati del progetto Seshat ed erano tutte state già validate da esperti.
Una dimensione che in Seshat non c’è e che ho voluto mettere in Chronos è la fase del ciclo storico. Le abbiamo viste in uno dei primi post, ma sono talmente importanti che vale la pena riprenderle.
La fase 1 è la crescita, in cui viene diffusa una cultura nuova ed efficace che crea coesione sociale e crescita demografica.
La fase 2 è di impoverimento della popolazione, in cui la ricchezza inizia a concentrarsi nelle mani delle élite.
La fase 3 è quella di sovrapproduzione d’élite in cui la popolazione cerca di prendere l’ascensore sociale per diventare élite, ma in gran parte ne resta fuori e la coesione sociale si rompe.
La fase 4 è lo stress dello stato in cui gran parte della ricchezza viene sprecata per la lotta di tutti contro tutti.
La fase 5 è di crisi, collasso o ripresa. Qualsiasi evento scatenante che lo stato non riesce a gestire porta a potenziali collassi o riforme profonde.
Il problema principale è che l’annotazione delle fasi dei cicli storici tocca la caratteristica principale della storia: la sua interpretabilità. Se siamo tutti d'accordo che il decennio tra il 1789 e il 1799 in Francia è stato un periodo di crisi, non è altrettanto facile mettere tutti d’accordo se l’intervento Francese in Messico del 1862 sia l’inizio di una fase di impoverimento della popolazione o di sovrapproduzione di élite. Oppure è difficile dire se l’ascesa di Mao Zedong alla guida della Cina nel 1949 faccia iniziare una fase di crescita o prosegua la crisi precedente. Questi dubbi sono spesso dovuti al pregiudizio occidentale sulle altre società.
2. Annotazione scientifica
L’annotazione dei cicli storici andava fatta in maniera scientifica: misurabile e ripetibile. Fortunatamente la linguistica computazionale ha una lunga tradizione di gestione delle ambiguità e misurazione dell’indecisione. La cosa da fare in questi casi è definire una procedura e la mia aveva i seguenti passi:
Utilizzare una breve descrizione testuale del decennio con focus sui seguenti tipi di eventi: guerre o battaglie, riforme, governanti, popolazione, élite, disastri o epidemie, alleanze o trattati, contesto macroeconomico, carestie o stress finanziario, proteste o movimenti, religioni e filosofie.
Utilizzare gli identificativi delle società per trovare il punto di inizio e di fine dei cicli.
Assegnare inizialmente la sequenza di etichette del modello di ciclo secolare standard: 1,1,2,2,3,3,4,4,4,0 per poi valutare se mantenerle o cambiarle, allungando o accorciando il ciclo.
Leggere la breve descrizione testuale del decennio, dove presente, e annotare una delle seguenti etichette:
1=crescita. una società è generalmente povera quando sperimenta un rinnovamento o un cambiamento seguito da una crescita economica. Riforme, alleanze, guerre vinte o simili sono potenziali indicatori di questa fase.
2=impoverimento della popolazione. l’espansione economica e/o territoriale rallenta mentre la popolazione continua ad espandersi. L’élite prende gran parte della ricchezza e definisce gli status symbol. La stabilità e gli attacchi esterni sono potenziali indicatori di questa fase.
3=Sovrapproduzione delle élite. I ricchi cercano di tradurre le loro ricchezze in posizioni di autorità e prestigio. La popolazione diventa povera. Movimenti, proteste, e guerre sono potenziali indicatori di questa fase.
4=Stress dello stato. Le élite vogliono istituzionalizzare i propri vantaggi sotto forma di tasse basse e privilegi che portano lo stato a difficoltà fiscali. Guerre, proteste e cambiamenti nell’élite sono potenziali indicatori di questa fase.
0=Crisi. un evento scatenante come una guerra, una rivolta, una carestia o un disastro che lo stato non è in grado di gestire porta a una nuova configurazione della società. Emigrazione delle élite, sottomissione ad altre società, guerre civili o profonde riforme sono potenziali indicatori di questa fase.Utilizzare l’ordine progressivo delle fasi nel caso in cui la descrizione testuale non sia presente.
Assicurarsi che ci sia un ordine progressivo delle etichette (ad esempio la fase 3 deve seguire la fase 2). Tutte le etichette possono essere ripetute tranne la fase di crisi, che dura convenzionalmente un decennio e può trovarsi anche all’inizio di un ciclo.
Seguendo queste istruzioni ho annotato tutti i 9950 decenni che compongono il Chronos dataset. Per capire quanto la mia annotazione fosse condivisibile da chiunque ho preso un sottoinsieme di circa 100 decenni consecutivi di una decina di società diverse e li ho fatti annotare ai miei studenti. Pur non essendo un professore universitario tengo corsi di data science in azienda per ragazzi di età compresa tra 20 e 30 anni provenienti da percorsi formativi professionalizzanti. Sono ragazzi di nazionalità diverse che scelgono di imparare a programmare e a usare algoritmi di machine learning. Nessuno di loro è particolarmente esperto di storia, ma tendenzialmente hanno una mentalità molto tecnica. La figura mostra l’annotazione di 3 studenti in cui ci sono molti punti di accordo (le curve sovrapposte), discrepanze lievi e qualche disaccordo totale.
3. Quanto siamo d’accordo?
I ragazzi (non solo i tre mostrati in figura) hanno annotato i dati solo seguendo la procedura e, dopo essere stato attento che non si copiassero a vicenda, ho calcolato il punteggio di accordo tra delle triplette che comprendevano la mia annotazione e due delle loro.
Per il calcolo del punteggio ho utilizzato la metrica del Fleiss kappa, che può essere interpretata come misura di quanto l'accordo tra annotatori supera quello ottenuto annotando in modo completamente casuale. Ciò che viene valutato è la qualità della procedura nel descrivere l’interpretazione da dare al testo, ed è quindi su di essa che possiamo discutere di interpretabilità della storia.
Durante la prima prova che ho fatto, in cui la procedura comprendeva soltanto i passi 1, 2 e 4, l’accordo è stato del 20,6% superiore al caso. Guardando i risultati mi sono reso conto che il problema era principalmente nella sequenza. Spesso succedeva che una crisi non venisse interpretata come tale e la fase di stress dello stato si protraeva fino al ciclo successivo. Successivamente ho riprovato con altri ragazzi aggiungendo i passi 3, 5 e 6. Così facendo ho ottenuto un punteggio di accordo del 45,5% superiore al caso. Ora ci intendevamo molto meglio. E il punteggio ottenuto è del tutto simile all’accordo che c’è nell’individuazione di messaggi di odio online. A pensarci bene ha senso: anche l’interpretazione dell’odio online è guidata dal pregiudizio.
La procedura mette per iscritto il nostro pregiudizio (in questo caso il mio). Il calcolo dell’accordo misura quanto è condivisibile tra estranei. La cosa bella è che la procedura può essere eseguita anche da una Intelligenza Artificiale, che può anche aiutarci a trovare modi per migliorarla, attenuando il pregiudizio umano.
Bene. Smarcata la questione dell’interpretazione è ora di mettere davvero le mani sui dati e fare modelli e capire cosa ci dicono i dati su come evolvono le società nella storia. In particolare sulle condizioni in cui si redistribuisce la ricchezza. Al prossimo lunedì.