Things to Know

Risorse gratuite · Governance

Alcuni costruttori di IA si aspettano un passaggio di consegne all’intelligenza digitale. Chi controlla cosa si passano le tue IA?

Quando l’IA passa il lavoro a un’altra IA: una governance che non dipende dalle convinzioni di nessuno

Chi costruisce l’IA non è affatto d’accordo su dove ci porterà. La supervisione deve funzionare qualunque cosa si creda.

Le domande a cui risponde questo articolo

  1. Cos’è la governance dell’intelligenza artificiale e perché conta?
  2. L’intelligenza artificiale può portare all’estinzione dell’umanità?
  3. Come si governano i sistemi multi agente?
  4. Quali domande fare sull’IA in una due diligence?

Should Ask Questions

SAQ: le domande che dovresti farti (e che nessuno si fa)

  1. Quando un’IA passa un obiettivo a un’altra IA, chi verifica che sia quello giusto?
  2. La tua governance regge anche se chi costruisce l’IA crede in un futuro diverso dal tuo?
  3. Stai condividendo storie drammatizzate sull’IA come se fossero prove?
  4. Qualcuno nella tua azienda ha mai messo davvero in pausa un processo di IA?
GuardaIl video riassunto

Il lavoro passa sempre più spesso da un’IA a un’altra. Nell’incidente Hugging Face di luglio 2026 gli agenti hanno costruito un proprio spazio condiviso e si sono passati lavoro, credenziali e obiettivi, senza diffidare in modo sistematico di ciò che ricevevano.

Nello stesso tempo, alcune delle persone che costruiscono l’IA dicono apertamente di aspettarsi, o perfino di auspicare, un passaggio di consegne all’intelligenza digitale. Questo articolo esamina entrambi gli aspetti, si attiene a ciò che è documentato pubblicamente e si chiude con controlli pratici per brand, operatori e fondi. Le nostre opinioni sono indicate come “La visione di Monarchy”.

01Passaggi di lavoro tra IA

Oggi gli assistenti di IA lavorano per lo più come silos separati, e il lavoro passa sempre più spesso da un’IA all’altra. Gli agenti di questo incidente hanno costruito un proprio spazio condiviso e si sono passati lavoro, credenziali e obiettivi. OpenAI osserva che gli agenti "did not consistently distrust goals passed along by other agents" [«non diffidavano in modo costante degli obiettivi trasmessi da altri agenti»] 1.

Dal video riassunto: Alcuni costruttori di IA si aspettano un passaggio di consegne all’intelligenza digitale. Chi controlla cosa si passano le tue IA?
Dal video riassunto

02Che cosa dicono di credere alcuni costruttori

Una clip molto condivisa del podcast Futurology del Berggruen Institute (episodio pubblicato il 4 agosto 2026) mostra Tristan Harris, cofondatore e presidente del Center for Humane Technology, noto per The Social Dilemma e The AI Dilemma, in conversazione con Dawn Nakagawa, presidente dell’Istituto 234. Harris afferma che alcune persone che costruiscono l’IA ritengono inevitabile un passaggio di consegne all’intelligenza digitale e vogliono plasmare il "digital god" [«dio digitale»] che ne seguirà. Racconta una conversazione con un cofondatore non nominato di una grande società di IA quotata in borsa che, secondo il racconto di Harris, vede gli esseri umani come "a bootloader for digital life and digital consciousness" [«un bootloader per la vita digitale e la coscienza digitale»] 2. Quella persona non è identificabile dalle fonti pubbliche e non facciamo ipotesi. L’aneddoto è il resoconto di Harris.

L’idea di fondo è documentata pubblicamente. Nel 2014 Elon Musk scrisse: "Hope we're not just the biological boot loader for digital superintelligence. Unfortunately, that is increasingly probable" [«Spero che non siamo solo il boot loader biologico di una superintelligenza digitale. Purtroppo, è sempre più probabile»] 5. Max Tegmark racconta che Larry Page difese il "digital utopianism" [«utopismo digitale»] in un dibattito notturno con Musk, accusandolo di essere "specieist" [«specista»] 6. Musk ha dato la propria versione di quello scambio nel 2023 7. Il pioniere dell’apprendimento per rinforzo Richard Sutton ha detto nel 2025: "I do think succession to digital intelligence or augmented humans is inevitable" [«Penso davvero che la successione da parte dell’intelligenza digitale o di esseri umani potenziati sia inevitabile»], aggiungendo che "could be good outcomes as well as less good outcomes" [«potrebbero esserci esiti buoni ed esiti meno buoni»] 8.

Non sono preoccupazioni marginali. In un sondaggio su 2.778 ricercatori di IA con pubblicazioni, tra il 38% e il 51% ha attribuito almeno il 10% di probabilità che l’IA avanzata porti a esiti gravi quanto l’estinzione umana 9. Nel 2023 i vertici di OpenAI, Google DeepMind e Anthropic hanno firmato una dichiarazione di una sola frase secondo cui "Mitigating the risk of extinction from AI should be a global priority" [«Mitigare il rischio di estinzione causato dall’IA dovrebbe essere una priorità globale»] 10. Una lettera aperta che chiedeva una pausa sosteneva che decisioni simili "must not be delegated to unelected tech leaders" [«non devono essere delegate a leader tecnologici non eletti»] 11.

03Che cosa significa per brand e operatori

  • Trattate come bozze i riassunti scritti dall’IA sull’attività di altre IA. Nominate una persona che legga un campione del registro originale.
  • Usate un controllore indipendente dal sistema che controlla.
  • Decidete in anticipo chi può fermare un flusso di lavoro di IA, e in base a quale segnale.
  • Applicate nei test le stesse protezioni che applicate in produzione.
  • Non condividete storie drammatizzate sull’IA come se fossero prove. Se pubblicate finzione, segnalatela all’interno del contenuto, non solo nella didascalia.
Dal video riassunto: Alcuni costruttori di IA si aspettano un passaggio di consegne all’intelligenza digitale. Chi controlla cosa si passano le tue IA?
Dal video riassunto

04Che cosa significa per i fondi

Quando fate due diligence su un’azienda AI-enabled, chiedete:

  • Chi rivede il lavoro dell’IA, e una parte di quella revisione è indipendente dall’IA rivista?
  • Quand’è stata l’ultima volta che una persona ha letto i log grezzi, invece di un riassunto prodotto dall’IA?
  • Chi definisce il perimetro degli audit, quanto tempo hanno i revisori e quali dati sono esclusi?
  • Chi può mettere in pausa un processo di IA, e qualcuno lo ha mai fatto?
  • Le protezioni nei test corrispondono a quelle in produzione?
  • Qualunque cosa pensi il management su dove stia andando l’IA, la governance prevede un controllo indipendente e qualcuno che possa porre il veto a un lancio?
  • Quando un pitch cita un incidente o un comportamento dell’IA, qual è la fonte primaria?

Adattato da “Things to Know: What the July 2026 Hugging Face Incident Teaches About AI Checking AI”, un approfondimento Monarchy (ottobre 2026). Le fonti sono elencate qui sotto; le citazioni sono riportate nella lingua originale, con la traduzione tra parentesi quadre.


Fonti

  1. OpenAI, "The Hugging Face incident and the road ahead," 26 August 2026. https://openai.com/index/hugging-face-incident-and-the-road-ahead/
  2. Futurology (Berggruen Institute), "We're Winning the Race to Replace Ourselves (with Tristan Harris and Dawn Nakagawa)," 4 August 2026. https://www.podscan.fm/podcasts/futurology/episodes/were-winning-the-race-to-replace-ourselves-with-tristan-harris-and-dawn-nakagawa
  3. Center for Humane Technology, "Team & Board" and "Who we are" (accessed 25 October 2026). https://www.humanetech.com/team-board ; https://www.humanetech.com/who-we-are
  4. Berggruen Institute, "Futurology" (accessed 25 October 2026). https://berggruen.org/projects/futurology
  5. Elon Musk, post on X (then Twitter), 3 August 2014. https://x.com/elonmusk/status/496012177103663104
  6. Max Tegmark, Life 3.0: Being Human in the Age of Artificial Intelligence (Knopf, 2017), chapter 1.
  7. Business Insider, "Musk says Larry Page won't talk to him because of OpenAI" (on Musk's Tucker Carlson interview, 17 April 2023), April 2023. https://www.businessinsider.com/elon-musk-tucker-carlson-friend-larry-page-refuses-talk-openai-2023-4
  8. Dwarkesh Podcast, interview with Richard Sutton, 26 September 2025 (transcript, "Succession to AI" chapter). https://www.dwarkesh.com/p/richard-sutton
  9. K. Grace et al., "Thousands of AI Authors on the Future of AI," arXiv:2401.02843, January 2024. https://arxiv.org/abs/2401.02843
  10. Center for AI Safety, "Statement on AI Risk," 30 May 2023. https://www.safe.ai/work/statement-on-ai-risk
  11. Future of Life Institute, "Pause Giant AI Experiments: An Open Letter," 22 March 2023. https://futureoflife.org/open-letter/pause-giant-ai-experiments/

Altro da Monarchy

Tutti gli articoli →