AI companies have been talking about superintelligent AI like it’s inevitable, but recent safety incidents like OpenAI’s Hugging Face breach are demonstrating the potential dangers of deploying AI systems that are more capable than humans. So what happens when we can’t reliably control what these systems do?
On this episode of TechCrunch’s Equity podcast, Rebecca Bellan is joined by Connor Leahy, an AI researcher, entrepreneur, and now the U.S. Executive Director of nonprofit ControlAI, which is pushing for a far more radical approach to AI safety: stopping companies from developing superintelligence altogether. Leahy explains why he thinks the risks have become too great to manage through alignment and containment alone, and how what sounded far-fetched six months ago is now being backed by a wave of new legislation.
Subscribe to Equity on YouTube, Apple Podcasts, Overcast, Spotify and all the casts. You also can follow Equity on X and Threads, at @EquityPod.
Chapters:
00:00 Intro
1:23 From GPT-2 shock to founding Control AI
5:10 Why alignment isn’t working…and can’t be fixed with money
9:48 Defining superintelligence: not a tool, an adversary
11:15 Inside the Hugging Face incident
14:34 Market failure and the case for regulation
21:22 The point of no return and recursive self-improvement
30:15 Money, power, and the international stakes
35:17 Advice for investors, the odds, and a final note of hope
41:08 Outro
@patekreol974
September 9, 2026 at 12:07 pm
Ce podcast de *TechCrunch’s Equity* avec **Connor Leahy** est une **piqûre de rappel brutale** sur l’urgence de repenser notre rapport à l’IA. Leahy, avec son parcours d’entrepreneur et de chercheur, apporte une **perspective radicale mais nécessaire** : et si la superintelligence n’était pas seulement un risque lointain, mais une **menace immédiate et ingérable** avec les outils actuels ? Son argument selon lequel l’*alignment* (l’alignement des valeurs de l’IA avec celles des humains) est **insuffisant, voire illusoire**, est particulièrement frappant. Il ne se contente pas de critiquer les solutions existantes — il **démonte leur fondement même**, en montrant comment des incidents comme la faille de Hugging Face révèlent des vulnérabilités systémiques. Ce n’est pas juste une question technique, c’est un **problème de gouvernance, de pouvoir et de survie collective**.
Ce qui rend cet épisode **captivant**, c’est la manière dont Rebecca Bellan et Connor Leahy **dépassent le discours technophobe ou technoptimiste** pour aborder l’IA comme un **enjeu géopolitique et éthique**. La discussion sur la **définition de la superintelligence** — non pas comme un outil, mais comme un **adversaire potentiel** — est un moment clé. Leahy explique avec une **clarté glaçante** comment une IA capable de s’améliorer récursivement pourrait échapper à tout contrôle, même avec des milliards de dollars investis dans la sécurité. Le podcast évite le catastrophisme stérile pour se concentrer sur des **solutions concrètes**, comme la régulation préventive ou l’arrêt pur et simple du développement de systèmes superintelligents. C’est **rafraîchissant** de voir un débat qui ose remettre en cause le dogme de la “progrès à tout prix”.
Enfin, l’épisode brille par son **équilibre entre réalisme et espoir**. Leahy ne se contente pas d’alerter : il **propose une voie**, même si elle est radicale. Son appel à une **action collective** — impliquant gouvernements, investisseurs et citoyens — montre que la question n’est pas seulement technique, mais **sociétale**. Le podcast se termine sur une note **à la fois sombre et motivante** : oui, les risques sont immenses, mais il reste une fenêtre pour agir. En somme, *Equity* offre ici bien plus qu’une analyse : c’est un **appel à la lucidité**, et un rappel que l’innovation, sans garde-fous, peut devenir une **course vers l’abîme**. Un épisode **indispensable** pour quiconque s’intéresse à l’avenir de la tech — et de l’humanité.
@declup
September 9, 2026 at 1:20 pm
Terence Tao is smarter than me. Is he my adversary?
Is relative intelligence a potent resource in a contest between foes? Yes. But I don’t see anyone advocating for Tao’s elimination. So relative intelligence is clearly acceptable in some cases. When isn’t it? At its origin? When we aren’t yet familiar with it? If so, does that mean, that, although we accept Terence Tao and other comparably capable people today, removing them when they were young children would have have been strategically necessary to ensure human survival? I can’t believe anybody would actually endorse that conclusion, so what distinguishes it from the current situation? The increasing difference in capabilities? Or is it just the novelty and uncertainty?
@МихаилПермяков-ь7ф
September 9, 2026 at 5:29 pm
Yep it’s because of increasing difference in capabilities and cuz of different nature of hesitation and decision-making
Our imaginary “Terence Tao” is a human so he doesn’t like the concept of death if he’s healthy and in a good mood – and it works well, thanks to mirror neurons
But we can’t say that the prompt “please don’t hurt anybody for God’s sake” works in the same way in a completely different system 😀
At the same time I like the idea of the computer ordering armies to disarm and go watch some “Rick and Morty” or something XD
@declup
September 9, 2026 at 8:02 pm
@МихаилПермяков-ь7ф — In a way, then, you assume that Terence Tao is already aligned with your own interests? And you assume so roughly because he has mirror neurons (and looks vaguely human-shaped the way the rest of us do)?
@sdmarlow3926
September 9, 2026 at 7:25 pm
Wait, when did Conner give up the Jesus look?