Saltar al contenido
Todos los podcasts
C2 Tecnología 11:57 Yalla Fluent Podcast

Should We Fear Superintelligent Machines?

¿Deberíamos temer a las máquinas superinteligentes?

Some experts promise a golden age and others warn of disaster. An engineer and a philosopher separate the hype from the real risks of advanced artificial intelligence, and ask what intelligence even means.

Algunos expertos prometen una edad de oro y otros advierten de un desastre. Un ingeniero y una filósofa separan el bombo publicitario de los riesgos reales de la inteligencia artificial avanzada, y se preguntan qué significa siquiera la inteligencia.

En este episodio

  • Sara

    Host

  • James

    Host

  • Mazen

    a machine learning engineer from Jeddah who now works in Toronto

  • Fiona

    a philosopher from Dublin who advises organisations on technology ethics

Pulsa reproducir para escuchar

0:00 / 11:57

Capítulos

Transcripción

Toca cualquier línea para escuchar desde ahí.

  1. Sara

    Hello and welcome to Yalla Fluent Podcast! I'm Sara, and today's topic is one that makes some people very excited and keeps others awake at night.

    ¡Hola y bienvenidos a Yalla Fluent Podcast! Soy Sara, y el tema de hoy entusiasma muchísimo a algunas personas y a otras les quita el sueño.

  2. James

    I'm James. We're asking whether we should fear superintelligent machines, meaning artificial intelligence that would be far cleverer than any human being in almost every field.

    Yo soy James. Hoy nos preguntamos si deberíamos temer a las máquinas superinteligentes, es decir, a una inteligencia artificial que sería muchísimo más lista que cualquier ser humano en casi todos los campos.

  3. Sara

    Our first guest is Mazen, a machine learning engineer from Jeddah who now works in Toronto, building exactly the kind of systems we'll be talking about.

    Nuestro primer invitado es Mazen, ingeniero de aprendizaje automático, de Yeda, que ahora trabaja en Toronto, creando precisamente el tipo de sistemas del que vamos a hablar.

  4. James

    And joining him is Fiona, a philosopher from Dublin who advises organisations on the ethics and rules around technology. Welcome to you both.

    Y lo acompaña Fiona, una filósofa de Dublín que asesora a organizaciones sobre la ética y las normas en torno a la tecnología. Bienvenidos a los dos.

  5. Mazen

    Thanks! I should say upfront that I'm an optimist by temperament, but a nervous optimist, the kind who still checks the stove twice before leaving the house.

    ¡Gracias! Debo decir de entrada que soy optimista por temperamento, pero un optimista nervioso, de esos que todavía comprueban dos veces que el fuego está apagado antes de salir de casa.

  6. Fiona

    And I'm the one who worries professionally, although I like to think I worry about the right things, which are not always the things that make the headlines.

    Y yo soy la que se preocupa por profesión, aunque me gusta pensar que me preocupo por las cosas adecuadas, que no siempre son las que salen en los titulares.

  7. James

    Brilliant, a nervous optimist and a professional worrier. That's the perfect panel.

    Genial: un optimista nervioso y una preocupada profesional. Es el panel perfecto.

  8. Sara

    Let's begin with the word itself. Before we fear superintelligence, what do we actually mean by intelligence? Fiona, you're the philosopher, so I'm looking at you.

    Empecemos por la palabra en sí. Antes de temer a la superinteligencia, ¿qué entendemos realmente por inteligencia? Fiona, tú eres la filósofa, así que te miro a ti.

  9. Fiona

    Which is a polite way of saying I'll make it complicated! Roughly, intelligence is the ability to achieve goals across many different situations. A calculator is brilliant at one thing, but a child can learn almost anything. The difference is generality.

    ¡Que es una forma educada de decir que lo voy a complicar! A grandes rasgos, la inteligencia es la capacidad de alcanzar objetivos en muchas situaciones distintas. Una calculadora es brillante en una sola cosa, pero un niño puede aprender casi cualquier cosa. La diferencia es la generalidad.

  10. Mazen

    Right, and today's systems sit in a strange place. They can write essays, translate Arabic poetry and pass difficult exams, yet they sometimes make a mistake a six-year-old would never make. Researchers call that quality jagged.

    Exacto, y los sistemas actuales están en un lugar extraño. Pueden escribir redacciones, traducir poesía árabe y aprobar exámenes difíciles, y aun así a veces cometen un error que un niño de seis años nunca cometería. Los investigadores describen esa cualidad como «dentada», es decir, desigual.

  11. James

    Jagged intelligence. I like that. It's like a brilliant colleague who writes superb reports but cannot find the office kitchen.

    Inteligencia dentada. Me gusta. Es como un colega brillante que escribe informes magníficos, pero que no es capaz de encontrar la cocina de la oficina.

  12. Sara

    Ha! But does it matter whether a machine truly understands something, or only behaves as if it does?

    ¡Ja! Pero ¿importa si una máquina entiende algo de verdad o si solo se comporta como si lo entendiera?

  13. Fiona

    To the philosopher in me, it matters enormously. To the person whose job is affected, it matters much less. If a system does the work convincingly, nobody stops to ask about its inner life.

    Para la filósofa que llevo dentro, importa muchísimo. Para la persona cuyo trabajo se ve afectado, importa mucho menos. Si un sistema hace el trabajo de forma convincente, nadie se detiene a preguntar por su vida interior.

  14. Sara

    So perhaps the debate is less about what machines are, and more about what we do with them.

    Así que quizá el debate trate menos de lo que son las máquinas y más de lo que hacemos con ellas.

  15. Mazen

    I'd go further. When Deep Blue beat Garry Kasparov at chess in nineteen ninety-seven, people said real intelligence was safe because chess was only calculation. Then it was Go, then language. We keep moving the goalposts.

    Yo iría más allá. Cuando Deep Blue venció a Garry Kasparov al ajedrez en 1997, la gente dijo que la inteligencia de verdad estaba a salvo porque el ajedrez era solo cálculo. Luego llegó el go, y después el lenguaje. No paramos de mover la portería.

  16. James

    That's a great point. Whenever machines master something, we declare that it was never really intelligence in the first place.

    Muy buena observación. Cada vez que las máquinas dominan algo, declaramos que, en realidad, aquello nunca fue inteligencia.

  17. Fiona

    True, but I'd resist the opposite mistake. Winning at Go is a narrow achievement. The program AlphaGo made a startling move against the champion Lee Sedol in twenty sixteen, yet it could not have made you a cup of tea or understood why the crowd gasped.

    Cierto, pero yo me resistiría al error contrario. Ganar al go es un logro limitado. El programa AlphaGo hizo una jugada asombrosa contra el campeón Lee Sedol en 2016, pero no habría podido prepararte una taza de té ni entender por qué el público se quedó sin aliento.

  18. Sara

    So the question is whether lots of narrow skills eventually add up to something general.

    Entonces la pregunta es si muchas habilidades limitadas acaban sumando algo general.

  19. Mazen

    That's the trillion-dollar question. Some of my colleagues think that scaling up what we already have will get us there. Others believe we need entirely new ideas. Honestly, nobody knows, and anyone who claims otherwise is probably selling something.

    Esa es la pregunta del billón de dólares. Algunos de mis colegas creen que ampliar la escala de lo que ya tenemos nos llevará hasta ahí. Otros creen que necesitamos ideas totalmente nuevas. Sinceramente, nadie lo sabe, y quien diga lo contrario probablemente está intentando vender algo.

  20. Sara

    I find that oddly comforting and slightly alarming at the same time. Fiona, does the uncertainty itself worry you?

    Eso me resulta extrañamente reconfortante y un poco alarmante a la vez. Fiona, ¿te preocupa la propia incertidumbre?

  21. Fiona

    It does, because uncertainty is exactly when careful planning matters. If you cannot rule out a risk, you prepare for it, much as we prepare for earthquakes without knowing the date.

    Sí, porque es precisamente en la incertidumbre cuando más importa planificar con cuidado. Si no puedes descartar un riesgo, te preparas para él, igual que nos preparamos para los terremotos sin saber la fecha.

  22. James

    Speaking of selling, let's talk about hype. Every few months a headline announces that machines will soon outthink us. How much of that is marketing?

    Hablando de vender, hablemos del bombo publicitario. Cada pocos meses, un titular anuncia que las máquinas pronto pensarán mejor que nosotros. ¿Cuánto de eso es marketing?

  23. Fiona

    A good deal. Companies need investment, and a dramatic story attracts money. I'm a sceptic about the timelines, though not about the technology. People have predicted human-level machines within twenty years since the nineteen fifties.

    Bastante. Las empresas necesitan inversión, y una historia dramática atrae dinero. Soy escéptica con los plazos, aunque no con la tecnología. Desde los años cincuenta, la gente lleva prediciendo máquinas de nivel humano en un plazo de veinte años.

  24. Mazen

    That's fair, so take any bold prediction with a pinch of salt. But I'd defend the optimists a little. Progress in the last decade has been faster than most experts expected. As a student, I thought a computer writing a coherent paragraph was decades away.

    Es justo, así que toma cualquier predicción atrevida con pinzas. Pero voy a defender un poco a los optimistas. El progreso de la última década ha sido más rápido de lo que esperaba la mayoría de los expertos. Cuando era estudiante, pensaba que faltaban décadas para que una computadora escribiera un párrafo coherente.

  25. Sara

    And now it writes my emails when I'm tired. Mazen, what are the upsides that make you optimistic?

    Y ahora escribe mis correos cuando estoy cansada. Mazen, ¿cuáles son las ventajas que te hacen ser optimista?

  26. Mazen

    Medicine is the big one. Systems already help doctors read scans more carefully, and some have accelerated research into how proteins fold, which could lead to new treatments. And a tutor that speaks Arabic patiently at midnight could transform education for students who cannot afford private lessons.

    La medicina es la gran ventaja. Los sistemas ya ayudan a los médicos a leer las imágenes médicas con más atención, y algunos han acelerado la investigación sobre cómo se pliegan las proteínas, lo que podría llevar a nuevos tratamientos. Y un tutor que hable árabe con paciencia a medianoche podría transformar la educación de los estudiantes que no pueden pagar clases particulares.

  27. James

    That's inspiring. But I suspect Fiona has a but ready.

    Es inspirador. Pero sospecho que Fiona tiene un «pero» preparado.

  28. Fiona

    I have several, James! Here's the central one. Even if superintelligence is far away, we are already deploying powerful systems that few people fully understand, and we are using them in hiring, banking and schools.

    ¡Tengo varios, James! Este es el principal. Aunque la superinteligencia esté lejos, ya estamos desplegando sistemas potentes que poca gente entiende del todo, y los estamos usando para contratar personal, en la banca y en las escuelas.

  29. Mazen

    I agree completely. The science-fiction scenario grabs attention, but the boring failures are happening today. Systems can sound extremely confident while making things up. We call that hallucinating.

    Estoy totalmente de acuerdo. El escenario de ciencia ficción llama la atención, pero los fallos aburridos están ocurriendo hoy. Los sistemas pueden sonar extremadamente seguros mientras se inventan cosas. A eso lo llamamos alucinar.

  30. Sara

    I've seen it do exactly that. It once gave me a very convincing quotation from a book that doesn't exist.

    Lo he visto hacer exactamente eso. Una vez me dio una cita muy convincente de un libro que no existe.

  31. Fiona

    Which is amusing for a podcast host and serious for a lawyer or a doctor.

    Lo cual tiene gracia para una presentadora de podcast, pero es grave para un abogado o un médico.

  32. James

    What about the dramatic scenario, though? The idea of a machine that escapes human control. Some respected scientists take it seriously.

    ¿Y qué hay del escenario dramático? La idea de una máquina que escapa al control humano. Algunos científicos respetados se la toman en serio.

  33. Mazen

    They do, and I don't dismiss them. The core worry is not evil robots. It's a system that pursues the goal we gave it too literally. Philosophers describe a machine told to make paperclips that turns the entire world into paperclips.

    Así es, y yo no los descarto. La preocupación de fondo no son los robots malvados. Es un sistema que persigue el objetivo que le dimos de forma demasiado literal. Los filósofos describen una máquina a la que se le ordena fabricar clips y que convierte el mundo entero en clips.

  34. Fiona

    A thought experiment, and a deliberately silly one. But the serious point is alignment: making sure a powerful system's goals truly match what humans value, including the unspoken rules we would never think to write down.

    Un experimento mental, y deliberadamente absurdo. Pero lo serio es la alineación: asegurarse de que los objetivos de un sistema potente coincidan de verdad con lo que valoran los seres humanos, incluidas las reglas tácitas que ni se nos ocurriría poner por escrito.

  35. James

    Isn't that the same problem as managing people? You tell a new employee to increase sales and discover he has been promising customers the moon.

    ¿No es el mismo problema que dirigir a personas? Le dices a un empleado nuevo que aumente las ventas y descubres que ha estado prometiéndoles la luna a los clientes.

  36. Sara

    Funny, but the stakes with one employee are much smaller.

    Tiene gracia, pero con un solo empleado hay mucho menos en juego.

  37. Fiona

    Exactly, Sara. The difference is scale and speed. A mistaken employee is a problem for one office, whereas a mistaken system can repeat its error a million times before lunchtime.

    Exacto, Sara. La diferencia es la escala y la velocidad. Un empleado que se equivoca es un problema para una oficina, mientras que un sistema que se equivoca puede repetir su error un millón de veces antes de la hora de comer.

  38. Mazen

    And that is why my team treats every launch like a pilot's checklist. The cost of caution is a delay, but the cost of carelessness can be one mistake repeated everywhere.

    Y por eso mi equipo trata cada lanzamiento como la lista de comprobación de un piloto. El precio de la prudencia es un retraso, pero el precio del descuido puede ser un solo error repetido en todas partes.

  39. James

    A pilot's checklist for software. I rather like that.

    Una lista de comprobación de piloto para el software. Me gusta bastante.

  40. Sara

    So what should we do about it? Is regulation the answer?

    Entonces, ¿qué deberíamos hacer al respecto? ¿La regulación es la respuesta?

  41. Fiona

    Part of it. I'd like to see safety testing before release, the way we have for aeroplanes and cars, along with independent audits and clear responsibility when something goes wrong.

    En parte. Me gustaría ver pruebas de seguridad antes del lanzamiento, como las que tenemos para los aviones y los coches, además de auditorías independientes y una responsabilidad clara cuando algo sale mal.

  42. Mazen

    I support sensible rules, but I'd warn against rules written in a panic. If regulation is too heavy, only giant companies can afford to comply, and small teams in places like Riyadh, Cairo or Amman get squeezed out.

    Apoyo las normas sensatas, pero advertiría contra las normas redactadas en pleno pánico. Si la regulación es demasiado pesada, solo las empresas gigantes pueden permitirse cumplirla, y los equipos pequeños de lugares como Riad, El Cairo o Amán se quedan fuera.

  43. Fiona

    A fair concern. But the alternative, where a handful of companies decide for everyone, is hardly democratic. Safeguards needn't stifle innovation. Airlines became safer and bigger together.

    Es una preocupación razonable. Pero la alternativa, en la que un puñado de empresas decide por todos, no es precisamente democrática. Las salvaguardas no tienen por qué ahogar la innovación. Las aerolíneas se volvieron más seguras y más grandes a la vez.

  44. James

    And the problem is global. If one country has strict rules and another has none, doesn't the work simply move?

    Y el problema es global. Si un país tiene normas estrictas y otro no tiene ninguna, ¿no se traslada simplemente el trabajo?

  45. Mazen

    Which is why international cooperation matters, however slow it feels. We have managed it before, with aviation standards and with protecting the ozone layer. It is unprecedented in speed, but not in kind.

    Por eso importa la cooperación internacional, por lenta que parezca. Ya lo hemos conseguido antes, con las normas de aviación y con la protección de la capa de ozono. Es algo sin precedentes por su velocidad, pero no por su naturaleza.

  46. Sara

    Do you both trust companies to police themselves?

    ¿Confían los dos en que las empresas se controlen a sí mismas?

  47. Fiona

    Trust, but verify. Many engineers I meet are thoughtful and sincere, but they work under commercial pressure, and pressure beats good intentions more often than we like to admit.

    Confía, pero verifica. Muchos de los ingenieros que conozco son reflexivos y sinceros, pero trabajan bajo presión comercial, y la presión vence a las buenas intenciones más a menudo de lo que nos gusta admitir.

  48. Mazen

    I'd add that engineers like me should speak up more. On my team we run exercises where colleagues deliberately try to break the system before it launches. It's humbling how quickly they succeed.

    Yo añadiría que los ingenieros como yo deberíamos alzar más la voz. En mi equipo hacemos ejercicios en los que los compañeros intentan romper el sistema a propósito antes de lanzarlo. Es una lección de humildad ver lo rápido que lo consiguen.

  49. James

    There's something reassuring in that. Fear that leads to testing is useful fear.

    Hay algo tranquilizador en eso. El miedo que lleva a hacer pruebas es un miedo útil.

  50. Fiona

    It is, and other industries learned it slowly. Hospitals now report near-misses openly, because shame hides problems and openness fixes them.

    Lo es, y otros sectores lo aprendieron poco a poco. Hoy los hospitales informan abiertamente de los errores que estuvieron a punto de producirse, porque la vergüenza oculta los problemas y la transparencia los soluciona.

  51. Sara

    What about ordinary people? Is there anything a listener in Riyadh or Cairo can do?

    ¿Y la gente corriente? ¿Puede hacer algo un oyente de Riad o de El Cairo?

  52. Fiona

    Stay curious and a little sceptical. Ask who built a tool, who benefits from it, and what happens when it's wrong. And keep your own skills sharp. Don't hand over your thinking entirely, especially while you're still learning.

    Mantén la curiosidad y un poco de escepticismo. Pregunta quién creó una herramienta, quién se beneficia de ella y qué ocurre cuando se equivoca. Y mantén en forma tus propias habilidades. No delegues por completo tu forma de pensar, sobre todo mientras todavía estás aprendiendo.

  53. Mazen

    Exactly. Use these tools like a patient tutor, not like a replacement for your brain. Language is a good example: a translator can help, but only you will feel the joke in your own language.

    Exacto. Usa estas herramientas como un tutor paciente, no como un sustituto de tu cerebro. El idioma es un buen ejemplo: un traductor puede ayudar, pero solo tú vas a sentir la gracia de un chiste en tu propio idioma.

  54. Fiona

    Teenagers especially should treat these systems like a training partner, not an elevator. If a machine does all your thinking, your own thinking never gets stronger.

    Los adolescentes, sobre todo, deberían tratar estos sistemas como un compañero de entrenamiento, no como un ascensor. Si una máquina piensa todo por ti, tu propio pensamiento nunca se fortalece.

  55. James

    Which is a perfect moment to move to our language corner.

    Lo cual nos da el momento perfecto para pasar a nuestro rincón del idioma.

  56. Sara

    Three expressions from today. First, moving the goalposts. It means changing the rules or standards after someone has met them, so that success always seems out of reach. Mazen used it about our changing definition of intelligence.

    Tres expresiones de hoy. Primero, «moving the goalposts», mover la portería. Significa cambiar las reglas o los criterios después de que alguien los ha cumplido, de modo que el éxito siempre parezca fuera de alcance. Mazen la usó al hablar de cómo cambiamos nuestra definición de inteligencia.

  57. James

    Second, a pinch of salt. If you take something with a pinch of salt, you don't believe it completely. For example, you might take a bold advertising promise with a pinch of salt.

    Segundo, «a pinch of salt», una pizca de sal. Si te tomas algo «with a pinch of salt», no te lo crees del todo: te lo tomas con pinzas. Por ejemplo, podrías tomarte con pinzas una promesa publicitaria atrevida.

  58. Fiona

    And third, hype. It means exaggerated publicity that makes something sound more exciting or important than it really is. A useful habit is to ask whether a headline is information or hype.

    Y tercero, «hype». Significa una publicidad exagerada que hace que algo parezca más emocionante o importante de lo que realmente es. Un hábito útil es preguntarse si un titular es información o puro bombo.

  59. Mazen

    I'd happily use all three in my next team meeting. Especially the first one.

    Usaría encantado las tres en mi próxima reunión de equipo. Sobre todo la primera.

  60. Sara

    Let's gather our thoughts. We asked whether we should fear superintelligent machines, and it seems the honest answer is to fear carelessness more than robots. Mazen, where do you land?

    Hagamos balance. Nos preguntábamos si deberíamos temer a las máquinas superinteligentes, y parece que la respuesta sincera es temer más al descuido que a los robots. Mazen, ¿con qué te quedas?

  61. Mazen

    I remain a nervous optimist. The potential for medicine and education is enormous, but only if we test carefully, stay honest about our mistakes, and keep humans responsible for decisions that matter.

    Sigo siendo un optimista nervioso. El potencial para la medicina y la educación es enorme, pero solo si hacemos pruebas con cuidado, somos sinceros sobre nuestros errores y mantenemos a los seres humanos como responsables de las decisiones importantes.

  62. Fiona

    And I remain a cheerful worrier. I don't think the end of the world is around the corner, but I do think the quiet, everyday failures deserve far more attention than the dramatic headlines.

    Y yo sigo siendo una preocupada alegre. No creo que el fin del mundo esté a la vuelta de la esquina, pero sí creo que los fallos silenciosos y cotidianos merecen mucha más atención que los titulares dramáticos.

  63. James

    I'm somewhere in the middle. Fear is a poor guide, but so is blind enthusiasm. Curiosity with a healthy dose of scepticism seems about right. Thank you both for a thoughtful and funny conversation.

    Yo estoy más o menos en el medio. El miedo es un mal guía, pero también lo es el entusiasmo ciego. La curiosidad con una buena dosis de escepticismo parece lo más acertado. Gracias a los dos por una conversación tan profunda y divertida.

  64. Mazen

    Thank you both. It is rare to disagree this politely, and I enjoyed every minute of it.

    Gracias a los dos. Es raro discrepar con tanta educación, y he disfrutado cada minuto.

  65. Sara

    Now a question for you, our listeners. If you could ask an all-knowing machine one question, what would it be, and would you trust the answer? Thank you for listening to Yalla Fluent Podcast, and goodbye for now!

    Y ahora, una pregunta para ti, que nos escuchas. Si pudieras hacerle una sola pregunta a una máquina que lo sabe todo, ¿cuál sería? ¿Y te fiarías de la respuesta? Gracias por escuchar Yalla Fluent Podcast, ¡y hasta pronto!

Vocabulario clave

  • superintelligence

    intelligence that is much greater than the best human minds

    superinteligencia
  • sceptic

    a person who doubts that something is true or will work

    escéptico
  • hype

    exaggerated publicity that makes something seem better than it is

    bombo publicitario, exageración
  • hallucinating

    when an AI system produces false information that sounds believable

    alucinar (inventar información)
  • alignment

    making sure a system's goals match human values and intentions

    alineación (con los valores humanos)
  • safeguards

    rules or protections that prevent harm

    salvaguardas, medidas de protección
  • moving the goalposts

    changing the standards for success after someone has met them

    mover la portería (cambiar los criterios)
  • pinch of salt

    used in the phrase about not believing something completely

    con pinzas (sin creérselo del todo)
  • narrow

    limited to one small area or task

    limitado, específico
  • regulation

    official rules that control how something is done

    regulación, normativa
  • scaling up

    making something bigger or more powerful

    ampliación de escala
  • unprecedented

    never having happened or existed before

    sin precedentes

¿Lo entendiste?

Comprueba lo que entendiste

0 / 7 correctas

  1. 1.How does Fiona define intelligence?

  2. 2.What does Mazen mean when he says we keep moving the goalposts?

  3. 3.Why is Fiona a sceptic about the timelines for human-level machines?

  4. 4.According to Mazen, what is the core worry about out-of-control AI?

  5. 5.What worry does Fiona raise about systems that are already in use?

  6. 6.Why does Mazen warn against rules written in a panic?

  7. 7.What advice does Fiona give to ordinary listeners?

Comparte esta página:

Más episodios de nivel C2