Qué entiende y qué no entiende ChatGPT, y motivos por los que probablemente cambiará radicalmente el sector de la localización

Desde su lanzamiento el 30 de noviembre de 2022, la popularización de ChatGPT ha generado una atención y un nivel de críticas sin precedentes. Tras pasar varios días (y noches) manteniendo conversaciones con ChatGPT, en nuestra opinión, estas son las únicas preguntas que importan:

• ¿Cuáles son sus puntos fuertes?
  
  
• ¿Cuáles son sus puntos débiles?
  
  
• ¿Cómo podemos usarlo?

¿Quiere obtener respuestas a estas preguntas y conocer nuestras previsiones en relación con esta nueva herramienta de localización? Siga leyendo. Además, próximamente también publicaremos un artículo más extenso y detallado sobre este tema.

¿Cuáles son los puntos débiles de ChatGPT?

Son varios los motivos por los que no se puede confiar en ChatGPT:

1. No dice la verdad. ChatGPT dice lo que la gente quiere oír a partir de la información que tiene.
   
   
2. No tiene la más remota idea de cómo es el mundo real. El sistema solo conoce una versión revisada de los comentarios que hace la gente sobre el mundo real y emplea dicha información para crear un lenguaje muy convincente con el que representar lo que ha aprendido.
   
   
3. Tampoco sabe contar. Tratamos de reproducir la simulación de Jonas Degrave en Engraved utilizando un cálculo más complicado y obtuvimos un resultado erróneo. No obstante, sí que intenta multiplicar correctamente los dos números de este comando de Python que sabe cómo simular, lo que resulta extraordinario. Sin embargo, no es capaz de contar.
   
   
4. Y, evidentemente, no es capaz de pensar. A menudo, redactará un texto que define premisas precisas y afirmaciones verdaderas sobre lo que se le ha pedido que haga, pero lo aplicará con total confianza de manera errónea. Básicamente, no puede razonar. No es una máquina de estados finitos.
   
   
5. Su jactancia revestida de humildad resulta un poco vergonzante. ChatGPT redactará frases con aplomo y autoridad, pero responderá tímidamente que solo quiere ayudar y mostrará un arrepentimiento bochornoso cuando se le indique que no ha entendido algo correctamente.

¿Cuáles son los puntos fuertes de ChatGPT?

Tras haber analizado lo que no es y lo que no puede hacer ChatGPT, veamos qué es lo que sí puede hacer como intérprete y generador de textos. ChatGPT puede hacer lo siguiente:

• Redactar mejor que las personas. Tras haber mantenido muchas conversaciones con ChatGPT, no nos cabe la menor duda. Es capaz de redactar con diversos niveles de complejidad y una gran variedad de vocabulario. En nuestra opinión, esta IA generativa es igual de buena que los mejores redactores humanos de contenido.
  
  
• Seguir las instrucciones. La herramienta modificará los textos a la perfección de maneras específicas, tanto en cuanto a la forma como al contenido. Y, lo que es más importante, mantiene el contexto de la conversación y entiende las alusiones a lo que ha hecho antes, incluso de la manera más coloquial posible.
  
  
• Modificar el texto sin alterar el significado. A partir de cualquier texto, y tras seguir unas instrucciones, ChatGPT puede modificar su contenido, forma y estilo. Consigue mantener el contenido semántico del texto o modificarlo de la manera que se le indique.
  
  
• Gestionar terminología multilingüe, un aspecto crucial en la localización. Todavía no sabemos si esta capacidad resulta factible para aplicarla a la traducción a gran escala. Sin embargo, sí creemos que ChatGPT puede hacer un trabajo decente a la hora de introducir terminología específica mientras edita el material previamente traducido, incluso aunque no sea el traductor original.
  
  
• Detectar textos ofensivos. Durante la prueba, se introdujeron en ChatGPT extractos de un alegato perteneciente a un proceso penal federal con mensajes de texto racistas y homófobos y, a continuación, se le pidió que identificase el texto ofensivo. La herramienta hizo un gran trabajo y logró explicar su razonamiento.
  
  
• Detectar las entidades. Se le pidió a ChatGPT que realizase un ejercicio típico de detección de entidades y que colocase etiquetas en torno a ellas. Solo falló en un par de ocasiones. Sin embargo, con un par de indicaciones adicionales, consiguió etiquetar las entidades fácilmente.
  
  
• Realizar clasificaciones en una taxonomía. Uno de los aspectos más fascinantes de ChatGPT es su manera de aplicar los conocimientos generales a una situación específica.

Hemos determinado que no se puede confiar en ChatGPT para decir verdades o saber qué es lo correcto (lo que implica que los creadores de contenido tendrían que comprobar si está diciendo alguna tontería). Sin embargo, una vez que tengamos un texto con un significado que nos resulte satisfactorio, ChatGPT podrá manipular o transformar su forma y su contenido manteniendo el significado codificado. Esta capacidad constituye una gran oportunidad para los proveedores de localización, puesto que gracias a ella no será necesario generar contenido relevante desde cero. Vamos a examinar más de cerca el conjunto de las actividades de localización y qué influencia podría tener ChatGPT en lo que hacemos hoy en día. Esta IA generativa:

• Es muy habilidosa con tareas de traducción. En el caso de las lenguas que cuenten con grandes corpus, ChatGPT probablemente tiene un nivel similar al de los motores de última generación para obtener resultados de traducción automática listos para usar y, en algunos casos, incluso superior.
  
  
• Parece bastante eficaz a la hora de seguir instrucciones terminológicas.
  
  
• Puede aplicar instrucciones de estilo, tanto de manera general como más específica. En contraposición, conseguir que los motores de traducción automática realicen estos tipos de tareas correctamente resulta complicado.
  
  
• Es una herramienta bastante buena para realizar categorizaciones, en especial de texto, en taxonomías arbitrarias. Esta habilidad resulta ventajosa para el sector de la localización, ya que puede que queramos aplicar instrucciones específicas a ciertos tipos de contenido y otras instrucciones a otros.
  
  
• Destaca en las tareas de edición de un determinado texto, el elemento más crucial para lograr una localización de calidad. Ofrece resultados bastante buenos en los cuatro principales componentes de revisión y traducción de textos.
  
  
• Sirve de ayuda para analizar el contenido, ya que analiza el texto para conseguir un procesamiento eficaz, mejorarlo o aumentar el rendimiento de la inversión. Puede ayudar a prever o adelantarse a los problemas de calidad de la traducción, ajustarse para incrementar la eficacia de los resultados en relación con el alcance, el SEO o el rendimiento de los CTA/CTR, y mejorar la legibilidad de los textos original y traducido, entre otras cosas.
  
  
• Ayuda a redactar y editar código provisional. Entre los programadores de élite existe el debate de si ChatGPT es capaz de escribir código a su nivel y todo apunta a que no. Sin embargo, en la prueba le pedimos que escribiese algo de código de extracción de contenido en XML y generó un código que pudimos ejecutar. Esto facilita la creación de código (y aprender a hacerlo) para los que no son programadores.

ChatGPT precisará nuevas habilidades y prácticas

Hemos comenzado a entender qué tipo de indicaciones necesita ChatGPT. Esta tecnología especial solo admite como entrada el lenguaje natural. Para emplear esta tecnología en tareas de producción, tendremos que aprender a darle instrucciones eficaces. Es probable que las transformaciones específicas de contenido requieran una sucesión de instrucciones que, individualmente, ejecutarán tareas distintas: limpieza, preprocesamiento, posprocesamiento, etc. Aprender a utilizar las indicaciones del lenguaje natural como parte de nuestros procesos de automatización, de manera que sean relevantes en el contexto y lo bastante predecibles en el resultado, será un proceso muy interesante.

¿Qué nos deparará el futuro?

Ahora, ya sabemos que no podemos ignorar esta nueva IA generativa. Es muy probable que altere nuestro sector. Por ello, debemos liderar y orientar ese impulso hacia la automatización del lenguaje si no queremos quedarnos atrás. ChatGPT puede transformar y anotar textos a la par que un editor humano medio y, probablemente, realizará estas tareas de manera más eficiente. Puede realizar diversas tareas recurriendo a un gran abanico de habilidades que prácticamente ningún ser humano individual posee, así como extrapolar su conocimiento a nuevas situaciones.

Y, lo que es más importante, demuestra tener potencial para resolver algunos problemas pendientes relacionados con la automatización de la localización. Evidentemente, una cosa es mantener una conversación con la herramienta utilizando ejemplos de broma y otra muy distinta plantearnos utilizarla a gran escala para realizar estas acciones. De cara al futuro, debemos:

• Realizar pruebas en el mundo real a escala para evaluar los porcentajes de error para cada tipo de tarea de localización y edición que se analizan aquí.
  
  
• Analizar los recorridos detallados de los usuarios a nivel macro y micro que se realizan dentro de las cadenas de valor de la localización e identificar en qué puntos es probable que se produzcan alteraciones debido a este tipo de automatización de textos.
  
  
• Entender cómo dar instrucciones y ofrecer contexto relevante a ChatGPT a escala y documentar las deficiencias y mejores prácticas.
  
  
• Desarrollar nuevos flujos de trabajo de edición de la automatización y en los que se requiera la intervención humana, vaticinando qué implicará la posedición y el control de calidad en el futuro al introducir esa IA en el bucle.
  
  
• Diseñar nuevos contextos de interacción de la automatización y la experiencia de usuario tanto para los agentes como para los clientes de los servicios de localización en cada una de las posibles oportunidades de mejora.
  
  
• Garantizar que la rentabilidad de las licencias, los costes de desarrollo y el mantenimiento compensen.

Algunos apuntes sobre el lenguaje y el uso en el mundo real de ChatGPT

Uno de los aspectos que nos resultaron más sorprendentes de ChatGPT fue la manera en que era capaz de entender casi correctamente operaciones numéricas complejas, pero sin llegar a acertar. No hace trampas; realmente aprende todo lo relativo al idioma en el que se le entrena. El hecho de que la herramienta encuentre casi el resultado correcto de una operación más allá de cierto orden de magnitud (y el resultado correcto, en el caso de números más pequeños) nos sugiere que un corpus lingüístico con la escala suficiente contiene conocimientos estadísticamente relevantes acerca del mundo real. Sin embargo, también demuestra que se necesitan sistemas formales específicos (como las matemáticas) para elaborar información pertinente, fiable y precisa sobre el mundo real.

ChatGPT ofrece el aleccionador recordatorio de que un sistema autorreferencial y autónomo no puede de por sí transmitir la veracidad del mundo, que existe de manera independiente. Esto recuerda al teorema de incompletitud de Gödel. Como seres conscientes, no podemos desvincular nuestro conocimiento de los sistemas formales y materiales que sustentan nuestra comprensión del mundo en una realidad que se impone sobre nosotros y que no podemos definir únicamente mediante el lenguaje.

Póngase en contacto con nosotros

¿Tiene su propio proyecto de traducción o localización? ¿Tiene que asegurarse de que se realiza de manera precisa, rápida y sin salirse del presupuesto? Utilizaremos una innovadora IA generativa, como ChatGPT, para ayudarle. Póngase en contacto con nosotros hoy mismo y obtenga más información sobre los servicios de traducción y localización de Lionbridge.