Procesamiento del lenguaje natural (NLP)

Qué es y por qué es importante

El procesamiento del lenguaje natural (NLP, por sus siglas en inglés) es una rama de la inteligencia artificial que ayuda a las computadoras a entender, interpretar y manipular el lenguaje humano. NLP toma elementos prestados de muchas disciplinas, incluyendo la ciencia de la computación y la lingüística computacional, en su afán por cerrar la brecha entre la comunicación humana y el entendimiento de las computadoras.

Evolución del procesamiento del lenguaje natural

Aunque el procesamiento del lenguaje natural no es una ciencia nueva, la tecnología avanza rápidamente gracias a un mayor interés por las comunicaciones entre humanos y máquinas, además de la disponibilidad de big data, un potente cómputo y algoritmos mejorados .

Como humano, puede hablar y escribir en inglés, español o chino. Pero el lenguaje nativo de una computadora-conocido como código máquina o lenguaje máquina- es en gran medida incomprensible para la mayoría de la gente. En los niveles más bajos de su dispositivo, la comunicación no se produce con palabras, sino a través de millones de ceros y unos que producen acciones lógicas.

De hecho, los programadores utilizaban tarjetas perforadas para comunicarse con los primeros ordenadores hace 70 años. Este proceso manual y arduo era comprendido por un número relativamente pequeño de personas. Ahora puedes decir: "Alexa, me gusta esta canción", y un dispositivo que reproduzca música en tu casa bajará el volumen y responderá: "OK". Rating guardado", con voz humana. Enseguida, adapta su algoritmo para reproducir esa canción -y otras similares- y así la próxima vez que escuche esa emisora de música.

Veamos más de cerca esa interacción.Su dispositivo se activó cuando le oyó hablar, entendió la intención del comentario, ejecutó una acción y proporcionó una respuesta en una frase en el idioma bien formada, todo ello en el espacio de unos cinco segundos.La interacción completa fue posible gracias a la NLP, junto con otros elementos de IA como machine learning y deep learning.

Haga que cada voz se escuche con el procesamiento del lenguaje natural

Descubra cómo las máquinas pueden aprender a entender e interpretar los matices del lenguaje humano; cómo la IA, el procesamiento del lenguaje natural y la experiencia humana trabajan juntos para ayudar a humanos y máquinas a comunicarse y encontrar significado a los datos; y cómo se está utilizando la NLP en múltiples industrias.

Lea el e-book.

¿Por qué es importante el procesamiento del lenguaje natural?

Grandes volúmenes de datos textuales

El procesamiento del lenguaje natural ayuda a las computadoras a comunicarse con humanos en su lenguaje y escala otras tareas relacionadas con el lenguaje. Por ejemplo, NLP hace posible que las computadoras lean texto, escuchen la voz hablada, la interpreten, midan el sentimiento y determinen qué partes son importantes.

Las máquinas de hoy pueden analizar más datos basados en lenguajes que los humanos, sin fatigarse y de una forma consistente e imparcial. Considerando la asombrosa cantidad de datos no estructurados que se generan todos los días, desde registros médicos hasta medios sociales, la automatización será decisiva para analizar por completo datos de texto y habla con eficiencia.

Estructuración de una fuente de datos altamente no estructurada

El lenguaje humano es increíblemente complejo y diverso. Nos expresamos de maneras infinitas, verbalmente y por escrito. No sólo existen cientos de lenguajes y dialectos, pero en cada lenguaje existe un conjunto único de reglas gramáticas y de sintaxis, términos y palabras coloquiales. Cuando escribimos, a menudo cometemos errores ortográficos o abreviamos palabras, o bien omitimos signos de puntuación. Cuando hablamos, tenemos acentos regionales, y mascullamos, tartamudeamos o tomamos palabras prestadas de otros idiomas.

Aunque el aprendizaje supervisado y no supervisado, y específicamente el aprendizaje a fondo, se utilizan ahora ampliamente para modelar el lenguaje humano, se necesitan también entendimiento sintáctico y semántico, y conocimientos de dominio que no están necesariamente presentes en estos métodos de machine learning. NLP es importante porque ayuda a resolver la ambigüedad del lenguaje y agrega estructura numérica útil a los datos para muchas aplicaciones industriales, como el reconocimiento del habla o la analítica de texto.

NLP en el mundo actual

Aprenda más acerca del procesamiento del lenguaje natural en muchas industrias

Planeación para NLP

¿Cómo utilizan las organizaciones del mundo la inteligencia artificial y el NLP? ¿Cuáles son los índices de adopción y los planes de futuro de estas tecnologías? ¿Cuáles son los presupuestos y los planes de desarrollo? ¿Y qué problemas empresariales se están resolviendo con algoritmos de NLP? Descúbrelo en este reporte de TDWI.

Leer el reporte

Procesamiento del lenguaje natural para la eficiencia del gobierno

Los organismos públicos son bombardeados con datos basados en texto, incluidos documentos digitales y en papel. Gracias a tecnologías como el procesamiento del lenguaje natural, el análisis de textos y el machine learning, los organismos pueden reducir los engorrosos procesos manuales, al tiempo que atienden las demandas de transparencia y capacidad de respuesta de los ciudadanos, resuelven los problemas de personal y obtienen nuevas perspectivas de sus datos.

Lea el resumen de las soluciones

¿Qué puede hacer la analítica de texto por su organización?

La analítica de texto es un tipo de procesamiento del lenguaje natural que convierte el texto en datos para su análisis. Aprenda cómo organizaciones de la banca, atención a la salud y ciencias de la vida, manufactura y gobierno utilizan la analítica de texto para ofrecer mejores experiencias a sus clientes, reducir el fraude y mejorar la convivencia social.

Lea el documento

¿Cómo funciona NLP?

Separación de las piezas elementales del lenguaje

El procesamiento del lenguaje natural incluye diferentes técnicas para interpretar el lenguaje humano, que van desde los métodos estadísticos y del aprendizaje basado en máquina hasta los enfoques basados en reglas y algorítmicos. Necesitamos una amplia variedad de métodos porque los datos basados en texto y en voz varían ampliamente, al igual que las aplicaciones prácticas.

Las tareas básicas de NLP incluyen la simbolización y el análisis sintáctico , lematización/derivación, etiquetado de la parte del habla, detección del lenguaje e identificación de relaciones semánticas. Si alguna vez creó diagramas de enunciados en la primaria, ya ha realizado estas tareas de forma manual antes.

En términos generales, las tareas NLP dividen el lenguaje en piezas elementales más cortas, intentan entender las relaciones entre las piezas y exploran cómo funcionan las piezas juntas para crear significado.

Estas tareas implícitas se utilizan a menudo en recursos NLP de más alto nivel, como:

Categorización de contenido. Un resumen del documento basado en la lingüística, incluyendo búsqueda e indización, alertas de contenido y detección de duplicación.
Clasificación.La clasificación basada en BERT se utiliza para captar el contexto y el significado de las palabras de un texto con el fin de mejorar la precisión en comparación con los modelos tradicionales.
Análisis de corpus. Comprender el corpus y la estructura de los documentos mediante estadísticas de salida para tareas como el muestreo eficaz, la preparación de datos como entrada para modelos posteriores y la elaboración de estrategias de modelización.
Extracción contextual. Extraiga automáticamente información estructurada de fuentes basadas en texto.
Análisis de sentimiento. Identificación del estado de ánimo u opiniones subjetivas en grandes cantidades de texto, incluyendo minería de sentimiento y opiniones promedio.
Conversión de voz a texto y de texto a voz. Transformación de órdenes vocales en texto escrito y viceversa.
Resumen de documentos.Generación automática de sinopsis de grandes cuerpos de texto y detección de lenguas representadas en corpus multilingües (documentos).
Traducción basada en máquina. Traducción automática de texto o habla de un idioma a otro.

En todos estos casos, el objetivo general es tomar la lengua en bruto y utilizar la lingüística y los algoritmos para transformar o enriquecer el texto de forma que aporte más valor.

SAS^® Visual Text Analytics

¿Cómo puede encontrar respuestas en grandes volúmenes de datos textuales? Combinando el aprendizaje basado en máquina con el procesamiento del lenguaje natural y la analítica de texto. Averigüe cómo se pueden analizar sus datos no estructurados para identificar problemas, evaluar el sentimiento, detectar tendencias emergentes e identificar oportunidades ocultas.

Métodos y aplicaciones NLP

Cómo entienden las computadoras los datos textuales

NLP y analítica de texto

El procesamiento del lenguaje natural va de la mano de la analítica de texto, la cual cuenta, agrupa y categoriza palabras para extraer estructura y significado de grandes volúmenes de contenido. La analítica de texto se utiliza para explorar contenido textual y derivar nuevas variables de texto crudo que se pueden visualizar, filtrar o utilizar como entradas para modelos predictivos u otros métodos estadísticos.

NLP y la analítica de texto se utilizan juntos para muchas aplicaciones, entre otras:

Descubrimiento de investigación. Identifique patrones y pistas en correos electrónicos o reportes escritos para detectar y resolver delitos.
Conocimiento en materia. Clasifique contenido en temas significativos de modo que pueda seguir alguna acción y descubrir tendencias.
Análisis de medios sociales. Rastree la percepción y el sentimiento sobre temas específicos e identifique a las personas influyentes clave.

Ejemplos cotidianos de NLP

Existen muchas aplicaciones comunes y prácticas de la NLP en nuestra vida cotidiana. Más allá de conversar con asistentes virtuales como Alexa o Siri, he aquí algunos ejemplos más:

¿Alguna vez ha observado los correos electrónicos de su carpeta de correo no deseado y ha notado similitudes en las líneas del asunto? Observa filtrado de correo no deseado Bayesiano, técnica NLP estadística que compara las palabras del correo no deseado con correos electrónicos válidos para identificar correo basura.
¿Alguna vez ha perdido una llamada telefónica y leído la transcripción automática del correo de voz en su bandeja de entrada del correo o aplicación de su teléfono inteligente? Eso es conversión de habla a texto, recurso del procesamiento del lenguaje natural.
¿Alguna vez ha navegado por un sitio Web utilizando su barra de búsqueda integrada o bien seleccionando etiquetas sugeridas de tema, entidad o categoría? Entonces ha empleado métodos NLP para realizar búsquedas, modelado de remas, extracción de entidades y categorización de contenido.

Un subcampo de NLP llamado entendimiento del lenguaje natural (NLU, por sus siglas en inglés) ha comenzado a crecer en popularidad debido a su potencial en aplicaciones cognitivas y de inteligencia artificial. NLU va más allá del entendimiento estructural del lenguaje para interpretar intención, resolver ambigüedad de contexto y palabras, e incluso generar lenguaje humano bien formado por cuenta propia. Los algoritmos NLU deben resolver el problema muy complejo de la interpretación semántica – es decir, entender el significado pretendido del lenguaje hablado o escrito, con todas las sutilezas, contenido e inferencias que los humanos podemos comprender.

La evolución de la NLP hacia la NLU tiene muchas implicaciones importantes tanto para las empresas como para los consumidores. Imagínese el poder de un algoritmo capaz de comprender el significado y los matices del lenguaje humano en muchos contextos, desde la medicina hasta el derecho, pasando por las salones de clase. A medida que los volúmenes de información no estructurada sigan creciendo exponencialmente, nos beneficiaremos de la incansable capacidad de los ordenadores para ayudarnos a dar sentido a todo ello.