Natural Language Processing (NLP)

Processamento de linguagem natural (PLN) é uma vertente da inteligência artificial que ajuda computadores a entender, interpretar e manipular a linguagem humana. O PLN resulta de diversas disciplinas, incluindo ciência da computação e linguística computacional, que buscam preencher a lacuna entre a comunicação humana e o entendimento dos computadores.

• História
•      
• Como é usado?
  
•      
• Como funciona?
•      
• Métodos
  

Evolução do processamento de linguagem natural

Ainda que o processamento de linguagem natural não seja uma ciência nova, essa tecnologia está avançando rapidamente graças ao interesse cada vez maior na comunicação homem-máquina, paralelamente à disponibilidade de big data, computação mais poderosa e algoritmos aprimorados.

Enquanto humano, você pode falar e escrever em inglês, espanhol ou chinês. Mas o idioma nativo de um computador – conhecido como código de máquina ou linguagem de máquina – é altamente incompreensível para a maioria das pessoas. Nos níveis mais profundos dos seus dispositivos, a comunicação acontece não com palavras, mas através de milhões de 0s e 1s que produzem ações lógicas.

Há 70 anos, programadores usavam cartões furados para se comunicar com os primeiros computadores. Esse processo manual e penoso era compreendido por um número relativamente pequeno de pessoas. Hoje você pode dizer “Alexa, eu gosto desta música”, e um dispositivo em sua casa irá abaixar o volume e responder “Ok, classificação salva” numa voz que simula a de um ser humano. Na sequência, ele adapta seu algoritmo para tocar essa música – e outras parecidas – na próxima vez que você ouvir aquela estação.

Vejamos essa interação em detalhe. Seu dispositivo foi ativado quando ouviu você falar, entendeu a intenção nas entrelinhas do comentário, executou uma ação e deu um feedback numa frase bem construída, tudo isso em cerca de cinco segundos. A interação completa só é possível graças ao PLN em conjunto com outras tecnologias de inteligência artificial como machine learning e deep learning.

Qual a importância do PLN?

Grandes volumes de dados textuais

O processamento de linguagem natural ajuda computadores a se comunicar com seres humanos em sua própria linguagem e escala outras tarefas relacionadas à linguagem. Por exemplo, o PLN possibilita que computadores leiam textos, ouçam e interpretem falas, identifiquem sentimentos e determinem quais trechos são importantes.

As máquinas de hoje podem analisar mais dados baseados em linguagem do que seres humanos, sem fadiga, de maneira consistente e imparcial. Considerando a quantidade gigantesca de dados não-estruturados que é gerada todos os dias, de registros médicos a mídias sociais, a automação será imprescindível para uma análise de texto e fala completa e eficiente.

Estruturando uma fonte de dados altamente não-estruturada

A linguagem humana é surpreendentemente complexa e diversa. Nós nos expressamos de infinitas maneiras, tanto verbalmente quanto por escrito. Não apenas existem centenas de idiomas e dialetos, como há também um conjunto único de regras gramaticais e de sintaxe, expressões e gírias dentro de cada um deles. Quando escrevemos, costumamos cometer erros ou abreviar palavras, ou omitimos pontuações; quando falamos, carregamos sotaques regionais, tendemos a murmurar e emprestamos termos de outros idiomas.

Embora o aprendizado supervisionado, o aprendizado não-supervisionado e, especificamente, o deep learning sejam hoje amplamente utilizados para modelar a linguagem humana, há também a necessidade de compreensão sintática e semântica, além de domínio, que não estão necessariamente presentes nessas abordagens de machine learning. O PLN é importante porque ajuda a resolver a ambiguidade na linguagem e adiciona uma estrutura numérica útil aos dados para muitas aplicações downstream, como reconhecimento de fala ou análise de texto. 

Como o PLN funciona?

Separando as partes elementais da linguagem.

O processamento de linguagem natural incorpora técnicas diversas para interpretar a linguagem humana, desde métodos estatísticos e de machine learning a abordagens algorítmicas e baseadas em regras. Nós precisamos de uma boa variedade de abordagens, porque dados baseados em texto ou voz divergem muito, assim como suas aplicações práticas.

Tarefas básicas de PLN incluem tokenização e análise sintática (parsing), lematização/stemização, rotulagem dos componentes do discurso, detecção de idioma e identificação de relações semânticas. Se alguma vez você estruturou orações na escola, então você já realizou todas essas tarefas manualmente.

Em termos gerais, as tarefas do PLN segmentam a linguagem em partes menores e essenciais, tenta entender as relações entre elas e explora como esses pedaços funcionam juntos para criar significado.

Métodos e aplicações de PLN

Como computadores entendem dados textuais

Um subcampo do PLN chamado entendimento de linguagem natural (ELN) começou a ganhar popularidade graças ao seu potencial em aplicações cognitivas e de IA. O ELN ultrapassa os limites do entendimento estrutural da linguagem para interpretar intenções, resolver ambiguidades contextuais e de palavras, e até mesmo criar linguagens humanas bem-formadas por si só. Algoritmos de ELN devem resolver o problema extremamente complexo de interpretação semântica – ou seja, compreender o significado pretendido da linguagem falada ou escrita, com todas as suas sutilezas, contextos e inferências que nós, humanos, somos capazes de compreender.

A evolução do PLN para o ELN tem implicações muito importantes para empresas e consumidores. Imagine o poder de um algoritmo que possa entender o significado e a nuance da linguagem humana em contextos variados, da medicina ao direito ou à sala de aula. Conforme os volumes de informações não-estruturadas continuam a crescer exponencialmente, nós iremos nos beneficiar da capacidade incansável dos computadores de entender tudo.