Sprogteknologi (NLP)

Sprogteknologi (Natural Language Processing, NLP) er en gren af kunstig intelligens, der hjælper computere med at forstå, fortolke og manipulere det menneskelige sprog. NLP trækker på mange discipliner, herunder datalogi og computerlingvistik, i sin stræben efter at udfylde kløften mellem menneskelig kommunikation og computerforståelse.

• Historien
•      
• Hvordan det bliver brugt
  
•      
• Hvordan det virker
•      
• Metoder
  

Udvikling af sprogteknologi

Sprogteknologi er ikke en ny videnskab, men teknologien udvikler sig hurtigt takket være en øget interesse for kommunikation mellem mennesker og maskiner samt tilgængeligheden af big data, , kraftfulde computere og forbedrede algoritmer.

Som menneske kan du tale og skrive på engelsk, spansk eller kinesisk. Men en computers modersmål - kendt som maskinkode eller maskinsprog - er stort set uforståeligt for de fleste mennesker. På din enheds laveste niveauer foregår kommunikationen ikke med ord, men gennem millioner af nuller og ettaller, der danner logiske handlinger.

Faktisk brugte programmører hulkort til at kommunikere med de første computere for 70 år siden. Denne manuelle og krævende proces blev forstået af et relativt lille antal mennesker. Nu kan du sige: »Alexa, jeg kan godt lide denne sang«, og en enhed, der afspiller musik i dit hjem, vil sænke lydstyrken og svare: »OK. Ratingen er gemt« med en menneskelignende stemme. Derefter tilpasser den sin algoritme, så den spiller den sang - og andre lignende sange - næste gang du lytter til den pågældende musikstation.

Lad os se nærmere på den interaktion. Din enhed blev aktiveret, da den hørte dig tale, den forstod den underforståede intention med kommentaren, udførte en handling og gav feedback i en velformuleret engelsk sætning, alt sammen i løbet af cirka fem sekunder. Den komplette interaktion blev muliggjort af NLP sammen med andre AI-elementer som machine learning og deep learning.

Hvorfor er NLP vigtigt?

Store mængder tekstdata

Sprogteknologi hjælper computere med at kommunikere med mennesker på deres eget sprog og med at løse andre sprogrelaterede opgaver. NLP gør det f.eks. muligt for computere at læse tekst, at høre tale, at fortolke den, at måle følelser og at afgøre, hvilke dele der er vigtige.

Nutidens maskiner kan analysere flere sprogbaserede data end mennesker, uden at blive trætte og på en konsekvent, upartisk måde. I betragtning af den svimlende mængde ustrukturerede data, der genereres hver dag, fra lægejournaler til sociale medier, vil automatisering være afgørende for fuldt ud at analysere tekst- og taledata effektivt.

Strukturering af en meget ustruktureret datakilde

Det menneskelige sprog er forbløffende komplekst og mangfoldigt. Vi udtrykker os på uendeligt mange måder, både mundtligt og skriftligt. Ikke alene findes der hundredvis af sprog og dialekter, men inden for hvert sprog er der et unikt sæt af grammatik- og syntaksregler, udtryk og slang. Når vi skriver, staver vi ofte forkert eller forkorter ord eller udelader tegnsætning. Når vi taler, har vi lokale accenter, og vi mumler, stammer og låner udtryk fra andre sprog.

Mens overvåget og ikke-overvåget læring, og især deep learning, nu bruges i vid udstrækning til modellering af menneskeligt sprog, er der også behov for syntaktisk og semantisk forståelse og domæneekspertise, som ikke nødvendigvis er til stede i disse maskinlæringsmetoder. NLP er vigtigt, fordi det hjælper med at løse tvetydigheder i sproget og tilføjer nyttig numerisk struktur til data til mange downstream-applikationer, som f.eks. talegenkendelse eller tekstanalyse.

NLP i dag

Lær, hvordan sprogteknologi bruges på tværs af brancher

Hvordan fungerer NLP?

Nedbrydning af sprogets elementære dele

Sprogteknologi omfatter mange forskellige teknikker til fortolkning af det menneskelige sprog, lige fra statistiske og maskinelle læringsmetoder til regelbaserede og algoritmiske tilgange. Vi har brug for en bred vifte af tilgange, fordi de tekst- og stemmebaserede data varierer meget, og det samme gør de praktiske anvendelser.

De grundlæggende NLP-opgaver omfatter tokenisering og parsing, lemmatisering/stemming, part-of-speech tagging, sprogdetektering og identifikation af semantiske relationer. Hvis du nogensinde har analyseret sætningsled i folkeskolen, har du prøvet at udføre disse opgaver manuelt.

Generelt kan man sige, at NLP-opgaver nedbryder sproget i mindre, elementære dele, forsøger at forstå relationerne mellem de enkelte dele og undersøger, hvordan delene arbejder sammen for at skabe mening.

Disse bagvedliggende opgaver bruges ofte i NLP-funktioner på højere niveau, som f.eks:

• ● Kategorisering af indhold. Et sprogbaseret sammendrag af dokumenter, herunder søgning og indeksering, indholdsvarsler og detektering af duplikering.
• Large Language Model (LLM)-baseret klassifikation. BERT-baseret klassifikation bruges til at indfange konteksten og betydningen af ord i en tekst for at øge nøjagtigheden sammenlignet med traditionelle modeller.
• Korpus-analyse. Forstå korpus- og dokumentstruktur gennem outputstatistikker til opgaver såsom effektiv prøveudtagning, forberedelse af data som input til yderligere modeller og strategi for modelleringsmetoder.
• Kontekstuel ekstrahering. Træk automatisk strukturerede oplysninger ud af tekstbaserede kilder.
• Sentimentanalyse. Identificering af stemningen eller subjektive meninger i store mængder tekst, herunder gennemsnitlig sentiment og meningsudvinding.
• Tale-til-tekst og tekst-til-tale-konvertering. Omdannelse af stemmekommandoer til skrevet tekst og omvendt.
• Sammenfatning af dokumenter. Automatisk generering af synopser af store tekstmængder og registrering af de repræsenterede sprog i flersprogede korpora (dokumenter).
• Maskinoversættelse . Automatisk oversættelse af tekst eller tale fra et sprog til et andet.

I alle disse tilfælde er det overordnede mål at tage rå sproginput og bruge lingvistik og algoritmer til at transformere eller berige teksten på en sådan måde, at den giver større værdi.

NLP-metoder og formål

Hvordan computere får tekstdata til at give mening

NLP og tekstanalyse

Sprogteknologi går hånd i hånd med tekstanalyse, som nummererer, grupperer og kategoriserer ord for at uddrage struktur og mening fra store mængder indhold. Tekstanalyse bruges til at udforske tekstindhold og udlede nye variabler fra rå tekst, som kan visualiseres, filtreres eller bruges som input til forudsigelsesmodeller eller andre statistiske metoder.

NLP og tekstanalyse bruges sammen til mange formål, bl.a:

• Efterforskningsmæssig opklaring. Identificere mønstre og spor i e-mails eller skriftlige rapporter for at hjælpe med at opdage og opklare forbrydelser.
• Ekspertise inden for emnet. Klassificer indhold i meningsfulde emner, så du kan reagere på og opdage nye tendenser.
• Analyse af sociale medier. Følg opmærksomheden og stemningen omkring specifikke emner, og identificer de vigtigste influencere.

NLP-eksempler fra hverdagen

Der er mange almindelige og praktiske anvendelser af NLP i vores hverdag. Ud over at kommunikere med virtuelle assistenter som Alexa eller Siri er her et par andre eksempler:

• Har du nogensinde kigget på e-mails i din spammappe og bemærket ligheder i emnelinjerne? Du oplever Bayesiansk spamfiltrering, en statistisk NLP-teknik, der sammenligner ordene i spam med gyldige e-mails for at identificere junkmail.
• Er du nogensinde gået glip af et telefonopkald og har læst den automatiske udskrift af telefonsvareren i din indbakke eller smartphone-app? Det er tale-til-tekst-konvertering, en NLP-kompetence.
• Har du nogensinde navigeret på et website ved at bruge det indbyggede søgefelt eller ved at vælge foreslåede emne-, enheds- eller kategoritags? Så har du brugt NLP-metoder til søgning, emnemodellering, enhedsekstraktion og indholdskategorisering.

Et underområde af NLP kaldet naturlig sprogforståelse (NLU) er begyndt at stige i popularitet på grund af dets potentiale inden for kognitive og AI-applikationer. NLU går ud over den strukturelle forståelse af sprog og fortolker intentioner, løser kontekst- og ordtvetydigheder og genererer endda selv velformuleret menneskeligt sprog. NLU-algoritmer skal tackle det ekstremt komplekse problem med semantisk fortolkning - det vil sige at forstå den tilsigtede betydning af talt eller skrevet sprog med alle de finesser, sammenhænge og slutninger, som vi mennesker er i stand til at forstå.

Udviklingen af NLP i retning af NLU har mange væsentlige konsekvenser for både virksomheder og forbrugere. Forestil dig styrken ved en algoritme, der kan forstå betydningen af og nuancerne i det menneskelige sprog i mange sammenhænge, fra medicin til jura til klasseværelset. I takt med at mængden af ustruktureret information fortsætter med at vokse eksponentielt, vil vi få gavn af computernes utrættelige evne til at hjælpe os med at finde hoved og hale i det hele.