Natural Language Processing (of NLP) is een gebied dat een samenvoeging is van het begrip kunstmatige intelligentie en taalkunde. Het omvat een intelligente analyse van geschreven taal.
Als je veel data in platte tekst hebt geschreven en je wilt er automatisch wat inzichten uit halen, dan moet je NLP-technieken gebruiken. Deze inzichten kunnen zijn: sentimentanalyse, informatie-extractie, informatie-retrieval, zoeken enz. Om er maar een paar te noemen.
Relatie tussen NLP, ML en Deep Learning
Deep Learning is één van de technieken op het gebied van Machine Learning.
Overlap tussen machine learning en NLP
ML en NLP hebben enige overlap, aangezien Machine Learning vaak wordt gebruikt voor NLP-taken. LDA (Latent Dirichlet Allocation, een algoritme voor onderwerpmodellering) is zo’n voorbeeld van niet-gecontroleerd machine learning.
Belangrijk taalcomponent
NLP heeft een sterke taalcomponent die een begrip vereist van hoe we taal gebruiken. De kunst van het begrijpen van taal omvat het begrijpen van humor, sarcasme, onbewuste vooringenomenheid in tekst, enz.
Zodra we begrijpen wat het betekent om sarcastisch te zijn, kunnen we het coderen in een algoritme voor machinaal leren om automatisch soortgelijke patronen voor ons te ontdekken. statistisch gezien.
Voorwaardelijk
Om NLP te kunnen doen, moet u taal begrijpen. Taal is verschillend voor verschillende genres (research papers, blogs, twitter hebben verschillende schrijfstijlen).
Er is dus een sterke component van handmatig naar je gegevens kijken om een idee te krijgen van wat het tegen je probeert te zeggen. Tevens moet je weten hoe je dit als mens zou het analyseren.
Als je eenmaal weet wat je doet als menselijk redeneringssysteem (hashtags negeren, smileygezichten gebruiken om sentiment te suggereren), kun je een relevante ML-benadering gebruiken om dat proces te automatiseren en op te schalen.