การประมวลผลภาษาธรรมชาติ (Natural language processing)

การประมวลผลภาษาธรรมชาติหรือ Natural language processing (NLP) เป็นวิทยาการแขนงหนึ่งในหมวดหมู่ของเทคโนโลยีปัญญาประดิษฐ์หรือ artificial intelligence ซึ่งช่วยให้คอมพิวเตอร์สามารถเข้าใจ ตลอดจนตีความและใช้งานภาษาปกติที่มนุษย์ใช้สื่อสารได้ โดยเทคโนโลยี NLP นี้ มีรากฐานจากวิทยาการหลากหลายสาขาด้วยกัน โดยเฉพาะด้านวิทยาการคอมพิวเตอร์ (computer science) และภาษาศาสตร์เชิงคำนวณ (computational linguistics) เพื่อวัตถุประสงค์ในการปิดช่องว่างทางการสื่อสารระหว่างมนุษย์และระบบคอมพิวเตอร์

• ประวัติความเป็นมา
•      
• การนำเทคโนโลยีมาใช้งาน
  
•      
• กระบวนการทำงาน
•      
• วิธีการต่าง ๆ
  

วิวัฒนาการของการประมวลผลภาษาธรรมชาติ

วิทยาการด้านการประมวลผลภาษาธรรมชาตินั้นมิใช่ศาสตร์ที่เพิ่งเกิดขึ้นใหม่ อย่างไรก็ตาม ความก้าวหน้าและนวัตกรรมใหม่ ๆ ก็กำลังเกิดขึ้นในสาขานี้อย่างต่อเนื่อง อันเป็นผลมาจากความสนใจด้านปฏิสัมพันธ์ระหว่างมนุษย์และอุปกรณ์ทางคอมพิวเตอร์ รวมไปถึงความก้าวหน้าของ big data ตลอดจนความสามารถในการประมวลผลและอัลกอริทึมที่มีความทันสมัย 

เราทุกคนล้วนทราบว่า มนุษย์เรานั้นมีภาษาเป็นของตนเอง เช่น ภาษาอังกฤษ ภาษาสเปน หรือภาษาจีน แต่ภาษาที่คอมพิวเตอร์ใช้ในการทำงานต่าง ๆ นั้น แตกต่างออกไปจากภาษาของเรา ซึ่งเป็นภาษาที่เรียกว่า machine code หรือ machine language ซึ่งเป็นภาษาที่มนุษย์ส่วนมากไม่สามารถตีความได้ การทำงานทุกอย่างของอุปกรณ์ของคุณนั้นล้วนแต่ประกอบขึ้นจากกระบวนการในรูปรหัส 0 และ 1 จำนวนนับล้าน ๆ รายการ ที่ถูกตีความและแปลงผลให้กลายเป็นการตอบสนองที่มีเหตุผล 

อันที่จริงแล้ว โปรแกรมเมอร์ในอดีตเมื่อ 70 ปีก่อนนั้น ต้องใช้งานบัตรคำสั่งที่เรียกว่า punch cards เพื่อสื่อสารกับคอมพิวเตอร์ในยุคแรกเริ่ม ซึ่งเป็น กระบวนการทำงานที่มีความยากลำบากและซับซ้อนสูง โดยมีผู้ที่สามารถทำงานดังกล่าวได้อย่างเชี่ยวชาญเพียงจำนวนน้อยเท่านั้น แต่ตอนนี้การออกคำสั่งแก่อุปกรณ์ของคุณเป็นเรื่องที่ง่ายดายอย่างยิ่ง เช่น คุณสามารถบอกอุปกรณ์ของคุณว่า "Alexa ฉันชอบเพลงนี้" แล้วจากนั้นอุปกรณ์ที่สามารถเล่นเพลงในบ้านของคุณจะตอบสนองความต้องการของคุณได้ เช่น มันอาจลดระดับเสียงลง และตอบคุณด้วยคำพูดและน้ำเสียงที่เหมือนมนุษย์ว่า "โอเค บันทึกการจัดอันดับของคุณไว้แล้ว" จากนั้น มันจะปรับอัลกอริทึมในตัวของมันเองเพื่อเล่นเพลง ๆ นั้น และเพลงอื่น ๆ ที่อาจคล้ายคลึงกันในครั้งต่อ ๆ ไปที่คุณฟังเพลงจากช่องที่เล่นดนตรีช่องดังกล่าวอีก 

เมื่อเราพิจารณาการมีปฏิสัมพันธ์ระหว่างมนุษย์และระบบคอมพิวเตอร์ให้ละเอียดยิ่งขึ้นนั้น เราจะเห็นว่าอุปกรณ์ทำงานเมื่อได้ยินเสียงของคุณและถ้อยคำที่คุณพูด และเข้าใจถึงเจตนาในการพูดของคุณแม้ว่าคุณจะไม่ได้พูดถึงเจตนานั้นโดยตรง จากนั้นมันจึงทำงานบางอย่างและตอบสนองกลับมาแก่คุณเป็นภาษาอังกฤษที่สละสลวย ซึ่งกระบวนการทั้งหมดนี้กินเวลาเพียงประมาณห้าวินาทีเท่านั้น ซึ่งการทำงานของอุปกรณ์ทั้งหมดที่กล่าวมานี้ เกิดขึ้นได้ด้วย NLP รวมถึงขีดความสามารถอื่น ๆ ของ AI เช่น machine learning และ deep learning เป็นต้น 

NLP นั้น มีความสำคัญอย่างไร

ช่วยในการรับมือกับข้อมูลข้อความที่มีปริมาณมหาศาล

การประมวลผลภาษาธรรมชาตินั้นช่วยให้อุปกรณ์คอมพิวเตอร์ต่าง ๆ สามารถสื่อสารกับมนุษย์ได้ด้วยการใช้งานภาษาของเครื่องเอง และดำเนินการทำงานต่าง ๆ ที่เกี่ยวข้องกับภาษาได้ ยกตัวอย่างเช่น NLP นั้น ช่วยให้อุปกรณ์และคอมพิวเตอร์สามารถอ่านอักขระภาษาปกติ หรือทำความเข้าใจและตีความคำพูดของมนุษย์ ไปจนถึงการวัดอารมณ์ ความรู้สึกที่แฝงอยู่ในข้อความเหล่านั้นและกลั่นกรองใจความหรือนัยยะที่สำคัญออกมาเพื่อใช้งาน 

ระบบที่ทันสมัยในปัจจุบันสามารถวิเคราะห์ข้อมูลในปริมาณมหาศาลเกินกว่าขีดความสามารถของมนุษย์ โดยตัดข้อจำกัดเรื่องความเหน็ดเหนื่อยออกไป และสามารถทำงานด้วยความแม่นยำ คงเส้นคงวา และปราศจากอคติ การทำงานในปัจจุบัน มักต้องรับมือกับข้อมูลดิบจำนวนมหาศาล ซึ่งเกิดขึ้นอย่างต่อเนื่องในแต่ละวัน ไม่ว่าจะเป็นการทำงานในด้านประวัติคนไข้และทางการแพทย์ ไปจนถึงข้อมูลจากโซเชียลมีเดีย ซึ่งการทำงานโดยอัตโนมัติจาก AI จะเป็นกุญแจสำคัญในการวิเคราะห์ข้อมูลเหล่านี้ได้ ไม่ว่าจะเป็นข้อมูลในรูปข้อความหรือคำพูด

ช่วยในการจัดระเบียบข้อมูลในลักษณะที่ไร้รูปแบบต่าง ๆ

เนื่องจากภาษาที่มนุษย์ใช้กันนั้น มีความซับซ้อนและหลากหลายอย่างยิ่ง เพราะมนุษย์มีวิธีการแสดงออกมากมายนับไม่ถ้วน ทั้งในด้านการสื่อสารด้วยคำพูดหรือข้อความที่เกิดขึ้นด้วยการเขียน นอกจากการมีภาษานับร้อย ๆ พัน ๆ ภาษา ซึ่งต่างมีภาษาถิ่นแยกย่อยลงไปอีกนั้น ทุกภาษายังทวีความซับซ้อนยิ่งขึ้นไปอีกด้วยการมีชุดไวยากรณ์และโครงสร้างทางภาษาเฉพาะตัวของตนเอง รวมถึงคำ กลุ่มคำ และแม้แต่ศัพท์แสลงต่าง ๆ และเมื่อมนุษย์เราใช้ภาษาในการสื่อสารกันนั้น เรายังมักนิยมเขียนข้อความในรูปแบบย่อ ละเครื่องหมายวรรคตอนออกไป หรือแม้แต่การสะกดคำผิด ส่วนการสื่อสารด้วยวาจานั้นก็ยังมีประเด็นท้าทายของภาษาถิ่นและสำเนียงเฉพาะของแต่ละภูมิภาค แม้แต่ในภาษาเดียวกัน รวมถึงการพูดที่ไม่ชัดเจน อ้ำอึ้ง หรือใช้คำทับศัพท์แทรก 

แม้ว่าเทคนิคการทำงานทั้งแบบ supervised learning และ unsupervised learning โดยเฉพาะอย่างยิ่งกระบวนการทำงานแบบ deep learning จะได้ถูกนำมาใช้งานอย่างแพร่หลายในการสร้างแบบจำลองวิเคราะห์ภาษาของมนุษย์แล้วก็ตาม ก็ยังคงมีความจำเป็นในการสร้างความเข้าใจทางภาษาศาสตร์ที่ลึกและซับซ้อนยิ่งขึ้น รวมถึงความรู้ความเข้าใจเฉพาะด้าน ซึ่งแตกแขนงความชำนาญย่อยออกไปจากเทคนิค machine learning ตามปกติอีกด้วย ด้วยเหตุนี้ NLP จึงมีความสำคัญในการลดความสับสนทางการวิเคราะห์ภาษาลง และเพิ่มมิติให้แก่ข้อมูลในรูปของตัวเลข เพื่อการนำไปใช้งานต่าง ๆ ต่อไป เช่น ในการทำ speech recognition หรือการใช้งาน text analytics 

กระบวนการทำงานของ NLP

NLP จะจำแนกองค์ประกอบทางภาษาต่าง ๆ

การประมวลผลภาษาธรรมชาติหรือ NLP นั้น ประกอบด้วยหลากหลายวิธีการประมวลผลและแปลความหมายของภาษาปกติของมนุษย์ เช่น ระเบียบวิธีทางสถิติและการเรียนรู้ของเครื่องที่หลากหลาย ไปจนถึงกระบวนการทำงานตามขั้นตอน กฎเกณฑ์ และอัลกอริทึมที่ซับซ้อน ซึ่งเทคนิคในการรับมือข้อมูลเหล่านี้จำเป็นต่อการทำงาน เนื่องจากข้อมูลในรูปแบบข้อความ คำ และเสียงพูดนั้น มีความแตกต่างและหลากหลายค่อนข้างมาก รวมถึงสามารถใช้งานได้ในหลายรูปแบบเช่นกัน 

การทำงานขั้นพื้นฐานของ NLP เช่น การทำ tokenization, parsing, lemmatization/stemming, part-of-speech tagging, language detection และ identification of semantic relationships เป็นต้น ซึ่งหากคุณเคยแจกแจงรูปประโยคภาษาของคุณสมัยที่คุณยังเป็นเด็กนักเรียน นั่นแหละ คือกระบวนการเหล่านี้ คุณเพียงแค่คุ้นเคยกับการทำสิ่งเหล่านี้ในรูปแบบการทำด้วยตนเองเท่านั้นเอง 

หากจะกล่าวโดยสรุปแล้ว นั่นคือ NLP จะทำหน้าที่ย่อยข้อความหรือประโยคในภาษาที่มนุษย์ใช้สื่อสารลงเป็นส่วนย่อยๆ หรือชิ้นเล็กๆ ที่ง่ายต่อการทำความเข้าใจของอุปกรณ์ จากนั้นจึงวิเคราะห์ความสัมพันธ์และประมวลผลระหว่างชิ้นส่วนต่าง ๆ เหล่านั้น ว่าการรวมตัวกันขององค์ประกอบเหล่านี้ แสดงถึงความหมายอย่างไรบ้าง

กระบวนการทำงานและการใช้งานของ NLP

คอมพิวเตอร์ทำความเข้าใจและตีความข้อมูลเชิงข้อความได้อย่างไร

นอกจากนี้ ยังมีแขนงย่อยของวิทยาการด้าน NLP ซึ่งเรียกว่า Natural language understanding (NLU) ซึ่งกำลังได้รับความสนใจเพิ่มขึ้นมากในปัจจุบัน จากขีดความสามารถในระดับสูงในการทำงานด้านการรับรู้และประมวลผล รวมถึงความสามารถในการทำงานร่วมกับกิจกรรมด้าน AI โดยเทคโนโลยี NLU นี้ อาศัยการประมวลผลทางภาษาในระดับสูง ไม่เพียงแค่เป็นการเข้าใจโครงสร้างทางภาษาเท่านั้น แต่ยังสามารถตีความเจตนาที่แฝงอยู่ รวมถึงถอดความหมายของบริบทต่าง ๆ และความกำกวมของการใช้คำศัพท์ไปจนถึงสามารถสร้างการสื่อสารในภาษาของมนุษย์ได้จากเครื่องมือเองอีกด้วย โดยอัลกอริทึม NLU ที่มีประสิทธิภาพนั้นจะต้องสามารถรับมือกับการตีความทางภาษาที่มีความซับซ้อนอย่างยิ่งยวด นั่นคือ จะต้องสามารถเข้าใจถึงเจตนาของการสื่อสารทั้งในรูปแบบคำพูดหรือการเขียนได้ ซึ่งต้องครอบคลุมถึงความหมายและนัยยะที่แฝงอยู่ในการสนทนารูปแบบต่าง ๆ ได้เช่นเดียวกันกับที่มนุษย์สามารถทำได้

ทั้งนี้ การวิวัฒนาการจาก NLP ไปสู่ NLU ซึ่งเป็นอีกขั้นหนึ่งของเทคโนโลยีนั้น ย่อมมีนัยยะสำคัญหลายประการต่อธุรกิจและผู้บริโภคอย่างหลีกเลี่ยงไม่ได้ คุณอาจลองนึกภาพอัลกอริทึมขั้นสูงที่สามารถเข้าใจความหมายและนัยยะแฝงของภาษาที่มนุษย์ใช้งานในหลากหลายบริบท ตั้งแต่ในด้านการแพทย์ กฎหมาย ไปจนถึงการศึกษาและห้องเรียน เป็นต้น ข้อมูลดิบจะขยายตัวอย่างก้าวกระโดด ดังนั้น เราจะได้รับประโยชน์จากความสามารถทำงานอย่างแม่นยำของคอมพิวเตอร์ในการสกัดและกลั่นกรองนัยยะที่มีประโยชน์ออกมา จากกระแสข้อมูลปริมาณมหาศาลเหล่านั้น 

แหล่งข้อมูลเพิ่มเติม