ก่อนปี 2022 หากคุณต้องการเรียกคืนข้อความเฉพาะจากหนังสือเล่มโปรดหรือคำพูดจากภาพยนตร์ที่เพิ่งดูโดยไม่มีงานนั้นอยู่ตรงหน้าคุณ คุณอาจจะหันไปหากูเกิล คุณจะพิมพ์คำค้นหาที่ดีแล้ววิเคราะห์ผลลัพธ์ที่ส่งคืน ไปที่ลิงก์ SparkNotes หรือ IMDB ที่ปรากฏว่าอาจมีคำตอบของคุณ และค้นหาข้อความที่คุณกำลังมองหาบนหน้าเว็บภายในไม่กี่นาที ตอนนี้ คุณเพียงแค่เปิด ChatGPT พิมพ์ “คำพูดที่มีชื่อเสียงที่สุดของ Terminator คืออะไร” หรือ “เขียนบทเปิดเรื่อง A Tale of Two Cities” และได้รับคำตอบตรงตามตัวอักษรในไม่กี่วินาที

การใช้งานที่ง่ายที่สุดอย่างหนึ่งสำหรับโมเดลภาษาขนาดใหญ่ (LLM) คือฐานข้อมูลความรู้ LLM ได้รับการฝึกอบรมเกี่ยวกับชุดข้อมูลขนาดใหญ่ที่มีข้อมูลมากมาย ซึ่งอินเทอร์เฟซอย่าง ChatGPT ทำให้การดึงข้อมูลเป็นเรื่องง่าย เมื่อคุณขอให้ ChatGPT ส่งคืนเนื้อหาจากภาพยนตร์หรือหนังสือ ตัวอย่างเช่น คุณเพียงแค่ใช้ความสามารถของโมเดลในการเรียกคืนข้อมูลที่เคยพบในระหว่างการฝึกอบรม แต่จะเกิดอะไรขึ้นถ้าหากไม่ได้รับการฝึกอบรมเกี่ยวกับบท Terminator หรือหากน้ำหนักของมันไม่ได้ให้ความสำคัญกับงานของ Dickens ในการส่งมอบผลลัพธ์ที่ถูกต้องและเกี่ยวข้องมากที่สุด แม้กระทั่งสำหรับกรณีการใช้งานที่ง่ายที่สุด เช่น การเรียกค้นข้อมูลพื้นฐาน LLM จำเป็นต้องมีการจัดทำดัชนีและกลไกการเรียกค้นที่ซับซ้อนซึ่งสามารถเข้าถึงข้อมูลในวงกว้างได้อย่างแม่นยำ

การทำความเข้าใจการสร้างเนื้อหาและการฝึกอบรม LLM เนื้อหา LLM สร้างขึ้นผ่านกระบวนการที่เรียกว่าการคาดเดาโทเค็นถัดไป ซึ่งช่วยให้มั่นใจได้ว่าการตอบสนองจะเหมาะสมกับบริบท หลากหลาย และสะท้อนความเข้าใจของมนุษย์ ต่อไปนี้คือวิธีการทำงานของการคาดเดาโทเค็นถัดไปทีละขั้นตอน:

การประมวลผลข้อมูลนำเข้า: เมื่อคุณพิมพ์พรอมต์หรือคำถาม ข้อมูลนั้นจะถูกแปลงเป็นโทเค็น: คำหรือชิ้นส่วนของคำ ความเข้าใจบริบท: โมเดลจะดูโทเค็นที่คุณให้และพยายามทำความเข้าใจบริบทตามการฝึกอบรม ซึ่งรวมถึงทุกอย่างตั้งแต่หัวข้อที่กำลังกล่าวถึงไปจนถึงน้ำเสียงที่คุณอาจใช้ การคาดเดาโทเค็นถัดไป: โดยใช้บริบทที่เข้าใจ โมเดลจะคาดเดาว่าโทเค็นถัดไปน่าจะเป็นอะไร ไม่ใช่แค่การเดาตามคำก่อนหน้าทันทีเท่านั้น มันกำลังพิจารณาบริบททั้งหมดของการสนทนาจนถึงจุดนั้น การเลือกโทเค็น: เมื่อทำนายช่วงของโทเค็นถัดไปที่เป็นไปได้แล้ว มันจะเลือกโทเค็นหนึ่ง อันดับแรกจะเลือกจากความน่าจะเป็น โทเค็นที่มีแนวโน้มมากที่สุดที่จะตามมาขึ้นอยู่กับข้อมูลที่โมเดลได้รับการฝึกอบรมมา ควรสังเกตว่าอย่างไรก็ตาม มีความสุ่มบางอย่างอยู่ที่นี่เช่นกัน ซึ่งช่วยสร้างการตอบสนองที่หลากหลายและฟังดูเป็นธรรมชาติมากขึ้น การสร้างผลลัพธ์: จากนั้นโทเค็นที่เลือกจะถูกแปลงกลับเป็นข้อความที่มนุษย์อ่านได้ หากการตอบสนองยังไม่สมบูรณ์ (ซึ่งมักจะไม่เกิดขึ้นหลังจากเพียงโทเค็นเดียว) กระบวนการจะทำซ้ำ โทเค็นใหม่จะถูกเพิ่มเข้าไปในลำดับ และโมเดลจะทำนายโทเค็นถัดไปตามบริบทที่อัปเดตนี้ การปรับแต่งเชิงวนซ้ำ: กระบวนการนี้ในการทำนายโทเค็นถัดไปและเพิ่มเข้าไปในลำดับจะทำซ้ำจนกว่าโมเดลจะถึงจุดหยุด อาจเป็นเมื่อการตอบสนองถึงความยาวที่กำหนด โมเดลจะทำนายโทเค็นที่บ่งบอกถึงจุดสิ้นสุดของประโยคหรือข้อความ หรือเมื่อทำตามคำแนะนำที่ฝังอยู่ในพรอมต์เสร็จสิ้น ข้อจำกัดของการบีบอัดในการฝึกอบรม LLM เมื่อ LLM ทำนายโทเค็น มันจะดึงและใช้ความรู้ที่บีบอัดซึ่งฝังอยู่ในน้ำหนักเพื่อสร้างเอาต์พุตที่เหมาะสมกับบริบท ในลักษณะนี้ การฝึกอบรม LLM สะท้อนถึงการบีบอัดฐานข้อมูล เช่นเดียวกับฐานข้อมูลที่ได้รับการปรับให้เหมาะสมเพื่อเรียกคืนข้อมูลที่เข้าถึงบ่อยได้อย่างรวดเร็ว LLM ได้รับการออกแบบมาเพื่อดึงข้อมูล — ความทรงจำที่สอดแทรกเฉพาะ — จากน้ำหนักของมัน ความสามารถนี้ทำให้สามารถให้คำตอบที่แม่นยำสำหรับการสืบค้นเกี่ยวกับเนื้อหาที่คุ้นเคยซึ่งพบเจอระหว่างการฝึกอบรมได้ เช่นเดียวกับการสืบค้นฐานข้อมูลเพื่อค้นหาข้อมูลที่มีการจัดทำดัชนีได้ดี อย่างไรก็ตาม ข้อจำกัดจะเกิดขึ้นเมื่อโมเดลพบเนื้อหาที่ไม่คุ้นเคยหรือคลุมเครือมากขึ้น ตัวอย่างเช่น เมื่อคุณขอให้ LLM ค้นหาข้อความเฉพาะในพระคัมภีร์ไบเบิล มันจะอ้างอิงข้อความเหล่านั้นแบบคำต่อคำ แต่ไม่สามารถอ้างอิงคำต่อคำสำหรับแนวคิดใด ๆ ที่ไม่ได้ “เห็น” อย่างสม่ำเสมอระหว่างการฝึกอบรม เนื่องจากน้ำหนักที่เกี่ยวข้องกับแนวคิดนั้นไม่มีนัยสำคัญมากเกินไป ในแง่นั้น LLM เปรียบเสมือนฐานข้อมูล เช่นเดียวกับฐานข้อมูลที่อาจส่งคืนข้อมูลที่เก็บไว้ในนั้นอย่างชัดเจนเท่านั้น LLM อาจประสบปัญหาในการสร้างเนื้อหาเกี่ยวกับหัวข้อที่ไม่เคยเห็นอย่างกว้างขวางในระหว่างการฝึกอบรม

แน่นอนว่า LLM อยู่นอกเหนือขอบเขตของการเปรียบเทียบนี้ เนื่องจากมีแบบจำลองโลกภายในที่ช่วยให้สามารถ "เข้าใจ" สิ่งต่างๆ ได้อย่างแท้จริงนอกเหนือจากการค้นหาเพียงอย่างเดียว อย่างไรก็ตาม การเปรียบเทียบแบบง่าย ๆ นี้ช่วยให้เราเข้าใจข้อจำกัดที่สำคัญบางประการในวิธีที่ LLM ได้รับการฝึกฝนเพื่อสร้างเนื้อหา

ข้อจำกัดเพิ่มเติมของการฝึกอบรม LLM นอกจากนี้ ระบบการคาดเดาโทเค็นถัดไปยังมีข้อจำกัดโดยเนื้อแท้อื่น ๆ ที่เกิดจากแนวทางพื้นฐานในการสร้างข้อความ:

ขนาดหน้าต่างบริบท: ข้อจำกัดหลักประการหนึ่งคือขนาดหน้าต่างบริบทของโมเดล ซึ่งเป็นปริมาณข้อความสูงสุด (เป็นโทเค็น) ที่โมเดลสามารถพิจารณาได้เมื่อทำการทำนาย สำหรับโมเดลจำนวนมาก รวมถึงเวอร์ชันก่อนหน้าของ GPT หน้าต่างนี้ไม่ใหญ่พอที่จะรักษาบริบทในบทสนทนาหรือเอกสารที่ยาวขึ้น ซึ่งอาจนำไปสู่การสูญเสียความสอดคล้องในข้อความที่ยาวขึ้นหรือการสนทนาที่ซับซ้อนซึ่งต้องการการรักษาบริบทนอกเหนือจากโทเค็นก่อนหน้าโดยตรง การทำให้เป็นทั่วไปกับความเฉพาะเจาะจง: แม้ว่าโมเดลเหล่านี้จะได้รับการฝึกฝนในชุดข้อมูลขนาดใหญ่ แต่ความสามารถในการสรุปจากการฝึกอบรมนี้บางครั้งอาจนำไปสู่การสร้างเนื้อหาทั่วไปหรือเกี่ยวข้องกันอย่างคลุมเครือ พวกเขาอาจพลาดเป้าในการสร้างการตอบสนองที่เฉพาะเจาะจงหรือละเอียดอ่อนซึ่งต้องการความเข้าใจโดยละเอียดหรือความรู้ที่เป็นปัจจุบันนอกชุดข้อมูลการฝึกอบรม การขาดการเข้าถึงความรู้ภายนอก: โมเดลการคาดเดาโทเค็นถัดไปจำกัดเฉพาะข้อมูลที่มีอยู่ในชุดข้อมูลการฝึกอบรมเท่านั้น พวกเขาไม่สามารถเข้าถึงหรือรวมข้อมูลใหม่หลังการฝึกอบรม ซึ่งหมายความว่าพวกเขาสามารถล้าสมัยได้อย่างรวดเร็วหรือไม่มีบริบทปัจจุบัน เช่น เหตุการณ์ล่าสุด การค้นพบ หรือหัวข้อที่กำลังเป็นที่นิยม การทำซ้ำและความสามารถในการคาดเดา: ลักษณะอัลกอริทึมของการคาดเดาโทเค็นถัดไปบางครั้งอาจส่งผลให้เกิดการสร้างข้อความซ้ำหรือคาดเดาได้ เนื่องจากโมเดลมักจะชอบโทเค็นที่มีแนวโน้มทางสถิติที่จะตามมาซึ่งทำให้มีโอกาสตกอยู่ในวงจรหรือนิยมวลีทั่วไป ลดความหลากหลายของผลลัพธ์ การอธิบายการสร้างที่เพิ่มขึ้นโดยการเรียกค้น (RAG) อธิบาย อย่างที่ได้กล่าวไว้ก่อนหน้านี้ LLM สร้างคำตอบโดยอาศัยน้ำหนักที่กำหนดให้กับแง่มุมต่าง ๆ ของข้อมูลในระหว่างการฝึกอบรม น้ำหนักเหล่านี้สะท้อนถึงความสำคัญหรือความสำคัญขององค์ประกอบต่าง ๆ ของข้อมูลอินพุตตามที่โมเดลรับรู้ หากมีองค์ประกอบในพรอมต์ของผู้ใช้ที่ไม่ได้รับการนำเสนออย่างมีนัยสำคัญในข้อมูลการฝึกอบรม โมเดลอาจล้มเหลวในการสร้างคำตอบที่ถูกต้องหรือเกี่ยวข้อง

เมื่อการสนทนาเกินหน้าต่างบริบทของ LLM หรือเมื่อพรอมต์เกินขีดจำกัดของน้ำหนักที่มีนัยสำคัญในชุดข้อมูลการฝึกอบรมของ LLM เอง (ซึ่งหมายความว่ามันไม่สามารถจดจำคำตอบที่ผู้ใช้กำลังมองหาได้อย่างแม่นยำ) โมเดลมักจะพึ่งพาฐานข้อมูลการค้นหาเวกเตอร์ภายนอก ซึ่งช่วยให้สามารถค้นหาบริบทที่เกี่ยวข้องหรือข้อมูลล่าสุดที่สามารถเพิ่มลงในพรอมต์ของผู้ใช้ได้ กระบวนการนี้เรียกว่าการสร้างที่เพิ่มขึ้นโดยการเรียกค้น (RAG)

“การค้นหาเวกเตอร์เพื่อความสำเร็จ” กระบวนการ RAG เป็นไปได้ผ่านฐานข้อมูลการค้นหาเวกเตอร์: ฐานข้อมูลประเภทขั้นสูงที่จัดเก็บและจัดการข้อมูลเป็นเวกเตอร์ เวกเตอร์เหล่านี้แสดงถึงข้อมูลในพื้นที่หลายมิติ โดยแต่ละมิติจับลักษณะบางอย่างของความหมายของข้อมูล ทำให้สามารถแสดงความสัมพันธ์และแอตทริบิวต์ที่ซับซ้อนได้ ในบริบทของข้อความและภาษา ฐานข้อมูลการค้นหาเวกเตอร์ใช้เทคนิค เช่น การฝังตัวเพื่อแปลงข้อความเป็นเวกเตอร์เชิงตัวเลข การแปลงนี้ทำให้ระบบสามารถวัดความคล้ายคลึงกันทางความหมายระหว่างข้อความต่าง ๆ ได้โดยการคำนวณระยะห่างระหว่างเวกเตอร์ในพื้นที่หลายมิตินี้

ในระหว่าง RAG ทั้งการค้นหา (เช่น ข้อมูลอินพุตของผู้ใช้สำหรับ LLM) และข้อมูลที่จัดเก็บ (เช่น บทความ เอกสาร หรือประโยค) จะถูกแปลงเป็นเวกเตอร์โดยใช้การฝังข้อความ การฝังเหล่านี้จะเปลี่ยนข้อมูลข้อความให้เป็นเวกเตอร์เชิงตัวเลข ซึ่งมีความหมายที่คล้ายคลึงกันจะถูกแมปกับจุดที่ใกล้เคียงกันในพื้นที่เวกเตอร์ จากนั้นฐานข้อมูลจะคำนวณระยะห่างระหว่างเวกเตอร์ของการค้นหาและเวกเตอร์ของข้อมูลที่จัดเก็บไว้เพื่อกำหนดว่าความหมายของข้อความใกล้เคียงกันเพียงใด ฐานข้อมูลจะดึงจุดข้อมูล (เนื้อหาข้อความ) ที่มีเวกเตอร์อยู่ใกล้กับเวกเตอร์ของการค้นหามากที่สุด หรือที่คล้ายกันทางความหมายกับข้อมูลอินพุตมากที่สุด

เพื่อนบ้านที่ใกล้เคียงที่สุดเหล่านี้ให้ข้อมูลเพิ่มเติมที่เกี่ยวข้องตามบริบทซึ่ง LLM พื้นฐานอาจไม่มีในข้อมูลการฝึกอบรมของตนเอง ซึ่งสามารถปรับปรุงความแม่นยำ ความเกี่ยวข้อง ความสมบูรณ์ และความหลากหลายของเอาต์พุตของ LLM ได้อย่างมาก Sam Altman และคนอื่น ๆ ได้สนับสนุนแนวทาง “การค้นหาเวกเตอร์เพื่อความสำเร็จ” — การพึ่งพา RAG เพื่อพัฒนาเอเจนต์ แทนที่จะเป็นเพียง