ກ່ອນປີ 2022, ຖ້າທ່ານຕ້ອງການທີ່ຈະຈື່ຈໍາຂໍ້ຄວາມສະເພາະຈາກປື້ມທີ່ທ່ານມັກຫຼືຄໍາເວົ້າຈາກຮູບເງົາທີ່ເຈົ້າຫາກໍ່ເບິ່ງໂດຍບໍ່ມີວຽກງານຢູ່ທາງຫນ້າຂອງເຈົ້າ, ເຈົ້າອາດຈະຫັນໄປຫາເຄື່ອງຈັກຊອກຫາ. ທ່ານຕ້ອງການເຕືອນມັນດ້ວຍການປ້ອນຂໍ້ມູນການຄົ້ນຫາທີ່ດີ, ວິເຄາະຜົນໄດ້ຮັບທີ່ສົ່ງຄືນ, ໄປຢ້ຽມຢາມ SparkNotes ຫຼື IMDB link ທີ່ປາກົດວ່າມີຄໍາຕອບຂອງເຈົ້າ, ແລະຊອກຫາຂໍ້ຄວາມທີ່ເຈົ້າກໍາລັງຊອກຫາຢູ່ໃນຫນ້າພາຍໃນສອງສາມນາທີ. ດຽວນີ້, ທ່ານພຽງແຕ່ເປີດ ChatGPT, ພິມ "ຄຳເວົ້າຂອງ Terminator ທີ່ມີຊື່ສຽງທີ່ສຸດແມ່ນຫຍັງ?" ຫຼື "ຂຽນບົດເລື່ອງເປີດຂອງ A Tale of Two Cities" ແລະມີຄໍາຕອບທີ່ເປັນຄໍາເວົ້າຂອງເຈົ້າກັບຄືນໄປບ່ອນໃນວິນາທີ.
ຫນຶ່ງໃນການນໍາໃຊ້ທີ່ງ່າຍດາຍທີ່ສຸດສໍາລັບຮູບແບບພາສາຂະຫນາດໃຫຍ່ (LLM) ແມ່ນເປັນຖານຂໍ້ມູນຂອງຄວາມຮູ້. LLMs ໄດ້ຮັບການຝຶກອົບຮົມກ່ຽວກັບຊຸດຂໍ້ມູນຈໍານວນຫລາຍຂອງຂໍ້ມູນທີ່ອຸດົມສົມບູນ, ເຊິ່ງການໂຕ້ຕອບເຊັ່ນ ChatGPT ເຮັດໃຫ້ມັນງ່າຍຕໍ່ການດຶງຂໍ້ມູນ. ເມື່ອທ່ານກະຕຸ້ນໃຫ້ ChatGPT ກັບຄືນເນື້ອຫາຈາກຮູບເງົາ ຫຼືປຶ້ມ, ຕົວຢ່າງ, ທ່ານພຽງແຕ່ໃຊ້ຄວາມສາມາດຂອງຕົວແບບໃນການຈື່ຈໍາຂໍ້ມູນທີ່ມັນໄດ້ຖືກເປີດເຜີຍໃນລະຫວ່າງການຝຶກອົບຮົມຂອງມັນ. ແຕ່ຈະເປັນແນວໃດຖ້າມັນບໍ່ໄດ້ຖືກຝຶກອົບຮົມໃນສະຄິບ Terminator, ຫຼືຖ້ານ້ໍາຫນັກຂອງມັນບໍ່ມີຄວາມສໍາຄັນກັບວຽກງານຂອງ Dickens? ເພື່ອໃຫ້ຜົນໄດ້ຮັບທີ່ຖືກຕ້ອງແລະມີຄວາມກ່ຽວຂ້ອງທີ່ສຸດສໍາລັບກໍລະນີການນໍາໃຊ້ທີ່ງ່າຍດາຍທີ່ສຸດ, ເຊັ່ນ: ການດຶງຂໍ້ມູນພື້ນຖານ, LLMs ຕ້ອງການດັດສະນີແລະກົນໄກການດຶງຂໍ້ມູນທີ່ມີຄວາມຊັບຊ້ອນທີ່ສາມາດເຂົ້າເຖິງຂໍ້ມູນຢ່າງກວ້າງຂວາງທີ່ມີຄວາມແມ່ນຍໍາ.
ເນື້ອຫາ LLM ແມ່ນຖືກສ້າງຂຶ້ນໂດຍຜ່ານຂະບວນການທີ່ເອີ້ນວ່າ ການຄາດຄະເນ token ຕໍ່ໄປ , ເຊິ່ງຮັບປະກັນວ່າການຕອບສະຫນອງແມ່ນເຫມາະສົມໃນສະພາບການ, ແຕກຕ່າງກັນ, ແລະສະທ້ອນໃຫ້ເຫັນຄວາມເຂົ້າໃຈທີ່ຄ້າຍຄືກັບມະນຸດ. ນີ້ແມ່ນວິທີການຄາດຄະເນ token ຕໍ່ໄປ, ຂັ້ນຕອນໂດຍຂັ້ນຕອນ:
ການປະມວນຜົນການປ້ອນຂໍ້ມູນ: ເມື່ອທ່ານພິມຂໍ້ຄວາມ ຫຼືຄຳຖາມໃດໜຶ່ງ, ການປ້ອນຂໍ້ມູນນັ້ນຈະຖືກປ່ຽນເປັນໂທເຄັນ: ຄຳສັບ ຫຼື ຊິ້ນສ່ວນຂອງຄຳສັບ.
ຄວາມເຂົ້າໃຈກ່ຽວກັບສະພາບການ: ຮູບແບບການເບິ່ງ tokens ທີ່ທ່ານໄດ້ມອບໃຫ້ມັນແລະ, ໂດຍອີງໃສ່ການຝຶກອົບຮົມຂອງມັນ, ພະຍາຍາມເຂົ້າໃຈສະພາບການ, ເຊິ່ງປະກອບມີທຸກສິ່ງທຸກຢ່າງຈາກຫົວຂໍ້ຢູ່ໃນມືໄປຫາສຽງທີ່ທ່ານອາດຈະໃຊ້.
ການຄາດຄະເນໂທເຄັນຕໍ່ໄປ: ການນໍາໃຊ້ສະພາບການທີ່ມັນເຂົ້າໃຈ, ຮູບແບບດັ່ງກ່າວຈະຄາດຄະເນວ່າ token ຕໍ່ໄປທີ່ເປັນໄປໄດ້ແມ່ນຫຍັງ. ມັນບໍ່ແມ່ນພຽງແຕ່ການຄາດເດົາໂດຍອີງໃສ່ຄໍາທີ່ຜ່ານມາທັນທີ; ມັນກໍາລັງພິຈາລະນາສະພາບການທັງຫມົດຂອງການສົນທະນາຈົນເຖິງຈຸດນັ້ນ.
ການເລືອກໂທເຄັນ: ເມື່ອມັນໄດ້ຄາດຄະເນຂອບເຂດຂອງໂທເຄັນຕໍ່ໄປທີ່ເປັນໄປໄດ້, ມັນຈະເລືອກອັນໜຶ່ງ. ການເລືອກນີ້ແມ່ນອີງໃສ່ຄວາມເປັນໄປໄດ້—ໂທເຄັນທີ່ອາດຈະເກີດຂຶ້ນຕໍ່ໄປໂດຍອ້າງອີງຈາກຂໍ້ມູນທີ່ຕົວແບບໄດ້ຮັບການຝຶກອົບຮົມ. ຢ່າງໃດກໍຕາມ, ມັນເປັນມູນຄ່າທີ່ສັງເກດວ່າມີຄວາມສຸ່ມບາງຢ່າງຢູ່ທີ່ນີ້, ເຊິ່ງຊ່ວຍສ້າງການຕອບສະຫນອງທີ່ຫຼາກຫຼາຍແລະທໍາມະຊາດຫຼາຍ.
ການຜະລິດຜົນຜະລິດ: ໂທເຄັນທີ່ເລືອກຈະຖືກປ່ຽນກັບໄປເປັນຂໍ້ຄວາມທີ່ມະນຸດອ່ານໄດ້. ຖ້າຄໍາຕອບບໍ່ຄົບຖ້ວນ (ເຊິ່ງມັນມັກຈະບໍ່ແມ່ນຫຼັງຈາກພຽງແຕ່ຫນຶ່ງ token), ຂະບວນການຈະເຮັດຊ້ໍາອີກ. ໂທເຄັນໃໝ່ຖືກເພີ່ມໃສ່ລຳດັບ, ແລະຕົວແບບຄາດການ token ຕໍ່ໄປໂດຍອີງໃສ່ສະພາບການທີ່ປັບປຸງໃໝ່ນີ້.
ການປັບປຸງຄືນໃຫມ່: ຂະບວນການນີ້ຄາດຄະເນ token ຕໍ່ໄປແລະເພີ່ມມັນກັບລໍາດັບຊ້ໍາກັນຈົນກ່ວາຮູບແບບໄປຮອດຈຸດຢຸດ. ນີ້ອາດຈະເປັນເວລາທີ່ການຕອບສະຫນອງເຖິງຄວາມຍາວທີ່ແນ່ນອນ, ຮູບແບບຄາດຄະເນ token ທີ່ຫມາຍເຖິງການສິ້ນສຸດຂອງປະໂຫຍກຫຼື passage, ຫຼືໃນເວລາທີ່ມັນປະຕິບັດຕາມຄໍາແນະນໍາທີ່ຝັງຢູ່ໃນ prompt.
ເມື່ອ LLM ຄາດຄະເນໂທເຄັນ, ມັນມີປະສິດຕິຜົນໃນການດຶງຂໍ້ມູນແລະນໍາໃຊ້ຄວາມຮູ້ທີ່ຖືກບີບອັດທີ່ຝັງຢູ່ໃນນ້ໍາຫນັກຂອງມັນເພື່ອຜະລິດຜົນໄດ້ຮັບທີ່ເຫມາະສົມຕາມສະພາບການ. ດ້ວຍວິທີນີ້, ການຝຶກອົບຮົມ LLM ສະທ້ອນການບີບອັດຖານຂໍ້ມູນ. ເຊັ່ນດຽວກັນກັບຖານຂໍ້ມູນຖືກປັບປຸງໃຫ້ຈື່ຈໍາຂໍ້ມູນທີ່ເຂົ້າເຖິງເລື້ອຍໆຢ່າງໄວວາ, LLM ຖືກອອກແບບມາເພື່ອດຶງຂໍ້ມູນ - ຄວາມຊົງຈໍາທີ່ປະສົມປະສານສະເພາະ - ຈາກນ້ໍາຫນັກຂອງມັນ. ຄວາມສາມາດນີ້ເຮັດໃຫ້ມັນສາມາດຜະລິດຄໍາຕອບທີ່ຊັດເຈນຕໍ່ການສອບຖາມກ່ຽວກັບອຸປະກອນທີ່ຄຸ້ນເຄີຍທີ່ມັນໄດ້ພົບໃນລະຫວ່າງການຝຶກອົບຮົມ, ຄືກັບການສອບຖາມຖານຂໍ້ມູນສໍາລັບຂໍ້ມູນທີ່ຖືກດັດສະນີ. ແນວໃດກໍ່ຕາມ, ຂໍ້ຈໍາກັດເກີດຂຶ້ນເມື່ອຕົວແບບພົບກັບເນື້ອຫາທີ່ບໍ່ຄຸ້ນເຄີຍ ຫຼື ບໍ່ຊັດເຈນ. ສໍາລັບຕົວຢ່າງ, ໃນເວລາທີ່ທ່ານຮ້ອງຂໍໃຫ້ LLM ສໍາລັບຂໍ້ສະເພາະໃນຄໍາພີໄບເບິນ, ມັນອ້າງເຖິງຄໍາສັບສໍາລັບຄໍາສັບຕ່າງໆ, ແຕ່ມັນບໍ່ສາມາດອ້າງເຖິງຄໍາສັບສໍາລັບແນວຄວາມຄິດໃດໆທີ່ມັນບໍ່ໄດ້ "ເປັນພະຍານ" ໃນໄລຍະການຝຶກອົບຮົມ, ເນື່ອງຈາກວ່ານ້ໍາຫນັກທີ່ກ່ຽວຂ້ອງກັບແນວຄວາມຄິດນັ້ນແມ່ນເກີນໄປ. ບໍ່ສໍາຄັນ. ໃນຄວາມຫມາຍນັ້ນເຊັ່ນດຽວກັນ, LLM ແມ່ນຄ້າຍຄືກັນກັບຖານຂໍ້ມູນ. ຄືກັນກັບຖານຂໍ້ມູນອາດຈະສົ່ງຄືນຂໍ້ມູນທີ່ຖືກເກັບຮັກສາໄວ້ຢ່າງຊັດເຈນພາຍໃນມັນ, LLM ສາມາດຕໍ່ສູ້ກັບການສ້າງເນື້ອຫາໃນຫົວຂໍ້ທີ່ມັນບໍ່ເຫັນຢ່າງກວ້າງຂວາງໃນລະຫວ່າງການຝຶກອົບຮົມ.
ແນ່ນອນ, LLMs ແມ່ນເກີນຂອບເຂດຂອງການປຽບທຽບນີ້, ຍ້ອນວ່າພວກເຂົາມີຕົວແບບໂລກພາຍໃນທີ່ອະນຸຍາດໃຫ້ພວກເຂົາ "ເຂົ້າໃຈ" ສິ່ງທັງຫມົດນອກເຫນືອຈາກພຽງແຕ່ການຊອກຫາ. ຢ່າງໃດກໍຕາມ, oversimplification ນີ້ຊ່ວຍໃຫ້ພວກເຮົາເຂົ້າໃຈບາງຂໍ້ຈໍາກັດທີ່ສໍາຄັນໃນວິທີການທີ່ LLMs ໄດ້ຮັບການຝຶກອົບຮົມເພື່ອສ້າງເນື້ອຫາ.
ຍິ່ງໄປກວ່ານັ້ນ, ລະບົບການຄາດຄະເນ token ຕໍ່ໄປມີຂໍ້ຈໍາກັດອື່ນໆທີ່ເກີດຂື້ນມາຈາກວິທີການພື້ນຖານຂອງມັນເພື່ອສ້າງຂໍ້ຄວາມ:
ຂະໜາດໜ້າຈໍບໍລິບົດ: ໜຶ່ງໃນຂໍ້ຈຳກັດຕົ້ນຕໍແມ່ນຂະໜາດໜ້າຕ່າງບໍລິບົດຂອງຕົວແບບ—ຈຳນວນຂໍ້ຄວາມສູງສຸດ (ໃນໂທເຄັນ) ທີ່ຕົວແບບສາມາດພິຈາລະນາໄດ້ໃນເວລາທຳນາຍ. ສໍາລັບຫລາຍແບບ, ລວມທັງ GPT ຮຸ່ນກ່ອນຫນ້າ, ປ່ອງຢ້ຽມນີ້ບໍ່ໃຫຍ່ພໍທີ່ຈະຮັກສາສະພາບການໃນການສົນທະນາຫຼືເອກະສານທີ່ຍາວນານ, ເຊິ່ງສາມາດນໍາໄປສູ່ການສູນເສຍຄວາມສອດຄ່ອງກັນໃນຂໍ້ຄວາມທີ່ຍາວກວ່າຫຼືການສົນທະນາທີ່ສັບສົນທີ່ຕ້ອງການການຮັກສາສະພາບການເກີນກວ່າ tokens ກ່ອນຫນ້ານີ້.
Generalization vs. Specificity: ໃນຂະນະທີ່ຕົວແບບເຫຼົ່ານີ້ໄດ້ຮັບການຝຶກອົບຮົມໃນຊຸດຂໍ້ມູນອັນໃຫຍ່ຫຼວງ, ຄວາມສາມາດຂອງພວກມັນໃນການສະຫຼຸບໂດຍທົ່ວໄປຈາກການຝຶກອົບຮົມນີ້ບາງຄັ້ງສາມາດເຮັດໃຫ້ພວກເຂົາຜະລິດເນື້ອຫາທົ່ວໄປຫຼືມີຄວາມກ່ຽວຂ້ອງ vaguely. ພວກເຂົາເຈົ້າອາດຈະພາດເຄື່ອງຫມາຍໃນການສ້າງຄໍາຕອບທີ່ສະເພາະສູງຫຼື nuanced ທີ່ຮຽກຮ້ອງໃຫ້ມີຄວາມເຂົ້າໃຈລະອຽດຫຼືຄວາມຮູ້ທີ່ທັນສະໄຫມຢູ່ນອກຂໍ້ມູນການຝຶກອົບຮົມຂອງເຂົາເຈົ້າ.
ການຂາດການເຂົ້າເຖິງຄວາມຮູ້ພາຍນອກ: ຮູບແບບການຄາດຄະເນ token ຕໍ່ໄປແມ່ນຈໍາກັດກັບຂໍ້ມູນທີ່ມີຢູ່ໃນຊຸດຂໍ້ມູນການຝຶກອົບຮົມຂອງພວກເຂົາ. ເຂົາເຈົ້າບໍ່ສາມາດເຂົ້າເຖິງ ຫຼືລວມເອົາຂໍ້ມູນໃໝ່ຫຼັງການຝຶກອົບຮົມ, ຊຶ່ງໝາຍຄວາມວ່າເຂົາເຈົ້າສາມາດກາຍເປັນຄົນເກົ່າ ຫຼືຂາດສະພາບປັດຈຸບັນໄດ້ຢ່າງວ່ອງໄວ ເຊັ່ນ: ເຫດການຫຼ້າສຸດ, ການຄົ້ນພົບ ຫຼືຫົວຂໍ້ທີ່ກຳລັງເປັນກະແສ.
ຄວາມຊ້ຳກັນ ແລະການຄາດເດົາໄດ້: ລັກສະນະຂອງລະບົບສູດການຄິດໄລ່ຂອງການຄາດຄະເນໂທເຄັນຖັດໄປ ບາງຄັ້ງສາມາດສົ່ງຜົນໃຫ້ເກີດຂໍ້ຄວາມຊໍ້າກັນ ຫຼືສາມາດຄາດເດົາໄດ້. ເນື່ອງຈາກຕົວແບບມັກຈະມັກ tokens ທີ່ມີແນວໂນ້ມທາງສະຖິຕິຫຼາຍກວ່າທີ່ຈະປະຕິບັດຕາມສະພາບການ, ມັນສາມາດຕົກຢູ່ໃນ loops ຫຼືມັກປະໂຫຍກທົ່ວໄປ, ຫຼຸດຜ່ອນການປ່ຽນແປງຂອງຜົນຜະລິດ.
ດັ່ງທີ່ໄດ້ກ່າວໄວ້ຂ້າງເທິງ, LLMs ສ້າງການຕອບສະຫນອງໂດຍອີງໃສ່ນ້ໍາຫນັກທີ່ພວກເຂົາໄດ້ມອບຫມາຍໃຫ້ລັກສະນະທີ່ແຕກຕ່າງກັນຂອງຂໍ້ມູນໃນລະຫວ່າງການຝຶກອົບຮົມ. ນ້ຳໜັກເຫຼົ່ານີ້ສະທ້ອນເຖິງຄວາມສຳຄັນ ຫຼື ທີ່ສຳຄັນຫຼາຍອົງປະກອບຂອງຂໍ້ມູນການປ້ອນຂໍ້ມູນຖືກຮັບຮູ້ໂດຍຕົວແບບ. ຖ້າການເຕືອນຂອງຜູ້ໃຊ້ປະກອບມີອົງປະກອບທີ່ບໍ່ໄດ້ສະແດງຢ່າງຫຼວງຫຼາຍໃນຂໍ້ມູນການຝຶກອົບຮົມ, ຮູບແບບອາດຈະລົ້ມເຫລວທີ່ຈະສ້າງຄໍາຕອບທີ່ຖືກຕ້ອງຫຼືທີ່ກ່ຽວຂ້ອງ.
ເມື່ອການສົນທະນາເກີນປ່ອງຢ້ຽມບໍລິບົດຂອງ LLM, ຫຼືເມື່ອການກະຕຸ້ນເຕືອນເກີນຂອບເຂດຈໍາກັດຂອງນ້ໍາຫນັກທີ່ສໍາຄັນໃນຊຸດຂໍ້ມູນການຝຶກອົບຮົມຂອງຕົນເອງຂອງ LLM (ຫມາຍຄວາມວ່າມັນບໍ່ສາມາດຈື່ຈໍາຄໍາຕອບທີ່ແນ່ນອນທີ່ຜູ້ໃຊ້ກໍາລັງຊອກຫາ), ຮູບແບບປົກກະຕິແມ່ນອີງໃສ່ຖານຂໍ້ມູນການຊອກຫາ vector ພາຍນອກ. , ເຊິ່ງອະນຸຍາດໃຫ້ມັນຊອກຫາບໍລິບົດທີ່ກ່ຽວຂ້ອງຫຼືຂໍ້ມູນສົດທີ່ສາມາດຖືກຕື່ມໃສ່ກັບການກະຕຸ້ນເຕືອນຈາກຜູ້ໃຊ້. ຂະບວນການນີ້ເອີ້ນວ່າ retrieval augmented generation (RAG).
ຂະບວນການ RAG ແມ່ນເປັນໄປໄດ້ໂດຍຜ່ານຖານຂໍ້ມູນການຊອກຫາ vector: ປະເພດຂັ້ນສູງຂອງຖານຂໍ້ມູນທີ່ເກັບຮັກສາແລະຈັດການຂໍ້ມູນເປັນ vectors. vectors ເຫຼົ່ານີ້ເປັນຕົວແທນຂອງຂໍ້ມູນໃນພື້ນທີ່ມິຕິລະດັບສູງ, ບ່ອນທີ່ແຕ່ລະມິຕິຈັບບາງລັກສະນະຂອງຄວາມຫມາຍຂອງຂໍ້ມູນ, ອະນຸຍາດໃຫ້ເປັນຕົວແທນຂອງຄວາມສໍາພັນທີ່ຊັບຊ້ອນແລະຄຸນລັກສະນະ. ໃນສະພາບການຂອງຂໍ້ຄວາມແລະພາສາ, ຖານຂໍ້ມູນການຊອກຫາ vector ໃຊ້ເຕັກນິກເຊັ່ນການຝັງຕົວເພື່ອປ່ຽນຂໍ້ຄວາມເປັນ vectors ຕົວເລກ. ການປ່ຽນແປງນີ້ເຮັດໃຫ້ລະບົບສາມາດວັດແທກຄວາມຄ້າຍຄືກັນລະຫວ່າງຂໍ້ຄວາມທີ່ແຕກຕ່າງກັນໂດຍການຄິດໄລ່ໄລຍະຫ່າງລະຫວ່າງ vectors ທີ່ສອດຄ້ອງກັນຂອງເຂົາເຈົ້າໃນຊ່ອງຫຼາຍມິຕິມິຕິນີ້.
ໃນລະຫວ່າງ RAG, ທັງສອງແບບສອບຖາມ (ເຊັ່ນ, ຂໍ້ມູນຂອງຜູ້ໃຊ້ເຂົ້າໃນ LLM) ແລະຂໍ້ມູນທີ່ເກັບໄວ້ (ເຊັ່ນ: ບົດຄວາມ, ເອກະສານ, ຫຼືປະໂຫຍກ) ຖືກປ່ຽນເປັນ vectors ໂດຍໃຊ້ຂໍ້ຄວາມຝັງ. ການຝັງເຫຼົ່ານີ້ປ່ຽນຂໍ້ມູນຂໍ້ຄວາມເປັນ vectors ຕົວເລກທີ່ຄວາມຫມາຍທີ່ຄ້າຍຄືກັນແມ່ນແຜນທີ່ກັບຈຸດທີ່ໃກ້ຄຽງໃນ vector space. ຫຼັງຈາກນັ້ນຖານຂໍ້ມູນຈະຄິດໄລ່ໄລຍະຫ່າງລະຫວ່າງ vector ສອບຖາມແລະ vectors ຂອງຂໍ້ມູນທີ່ເກັບໄວ້ເພື່ອກໍານົດວ່າຄວາມຫມາຍຂອງບົດເລື່ອງມີຄວາມກ່ຽວຂ້ອງກັນແນວໃດ. ຖານຂໍ້ມູນດຶງເອົາຈຸດຂໍ້ມູນ (ເນື້ອໃນຂໍ້ຄວາມ) ທີ່ມີ vectors ໃກ້ທີ່ສຸດກັບ vector ສອບຖາມ, ie, semantically ຄ້າຍຄືກັນກັບການປ້ອນຂໍ້ມູນ. ຈຸດຂໍ້ມູນເຫຼົ່ານີ້ຖືວ່າເປັນ "ປະເທດເພື່ອນບ້ານທີ່ໃກ້ທີ່ສຸດ" ໃນແງ່ຂອງສະພາບການແລະຄວາມຫມາຍ.
ປະເທດເພື່ອນບ້ານທີ່ໃກ້ທີ່ສຸດເຫຼົ່ານີ້ໃຫ້ຂໍ້ມູນທີ່ກ່ຽວຂ້ອງຕາມສະພາບການ, ຂໍ້ມູນເພີ່ມເຕີມທີ່ LLM ພື້ນຖານອາດຈະບໍ່ເຂົ້າເຖິງຂໍ້ມູນການຝຶກອົບຮົມຂອງຕົນເອງ, ເຊິ່ງສາມາດປັບປຸງຄວາມຖືກຕ້ອງ, ຄວາມກ່ຽວຂ້ອງ, ຄວາມອຸດົມສົມບູນ, ແລະຄວາມຫລາກຫລາຍຂອງຜົນໄດ້ຮັບຂອງ LLM. Sam Altman, ໃນບັນດາສິ່ງອື່ນໆ, ໄດ້ສະຫນັບສະຫນູນວິທີການ "ການຄົ້ນຫາ vector ເພື່ອຄວາມສໍາເລັດ" - ອີງໃສ່ RAG ສໍາລັບການພັດທະນາຕົວແທນ, ແທນທີ່ຈະເປັນແບບຈໍາລອງການປັບຕົວຢ່າງດຽວ.
ການປັບປຸງ LLM ກ່ຽວຂ້ອງກັບການປັບນ້ໍາຫນັກຂອງຕົວແບບໂດຍອີງໃສ່ການຝຶກອົບຮົມເພີ່ມເຕີມກ່ຽວກັບຊຸດຂໍ້ມູນສະເພາະເພື່ອເພີ່ມປະສິດທິພາບສໍາລັບວຽກງານສະເພາະຫຼືປັບປຸງຄວາມເຂົ້າໃຈໃນບາງໂດເມນ. ບໍ່ພຽງແຕ່ຂະບວນການນີ້ຊ້າກວ່າຈັງຫວະຂອງນະວັດຕະກໍາ, ຊຶ່ງຫມາຍຄວາມວ່າແບບຈໍາລອງການປັບໄຫມກາຍເປັນລ້າສະໄຫມເກືອບໄວເທົ່າທີ່ພວກມັນຖືກປັບປຸງ, ມັນຍັງບໍ່ແກ້ໄຂບັນຫາຂອງຂໍ້ມູນສົດ.
ໃນທາງກົງກັນຂ້າມ, RAG ຊ່ວຍໃຫ້ຕົວແບບສາມາດເຂົ້າເຖິງຖານຂໍ້ມູນພາຍນອກໃນເວລາທີ່ແທ້ຈິງເພື່ອດຶງຂໍ້ມູນໃນປະຈຸບັນທີ່ສຸດທີ່ກ່ຽວຂ້ອງກັບການສອບຖາມຢູ່ໃນມື. ເຖິງແມ່ນວ່າຕົວແບບທີ່ຕິດພັນບໍ່ໄດ້ຖືກປັບປຸງຫຼືປັບປຸງໃຫມ່ເມື່ອໄວໆມານີ້, ມັນຍັງສາມາດສ້າງຄໍາຕອບທີ່ປະກອບມີຂໍ້ມູນຫຼ້າສຸດ. ແບບຈໍາລອງຍັງຄົງມີຄວາມກ່ຽວຂ້ອງຕໍ່ໄປອີກແລ້ວເພາະວ່າພວກເຂົາສາມາດປັບຕົວເຂົ້າກັບຂໍ້ມູນໃຫມ່ແລະການປ່ຽນແປງສະພາບການໂດຍຜ່ານການດຶງຂໍ້ມູນຈາກແຫຼ່ງຂໍ້ມູນພາຍນອກ.
RAG ເຊື່ອມຕໍ່ຊ່ອງຫວ່າງລະຫວ່າງການຮຽນຮູ້ເລິກເຊິ່ງ ແລະເຕັກນິກການດຶງຂໍ້ມູນແບບດັ້ງເດີມຢ່າງມີປະສິດທິພາບ. ໂດຍການເຮັດແນວນັ້ນ, ມັນໃຊ້ຈຸດແຂງຂອງທັງສອງ - ຄວາມເຂົ້າໃຈໃນບໍລິບົດທີ່ມີອໍານາດຂອງການຮຽນຮູ້ເລິກເຊິ່ງແລະຄວາມແມ່ນຍໍາຂອງການດຶງຂໍ້ມູນ. ວິທີການປະສົມນີ້ອະນຸຍາດໃຫ້ LLMs ສາມາດຜະລິດຄໍາຕອບທີ່ຖືກຕ້ອງກວ່າ, ລາຍລະອຽດ, ແລະອຸດົມສົມບູນຕາມສະພາບການ.
ນອກເຫນືອຈາກການປັບລະອຽດ, RAG ຍັງແກ້ໄຂສິ່ງທ້າທາຍທີ່ສັງເກດເຫັນກ່ອນຫນ້ານີ້ທີ່ກ່ຽວຂ້ອງກັບ LLMs ມາດຕະຖານ:
ການຂະຫຍາຍຄວາມເຂົ້າໃຈໃນບໍລິບົດ: RAG ຂະຫຍາຍຫນ້າຕ່າງບໍລິບົດຂອງ LLMs ແບບດັ້ງເດີມໂດຍການດຶງຂໍ້ມູນທີ່ທັນສະໄຫມຫຼືລາຍລະອຽດທີ່ປັບປຸງການຕອບສະຫນອງຂອງຕົວແບບ.
ການເພີ່ມຄວາມສະເພາະແລະຄວາມຖືກຕ້ອງ: ແທນທີ່ຈະອີງໃສ່ພຽງແຕ່ຮູບແບບທີ່ໄດ້ຮຽນຮູ້ໃນລະຫວ່າງການຝຶກອົບຮົມ, RAG ອະນຸຍາດໃຫ້ຕົວແບບທີ່ຈະໃສ່ລາຍລະອຽດສະເພາະຈາກເອກະສານທີ່ດຶງເຂົ້າໄປໃນຄໍາຕອບຂອງມັນ, ເຮັດໃຫ້ມັນບໍ່ພຽງແຕ່ຖືກຕ້ອງຫຼາຍເທົ່ານັ້ນແຕ່ຍັງເຫມາະສົມກັບຄໍາຖາມສະເພາະຢູ່ໃນມື.
ການຫຼຸດຜ່ອນຄວາມຊໍ້າຊ້ອນແລະການຄາດເດົາ: ໂດຍການດຶງຊຸດຂໍ້ມູນທີ່ແຕກຕ່າງກັນສໍາລັບແຕ່ລະແບບສອບຖາມ, RAG ສາມາດປ່ຽນແປງການຕອບສະຫນອງຂອງຕົວແບບຢ່າງຫຼວງຫຼາຍ. ການປ່ຽນແປງນີ້ຊ່ວຍໃນການຫຼຸດຜ່ອນການຊໍ້າຊ້ອນແລະການຄາດເດົາທີ່ມັກຈະເຫັນຢູ່ໃນແບບຈໍາລອງການຜະລິດທີ່ບໍລິສຸດ, ຍ້ອນວ່າຂໍ້ມູນພາຍນອກແນະນໍາປະໂຫຍກໃຫມ່ແລະລາຍລະອຽດເຂົ້າໃນການສົນທະນາ.
RAG ມາພ້ອມກັບສິ່ງທ້າທາຍຂອງຕົນເອງ, ແນວໃດກໍ່ຕາມ - ຄືຄວາມລ່າຊ້າແລະການຂາດສະຕິປັນຍາ. ຄິດກ່ຽວກັບການສົນທະນາ chatbot ຕົວແທນທີ່ຜູ້ໃຊ້ສົ່ງການກະຕຸ້ນເຕືອນ, LLM ຖອກອອກສອງສາມໂຕຊີ້ບອກວ່າມັນຕ້ອງການສະພາບການເພີ່ມເຕີມ, ຖານຂໍ້ມູນການຊອກຫາ vector ດຶງເອົາບໍລິບົດທີ່ໃກ້ຄຽງທີ່ສຸດໂດຍຜ່ານການປ້ອນຂໍ້ມູນຂອງຜູ້ໃຊ້, ແລະຫຼັງຈາກນັ້ນທັງສອງໄດ້ຖືກສົ່ງສຸດທ້າຍ. ກັບ LLM ອີກເທື່ອຫນຶ່ງສໍາລັບການ inference. ຫຼັງຈາກນັ້ນ, ມັນເປັນເວລາຂອງຜູ້ໃຊ້ທີ່ຈະຕອບ, ແລະອື່ນໆ.
ໃນລະບົບນີ້, ຜູ້ໃຊ້ແຕ່ລະຄົນເລີ່ມຕົ້ນການດໍາເນີນການຫຼາຍຂັ້ນຕອນທີ່ແຕ່ລະຂັ້ນຕອນຈະເພີ່ມເວລາການປຸງແຕ່ງທັງຫມົດ. ຄວາມໄວຂອງຂະບວນການທັງຫມົດແມ່ນຂຶ້ນກັບວ່າຖານຂໍ້ມູນການຊອກຫາ vector ສາມາດດຶງເອົາສະພາບການທີ່ຈໍາເປັນໄດ້ໄວເທົ່າໃດ. ຖ້າການສອບຖາມຖານຂໍ້ມູນມີຄວາມຊັບຊ້ອນຫຼືຖານຂໍ້ມູນຕົວມັນເອງມີຂະຫນາດໃຫຍ່ແລະບໍ່ໄດ້ຮັບການດັດສະນີທີ່ດີທີ່ສຸດ, ການດຶງຂໍ້ມູນນີ້ສາມາດນໍາສະເຫນີຄວາມລ່າຊ້າທີ່ສໍາຄັນ. ນອກຈາກນັ້ນ, ໂດຍສະເພາະໃນການສົນທະນາທີ່ສັບສົນຫຼາຍ, ລໍາດັບຂອງການຜະລິດແລະການດຶງຂໍ້ມູນນີ້ອາດຈະຕ້ອງໄດ້ຮັບການຊ້ໍາອີກຫຼາຍຄັ້ງເພື່ອປັບປຸງການຕອບສະຫນອງຢ່າງພຽງພໍ. ວົງຈອນການຊໍ້າຄືນນີ້ສາມາດປະສົມຄວາມໜຽວໄດ້, ນໍາໄປສູ່ການໂຕ້ຕອບທີ່ຊ້າກວ່າທີ່ອາດຈະເປັນໄປໄດ້ດ້ວຍຮູບແບບການຜະລິດອັນບໍລິສຸດທີ່ອາໄສຂໍ້ມູນພາຍໃນຢ່າງດຽວ.
ຍິ່ງໄປກວ່ານັ້ນ, ສະຕິປັນຍາຂອງ LLM ທີ່ອຸດົມສົມບູນ RAG ແມ່ນຂຶ້ນກັບຄຸນນະພາບແລະຄວາມກ່ຽວຂ້ອງຂອງຂໍ້ມູນທີ່ດຶງມາຈາກຖານຂໍ້ມູນການຊອກຫາ vector. ຖ້າເນື້ອໃນຂອງຖານຂໍ້ມູນບໍ່ຄົບຖ້ວນ, ທັນສະໄຫມ, ຫຼືຮັກສາໄວ້ໄດ້ດີ, ຜົນປະໂຫຍດຂອງຂໍ້ມູນທີ່ດຶງມາອາດຈະຖືກຈໍາກັດ, ຜົນກະທົບຕໍ່ຄວາມສະຫລາດໂດຍລວມຂອງຄໍາຕອບ.
ເຖິງແມ່ນວ່າໃນເວລາທີ່ຂໍ້ມູນພາຍນອກທີ່ມີຄຸນນະພາບສູງຖືກດຶງ, ສິ່ງທ້າທາຍຍັງຄົງຢູ່ໃນວິທີການທີ່ຂໍ້ມູນນີ້ສາມາດຖືກລວມເຂົ້າໃນກອບການຕອບສະຫນອງທີ່ມີຢູ່ແລ້ວຂອງ LLM. ຮູບແບບດັ່ງກ່າວຕ້ອງບໍ່ພຽງແຕ່ລວມເອົາຂໍ້ມູນພາຍນອກນີ້ເທົ່ານັ້ນແຕ່ເຮັດໃນລັກສະນະທີ່ເຫມາະສົມກັບສະພາບການແລະສອດຄ່ອງກັນ. ຄວາມບໍ່ສອດຄ່ອງລະຫວ່າງການຝຶກອົບຮົມຂອງຕົວແບບແລະລັກສະນະຂອງຂໍ້ມູນພາຍນອກສາມາດນໍາໄປສູ່ການຕອບສະຫນອງທີ່ຖືກຕ້ອງທາງດ້ານເຕັກນິກແຕ່ບໍ່ສອດຄ່ອງໃນສະພາບການ.
ຮຸ່ນຕໍ່ໄປຂອງ LLMs ອາດຈະຜະສົມຜະສານ RAG ທີ່ອີງໃສ່ການຊອກຫາ vector ແລະວິທີການຝຶກອົບຮົມ / ການປັບແຕ່ງແບບດັ້ງເດີມເຂົ້າກັນ, ພ້ອມກັບການປະມວນຜົນຂໍ້ມູນທີ່ມີໂຄງສ້າງ (ເຊັ່ນ: ຖານຂໍ້ມູນ SQL ຂອງຂໍ້ມູນຕະຫຼາດ TradFi ແລະຂ່າວທາງດ້ານການເງິນທີ່ກ່ຽວຂ້ອງ). ແນວຄວາມຄິດຂອງການມີຜູ້ໃຫ້ບໍລິການ LLM 'ຢູ່ນີ້' ແລະຖານຂໍ້ມູນການຊອກຫາ vector ແຍກຕ່າງຫາກ 'ຢູ່ທີ່ນັ້ນ' ຈະລວບລວມຜ່ານຕົວແບບໃຫມ່ເຊິ່ງ intuitively ຂະຫຍາຍຫນ່ວຍຄວາມຈໍາການເຮັດວຽກທີ່ຖືກດັດສະນີຂອງພວກເຂົາໃຫ້ກັບ SSDs ທ້ອງຖິ່ນທີ່ມີ terabytes ຂອງ vectorized context.
Space ແລະເວລາໄດ້ສົ່ງຫຼັກຖານສະແດງ SQL-a ZK ຫຼັກຖານຢັ້ງຢືນຄວາມຖືກຕ້ອງແລະການຂັດຂວາງການປະມວນຜົນຖານຂໍ້ມູນ SQL- ໃຫ້ແກ່ລູກຄ້າແລະບໍ່ດົນມານີ້ໄດ້ສົ່ງຫຼັກຖານສະແດງ Vector Search, ເຊິ່ງເຮັດເຊັ່ນດຽວກັນສໍາລັບການດຶງຂໍ້ມູນ vector. ຫຼັກຖານໃຫມ່ເຫຼົ່ານີ້ເປີດທາງສໍາລັບອະນາຄົດທີ່ LLMs ສາມາດລວມເອົາສະພາບການສົດໆ, ເຂົ້າເຖິງຂອບເຂດຂອງຂໍ້ມູນທີ່ກວ້າງກວ່າແລະແຕກຕ່າງກັນໃນເວລາທີ່ແທ້ຈິງ, ແລະປະສົມປະສານການປະມວນຜົນຂໍ້ມູນທີ່ມີໂຄງສ້າງເພື່ອໃຫ້ມີການວິເຄາະທີ່ເລິກເຊິ່ງກວ່າ, ທັງຫມົດໃນທາງທີ່ສາມາດຕິດຕາມໄດ້, ກວດສອບໄດ້. ຄວາມກ້າວຫນ້າເຫຼົ່ານີ້ໃນທີ່ສຸດຈະຂະຫຍາຍຂອບເຂດຂອງຄໍາຮ້ອງສະຫມັກສໍາລັບ LLMs, ຂະຫຍາຍຜົນປະໂຫຍດຂອງພວກເຂົາໃນຂະແຫນງການທີ່ອີງໃສ່ຂໍ້ມູນຫຼາຍເຖິງນາທີ, ເຊັ່ນການບໍລິການທາງດ້ານການເງິນ, ການລວບລວມຂ່າວແລະການປະເມີນຄວາມສ່ຽງ, ດັ່ງນັ້ນການຂັບລົດໄປສູ່ຄື້ນຕໍ່ໄປຂອງ AI. - ນະວັດຕະກໍາທີ່ຂັບເຄື່ອນ.