The Architecture of the ZK Coprocessor

1. Hardware Integration The ZK Coprocessor embeds Zero-Knowledge proofs directly into hardware, enhancing both speed and security. This integration minimizes vulnerabilities compared to software-only solutions.

2. Performance Optimization Designed for efficiency, the coprocessor handles complex cryptographic tasks with lightning speed. It offloads intensive computations from the main processor, enabling real-time data processing.

Applications Across Industries Blockchain Technology Enhanced Privacy: The coprocessor boosts blockchain transaction confidentiality. Faster Verifications: It accelerates transaction speeds, crucial for cryptocurrencies and smart contracts. Financial Services Secure Transactions: Ensures privacy and compliance with stringent regulations. Increased Trust: Provides robust security, enhancing customer confidence and operational efficiency. Healthcare Sector Data Protection: Safeguards patient information while ensuring compliance with privacy laws. Confidential Processing: Maintains patient trust by securely handling sensitive data. The Future of Secure Computing Scalability and Sustainability Energy Efficiency: The coprocessor is designed for low power consumption, aligning with sustainability goals. Scalable Solutions: It adapts to growing digital demands, ensuring longevity and relevance. Conclusion SxT's ZK Coprocessor is a groundbreaking advancement in secure computation. By seamlessly integrating speed, security, and adaptability, it addresses the pressing privacy challenges of today. As industries continue to evolve, this coprocessor will play a pivotal role in securing digital interactions, empowering organizations to protect their most valuable asset—information.

ຫນຶ່ງໃນການນໍາໃຊ້ທີ່ງ່າຍທີ່ສຸດສໍາລັບຕົວຢ່າງພາສາຂະຫນາດໃຫຍ່ (LLM) ແມ່ນເປັນຖານຂໍ້ມູນຂອງຄວາມຮູ້. LLMs ໄດ້ ຮັບ ການ ຝຶກ ອົບ ຮົມ ກ່ຽວ ກັບ ຂໍ້ ມູນ ທີ່ ກວ້າງ ໃຫຍ່ ຂອງ ຂໍ້ ມູນ ທີ່ ຮັ່ງ ມີ , ເຊິ່ງ interfaces ເຊັ່ນ ChatGPT ໄດ້ ເຮັດ ໃຫ້ ມັນ ງ່າຍ ທີ່ ຈະ ເກັບ ກໍາ ຂໍ້ ມູນ . ເມື່ອ ທ່ານ ກະ ຕຸ້ນ ໃຫ້ ChatGPT ກັບ ຄືນ ເນື້ອ ຫາ ຈາກ ຫນັງ ຫຼື ປຶ້ມ, ຍົກ ຕົວ ຢ່າງ, ທ່ານ ພຽງ ແຕ່ leveraging ຄວາມ ສາ ມາດ ຂອງ ຕົວ ຢ່າງ ທີ່ ຈະ ຈື່ ຈໍາ ຂໍ້ ມູນ ທີ່ ມັນ ໄດ້ ຮັບ ການ ເປີດ ເຜີຍ ໃນ ລະ ຫວ່າງ ການ ຝຶກ ອົບ ຮົມ ຂອງ ມັນ . ແຕ່ຈະວ່າແນວໃດຖ້າຫາກວ່າມັນບໍ່ໄດ້ຮັບການຝຶກອົບຮົມໃນ script Terminator, ຫຼືຖ້ານ້ໍາຫນັກຂອງມັນບໍ່ໃຫ້ຄວາມສໍາຄັນຕໍ່ຜົນງານຂອງ Dickens? ໃນການສົ່ງຜົນໄດ້ຮັບທີ່ຖືກຕ້ອງ ແລະ ກ່ຽວຂ້ອງທີ່ສຸດສໍາລັບກໍລະນີການນໍາໃຊ້ທີ່ງ່າຍທີ່ສຸດເຊັ່ນ: ການເກັບກໍາຂໍ້ມູນພື້ນຖານ, LLMs ຈໍາເປັນຕ້ອງມີການດັດຊະນີແລະກົນໄກການເກັບກໍາຂໍ້ມູນທີ່ສາມາດເຂົ້າເຖິງສະເປັກຂໍ້ມູນທີ່ກວ້າງຂວາງດ້ວຍຄວາມແນ່ນອນ.

ຄວາມເຂົ້າໃຈກ່ຽວກັບການສ້າງເນື້ອຫາແລະເນື້ອຫາການຝຶກອົບຮົມແມ່ນເກີດຂື້ນໂດຍຜ່ານຂະບວນການທີ່ຮູ້ກັນໃນນາມການຄາດຄະເນ LLM LLM token ຕໍ່ໄປ, ເຊິ່ງເຮັດໃຫ້ແນ່ໃຈວ່າການຕອບສະຫນອງແມ່ນເຫມາະສົມຕາມເນື້ອໃນ, ແຕກຕ່າງກັນ, ແລະສະທ້ອນໃຫ້ເຫັນບາງສ່ວນຂອງຄວາມເຂົ້າໃຈທີ່ຄ້າຍຄືກັບມະນຸດ. ນີ້ຄືວິທີທີ່ການຄາດຄະເນ token ຕໍ່ໄປເຮັດວຽກ, ຂັ້ນຕອນໂດຍຂັ້ນຕອນ:

Input Processing: ເມື່ອທ່ານພິມການກະຕຸ້ນຫຼືຄໍາຖາມ, ການນໍາເຂົ້ານັ້ນຈະຖືກປ່ຽນເປັນ tokens: ຄໍາຫຼືຊິ້ນສ່ວນຂອງຄໍາສັບ. ຄວາມເຂົ້າໃຈກ່ຽວກັບເນື້ອໃນ: ຕົວແບບເບິ່ງtokens ທີ່ທ່ານໄດ້ໃຫ້ມັນແລະ, ອີງຕາມການຝຶກອົບຮົມຂອງມັນ, ພະຍາຍາມທີ່ຈະເຂົ້າໃຈເນື້ອໃນ, ເຊິ່ງລວມມີທຸກສິ່ງທຸກຢ່າງຕັ້ງແຕ່ຫົວຂໍ້ທີ່ມືເຖິງນ້ໍາສຽງທີ່ທ່ານອາດຈະໃຊ້. Next Token Prediction: ການໃຊ້ເນື້ອໃນທີ່ເຂົ້າໃຈແລ້ວ, ຕົວຢ່າງຈາກນັ້ນຈະຄາດຄະເນວ່າtoken ຕໍ່ໄປແມ່ນຫຍັງ. ມັນບໍ່ແມ່ນພຽງແຕ່ການຄາດເດົາໂດຍອີງໃສ່ຄໍາສັບທີ່ຜ່ານມາໃນທັນທີ; ມັນ ແມ່ນ ການ ພິ ຈາ ລະ ນາ ເຖິງ ສະ ພາບ ການ ທັງ ຫມົດ ຂອງ ການ ສົນ ທະ ນາ ຈົນ ເຖິງ ຈຸດ ນັ້ນ. ການຄັດເລືອກ Token : ເມື່ອມັນໄດ້ຄາດຄະເນຫຼາຍຂອງ tokens ທີ່ເປັນໄປໄດ້ຕໍ່ໄປ, ມັນເລືອກຫນຶ່ງ. ການຄັດເລືອກນີ້ແມ່ນອີງໃສ່ຄວາມເປັນໄປໄດ້ – ເຄື່ອງແມ່ຂ່າຍທີ່ມັກຈະມາຕໍ່ໄປໂດຍອີງໃສ່ຂໍ້ມູນທີ່ຕົວຢ່າງໄດ້ຮັບການຝຶກອົບຮົມ. ເຖິງຢ່າງໃດກໍ່ຕາມ, ມັນຄຸ້ມຄ່າທີ່ຈະສັງເກດເຫັນວ່າມີການບັງເອີນບາງຢ່າງຢູ່ທີ່ນີ້ເຊັ່ນກັນ, ເຊິ່ງຊ່ວຍສ້າງການຕອບສະຫນອງທີ່ແຕກຕ່າງກັນແລະສຽງທໍາມະຊາດຫຼາຍຂຶ້ນ. Output Generation: token ທີ່ຖືກຄັດເລືອກແລ້ວຖືກປ່ຽນເປັນຂໍ້ຄວາມທີ່ອ່ານໄດ້ຂອງມະນຸດ. ຖ້າຫາກວ່າການຕອບສະຫນອງບໍ່ສໍາເລັດ (ເຊິ່ງມັນມັກຈະບໍ່ຫຼັງຈາກພຽງແຕ່ token ດຽວ), ຂັ້ນຕອນການຊ້ໍາ. token ໃຫມ່ໄດ້ຖືກເພີ່ມໃສ່ໃນລໍາດັບ, ແລະຕົວແບບຄາດຄະເນ token ຕໍ່ໄປໂດຍອີງໃສ່ເນື້ອໃນທີ່ໄດ້ຮັບການປັບປຸງນີ້. Iterative Refinement: ຂະບວນການນີ້ຂອງການຄາດຄະເນ token ຕໍ່ໄປແລະເພີ່ມມັນໃສ່ລໍາດັບຊ້ໍາຈົນກ່ວາຕົວຢ່າງເຖິງຈຸດຢຸດເຊົາ. ນີ້ ອາດ ເປັນ ຕອນ ທີ່ ການ ຕອບ ຮັບ ເຖິງ ຄວາມ ຍາວ ໃດ ຫນຶ່ງ, ຕົວ ຢ່າງ ໄດ້ ທໍານາຍ ເຖິງ ເຄື່ອງ ຫມາຍ ທີ່ ຫມາຍ ເຖິງ ການ ສິ້ນ ສຸດ ຂອງ ປະ ໂຫຍກ ຫລື ທາງ ຜ່ານ, ຫລື ເມື່ອ ມັນ ເຮັດ ຕາມ ຄໍາ ແນະ ນໍາ ທີ່ ຝັງ ໄວ້ ໃນ ການ ກະ ຕຸ້ນ. ຂໍ້ ຈໍາ ກັດ ຂອງ ການ ບີບ ບັງ ຄັບ ໃນ LLM ການ ຝຶກ ອົບ ຮົມ ເມື່ອ ການ LLM ຄາດ ຄະ ເນ token , ມັນ ໄດ້ ຢ່າງ ມີ ປະ ສິດ ທິ ພາບ retrieving ແລະ ການ ນໍາ ໃຊ້ ຄວາມ ຮູ້ ທີ່ ບີບ ບັງ ຄັບ ທີ່ ຝັງ ຢູ່ ພາຍ ໃນ ນ້ໍາ ຫນັກ ຂອງ ມັນ ເພື່ອ ໃຫ້ ໄດ້ ຜົນ ຜະ ລິດ ທີ່ ເຫມາະ ສົມ ຕາມ ສະ ພາບ ການ . ໂດຍວິທີນີ້, LLM ການຝຶກອົບຮົມmirrors ການບີບອັດຖານຂໍ້ມູນ. ເຊັ່ນ ດຽວ ກັບ ຖານ ຂໍ້ ມູນ ໄດ້ ຖືກ ປັບ ປຸງ ໃຫ້ ດີ ທີ່ ສຸດ ເພື່ອ ຈື່ ຈໍາ ຂໍ້ ມູນ ທີ່ ເຂົ້າ ເຖິງ ເລື້ອຍໆ ໄດ້ ຢ່າງ ວ່ອງ ໄວ , ໄດ້ ຮັບ ການ LLM ອອກ ແບບ ເພື່ອ ເກັບ ກໍາ ຂໍ້ ມູນ — ຄວາມ ຊົງ ຈໍາ interpolated ສະ ເພາະ — ຈາກ ນ້ໍາ ຫນັກ ຂອງ ມັນ . ຄວາມສາມາດນີ້ຊ່ວຍໃຫ້ມັນຜະລິດການຕອບສະຫນອງທີ່ແນ່ນອນຕໍ່ການສອບຖາມກ່ຽວກັບເນື້ອຫາທີ່ຄຸ້ນເຄີຍທີ່ມັນໄດ້ພົບໃນລະຫວ່າງການຝຶກອົບຮົມຂອງມັນ, ຄ້າຍຄືກັບການສອບຖາມຖານຂໍ້ມູນສໍາລັບຂໍ້ມູນທີ່ມີດັດຊະນີທີ່ດີ. ເຖິງຢ່າງໃດກໍ່ຕາມ, ຂໍ້ຈໍາກັດເກີດຂຶ້ນເມື່ອຕົວຢ່າງພົບກັບເນື້ອຫາທີ່ບໍ່ຄຸ້ນເຄີຍຫຼືປິດບັງ. ຕົວຢ່າງເຊັ່ນ: ເມື່ອທ່ານຖາມຂໍ້ຄວາມສະເພາະໃນຄໍາພີໄບເບິນ LLM ມັນຈະອ້າງຄໍາສັບໃຫ້ເຂົາເຈົ້າເປັນຄໍາສັບ ແຕ່ບໍ່ສາມາດອ້າງຄໍາວ່າຄໍາໃດທີ່ມີຄວາມຄິດທີ່ວ່າມັນບໍ່ໄດ້ "ເປັນພະຍານ" ໃນການຝຶກຊ້ອມຊໍ້າອີກ ເນື່ອງຈາກນໍ້າຫນັກທີ່ກ່ຽວຂ້ອງກັບຄວາມຄິດນັ້ນບໍ່ສໍາຄັນເກີນໄປ. ໃນຄວາມຫມາຍດັ່ງກ່າວເຊັ່ນດຽວກັນ, ແມ່ນມີການກ່າຍກັບຖານຂໍ້ມູນLLM. ເຊັ່ນ ດຽວ ກັບ ຖານ ຂໍ້ ມູນ ອາດ ຈະ ສົ່ງ ຂໍ້ ມູນ ທີ່ ຖືກ ເກັບ ໄວ້ ຢ່າງ ຈະ ແຈ້ງ ຢູ່ ໃນ ນັ້ນ , ສາ LLM ມາດ ດີ້ນ ລົນ ກັບ ການ ສ້າງ ເນື້ອ ໃນ ໃນ ຫົວ ຂໍ້ ທີ່ ມັນ ບໍ່ ໄດ້ ເຫັນ ຢ່າງ ກວ້າງ ຂວາງ ໃນ ລະ ຫວ່າງ ການ ຝຶກ ອົບ ຮົມ .

ແນ່ນອນ, LLMs ແມ່ນເກີນຂອບເຂດຂອງການສົມມຸດຕິຖານນີ້, ເນື່ອງຈາກວ່າພວກເຂົາເຈົ້າມີຕົວຢ່າງຂອງໂລກພາຍໃນທີ່ອະນຸຍາດໃຫ້ເຂົາເຈົ້າ "ເຂົ້າໃຈ" ສິ່ງທີ່ພຽງແຕ່ເກີນກວ່າພຽງແຕ່ຊອກຫາ. ເຖິງຢ່າງໃດກໍ່ຕາມ, LLMs ການໂພສນີ້ຊ່ວຍໃຫ້ເຮົາເຂົ້າໃຈຂໍ້ຈໍາກັດທີ່ສໍາຄັນບາງຢ່າງໃນວິທີທີ່ໄດ້ຮັບການຝຶກອົບຮົມເພື່ອສ້າງເນື້ອຫາ.

ຂໍ້ ຈໍາ ກັດ ເພີ່ມ ເຕີມ ຂອງ LLM ການ ຝຶກ ອົບ ຮົມ ຍິ່ງ ໄປ ກວ່າ ນັ້ນ, ລະ ບົບ ການ ຄາດ ຄະ ເນ token ຕໍ່ ໄປ ມີ ຂໍ້ ຈໍາ ກັດ ອື່ນໆ ໂດຍ ທໍາ ມະ ຊາດ ທີ່ ເກີດ ຈາກ ວິ ທີ ການ ພື້ນ ຖານ ຂອງ ມັນ ໃນ ການ ສ້າງ ຂໍ້ ຄວາມ :

Context Window Size: ຫນຶ່ງໃນຂໍ້ຈໍາກັດຕົ້ນຕໍແມ່ນຂະຫນາດຂອງປ່ອງຢ້ຽມເນື້ອໃນຂອງຕົວຢ່າງ – ຈໍານວນຂໍ້ຄວາມສູງສຸດ (ໃນtokens) ຕົວແບບສາມາດພິຈາລະນາເມື່ອເຮັດການຄາດຄະເນ. ສໍາລັບຫຼາຍຕົວແບບ, ລວມທັງສະບັບກ່ອນຫນ້ານີ້ຂອງ GPT, ປ່ອງຢ້ຽມນີ້ບໍ່ໃຫຍ່ພໍທີ່ຈະຮັກສາເນື້ອໃນກ່ຽວກັບການສົນທະນາຫຼືເອກະສານທີ່ຍາວນານ, ເຊິ່ງສາມາດນໍາໄປສູ່ການສູນເສຍຄວາມສອດຄ່ອງໃນຂໍ້ຄວາມທີ່ຍາວກວ່າຫຼືການສົນທະນາທີ່ສະຫຼັບຊັບຊ້ອນທີ່ຮຽກຮ້ອງໃຫ້ຮັກສາເນື້ອໃນເກີນກວ່າtokens ທີ່ກ່ອນໃນທັນທີ. Generalization vs. Specificity: ໃນຂະນະທີ່ຕົວແບບເຫຼົ່ານີ້ໄດ້ຮັບການຝຶກອົບຮົມໃນຊຸດຂໍ້ມູນທີ່ກວ້າງໃຫຍ່ໄພສານ, ຄວາມສາມາດຂອງເຂົາເຈົ້າໃນການທົ່ວໄປຈາກການຝຶກອົບຮົມນີ້ບາງຄັ້ງອາດຈະພາໃຫ້ເຂົາເຈົ້າຜະລິດເນື້ອຫາທົ່ວໄປຫຼືບໍ່ຊັດເຈນ. ເຂົາເຈົ້າອາດພາດເຄື່ອງຫມາຍໃນການສ້າງຄໍາຕອບທີ່ເຈາະຈົງຫຼືnuanced ສູງທີ່ຮຽກຮ້ອງໃຫ້ມີຄວາມເຂົ້າໃຈຢ່າງລະອຽດຫຼືຄວາມຮູ້ທີ່ທັນສະໄຫມນອກຂໍ້ມູນການຝຶກອົບຮົມຂອງເຂົາເຈົ້າ. ການ ຂາດ ຄວາມ ຮູ້ ພາຍ ນອກ : ຕົວ ຢ່າງ ການ ຄາດ ຄະ ເນ token ຕໍ່ ໄປ ແມ່ນ ຈໍາ ກັດ ຕໍ່ ຂໍ້ ມູນ ທີ່ ບັນ ຈຸ ຢູ່ ພາຍ ໃນ ຂໍ້ ມູນ ການ ຝຶກ ອົບ ຮົມ ຂອງ ເຂົາ ເຈົ້າ . ພວກເຂົາບໍ່ສາມາດເຂົ້າເຖິງຫຼືລວມຂໍ້ມູນໃຫມ່ພາຍຫຼັງການຝຶກອົບຮົມ, ເຊິ່ງຫມາຍຄວາມວ່າພວກເຂົາສາມາດກາຍເປັນໄວກ່ວາຫຼືຂາດເນື້ອໃນໃນປະຈຸບັນ, ເຊັ່ນ: ເຫດການໃນມໍ່ໆນີ້, ການຄົ້ນພົບ, ຫຼືຫົວຂໍ້ທີ່ມີແນວໂນ້ມ. Repetitiveness and Predictability: ທໍາ ມະ ຊາດ algorithmic ຂອງ ການ ຄາດ ຄະ ເນ token ຕໍ່ ໄປ ບາງ ຄັ້ງ ອາດ ຈະ ສົ່ງ ຜົນ ໃຫ້ ລຸ້ນ ຂໍ້ ຄວາມ ຊ້ໍາ ແລ້ວ ຊ້ໍາ ອີກ ຫຼື ຄາດ ຄະ ເນ ໄດ້ . ເນື່ອງຈາກວ່າຕົວແບບມັກຈະສະຫນັບສະຫນູນtokens ທີ່ມີສະຖິຕິທີ່ມັກຈະຕິດຕາມໂດຍທີ່ມີເນື້ອໃນ, ມັນສາມາດຕົກເປັນ loops ຫຼືມັກສໍານວນທົ່ວໄປ, ຫຼຸດຜ່ອນຄວາມແຕກຕ່າງກັນຂອງຜົນຜະລິດ. Retrieval augmented generation (RAG) ໄດ້ອະທິບາຍດັ່ງທີ່ກ່າວມາຂ້າງເທິງ, LLMs ສ້າງການຕອບສະຫນອງໂດຍອີງໃສ່ນ້ໍາຫນັກທີ່ເຂົາເຈົ້າໄດ້ມອບຫມາຍໃຫ້ດ້ານຕ່າງໆຂອງຂໍ້ມູນໃນລະຫວ່າງການຝຶກອົບຮົມ. ນ້ໍາຫນັກເຫຼົ່ານີ້ສະທ້ອນໃຫ້ເຫັນວ່າອົງປະກອບຕ່າງໆທີ່ສໍາຄັນຫຼືມີຄວາມສໍາຄັນຂອງຂໍ້ມູນການນໍາເຂົ້າຖືກຮັບຮູ້ໂດຍຕົວຢ່າງ. ຖ້າການກະຕຸ້ນຂອງຜູ້ໃຊ້ລວມເອົາອົງປະກອບທີ່ບໍ່ໄດ້ເປັນຕົວແທນທີ່ສໍາຄັນໃນຂໍ້ມູນການຝຶກອົບຮົມ, ຕົວແບບອາດຈະບໍ່ສ້າງການຕອບສະຫນອງທີ່ຖືກຕ້ອງຫຼືທີ່ກ່ຽວຂ້ອງ.

ເມື່ອ ການ ສົນ ທະ ນາ ເກີນ ປ່ອງ ຢ້ຽມ ສະ ພາບ ການ LLMຂອງ ' ຫຼື ເມື່ອ ການ ກະ ຕຸ້ນ ເກີນ ຂອບ ເຂດ ຂອງ ນ້ໍາ ຫນັກ ທີ່ ສໍາ ຄັນ ໃນ LLMຊຸດ ຂໍ້ ມູນ ການ ຝຶກ ອົບ ຮົມ ຂອງ ຕົນ ເອງ (ຫມາຍ ຄວາມ ວ່າ ມັນ ບໍ່ ສາ ມາດ ຈື່ ໄດ້ ຢ່າງ ແນ່ ນອນ ຄໍາ ຕອບ ທີ່ ຜູ້ ໃຊ້ ກໍາ ລັງ ຊອກ ຫາ ), ຕົວ ຢ່າງ ໂດຍ ປົກ ກະ ຕິ ແລ້ວ ອາ ໄສ ຢູ່ ໃນ ຖານ ຂໍ້ ມູນ ການ ຄົ້ນ ຫາ vector ພາຍ ນອກ , ເຊິ່ງ ອະ ນຸ ຍາດ ໃຫ້ ມັນ ເພື່ອ ຊອກ ຫາ ສະ ພາບ ການ ທີ່ ກ່ຽວ ຂ້ອງ ຫຼື ຂໍ້ ມູນ ສົດ ທີ່ ສາ ມາດ appended ກັບ ການ ກະ ຕຸ້ນ ຈາກ ຜູ້ ໃຊ້ . ຂະບວນການນີ້ແມ່ນເປັນທີ່ຮູ້ຈັກໃນຊື່retrieval augmented ລຸ້ນ (RAG).

"Vector ຄົ້ນ ຫາ ຄວາມ ສໍາ ເລັດ " ຂະ ບວນ ການ RAG ແມ່ນ ເຮັດ ໃຫ້ ເປັນ ໄປ ໄດ້ ໂດຍ ຜ່ານ ຖານ ຂໍ້ ມູນ ການ ຄົ້ນ ຫາ vector : ເປັນ ຖານ ຂໍ້ ມູນ ແບບ ກ້າວ ຫນ້າ ທີ່ ເກັບ ຮັກ ສາ ແລະ ຈັດ ການ ຂໍ້ ມູນ ເປັນ vectors . ເຫຼົ່າ ນີ້ ເປັນ ຕົວ ແທນ ໃຫ້ ແກ່ ຂໍ້ ມູນ ໃນ ອາ ວະ ກາດ ທີ່ ມີ ຂະຫນາດ ສູງ , ບ່ອນ ທີ່ ແຕ່ ລະ ມິ ຕິ ຈັບ ບາງ ດ້ານ ຂອງ ຄວາມ ຫມາຍ ຂອງ ຂໍ້ ມູນ , ອະ ນຸ ຍາດ ໃຫ້ ສໍາ ລັບ ການ ເປັນ ຕົວ ແທນ ຂອງ ຄວາມ ສໍາ ພັນ ແລະ ຄຸນ ນະ ສົມ ບັດ ທີ່ ສັບ ຊ້ອນ . ໃນເນື້ອໃນຂອງຂໍ້ຄວາມແລະພາສາ, ຖານຂໍ້ມູນການຄົ້ນຫາ vector ໃຊ້ເຕັກນິກເຊັ່ນ: embeddings ເພື່ອປ່ຽນຂໍ້ຄວາມເປັນ vector ຕົວເລກ. ການປ່ຽນໃຈເຫລື້ອມໃສນີ້ເຮັດໃຫ້ລະບົບສາມາດວັດແທກຄວາມຄ້າຍຄືກັນຂອງsemantic ລະຫວ່າງຊິ້ນສ່ວນທີ່ແຕກຕ່າງກັນຂອງຂໍ້ຄວາມໂດຍການຄິດໄລ່ໄລຍະຫ່າງລະຫວ່າງ vectors ທີ່ສອດຄ່ອງຂອງພວກເຂົາໃນອະວະກາດ multidimensional ນີ້.

ໃນລະຫວ່າງ RAG, ທັງການສອບຖາມ (LLMຄືການນໍາເຂົ້າຂອງຜູ້ໃຊ້ເຂົ້າໃນ ) ແລະຂໍ້ມູນທີ່ເກັບໄວ້ (ເຊັ່ນບົດຄວາມ, ເອກະສານ, ຫຼືປະໂຫຍກ) ໄດ້ຖືກປ່ຽນເປັນ vectors ໂດຍໃຊ້ການຝັງຂໍ້ຄວາມ. ການ ຝັງ ເຫຼົ່າ ນີ້ ຈະ ປ່ຽນ ຂໍ້ ມູນ textual ໃຫ້ ກາຍ ເປັນ vectors ຕົວ ເລກ ບ່ອນ ທີ່ ຄວາມ ຫມາຍ ທີ່ ຄ້າຍ ຄື ກັນ ໄດ້ ຖືກ ວາງ ແຜນ ໄວ້ ກັບ ຈຸດ ທີ່ ຢູ່ ໃນ ອາ ວະ ກາດ vector ໄດ້ . ຈາກ ນັ້ນ ຖານ ຂໍ້ ມູນ ຈະ ຄອມ ພິວ ເຕີ ກົນ ໄກ ລະ ຫວ່າງ vector ຄໍາ ຖາມ ແລະ vectors ຂອງ ຂໍ້ ມູນ ທີ່ ເກັບ ຮັກ ສາ ໄວ້ ເພື່ອ ກໍາ ນົດ ຄວາມ ຫມາຍ ຂອງ ຂໍ້ ຄວາມ ທີ່ ກ່ຽວ ຂ້ອງ ກັນ ຢ່າງ ໃກ້ ຊິດ ພຽງ ໃດ. ຖານຂໍ້ມູນເກັບເອົາຈຸດຂໍ້ມູນ (ເນື້ອໃນຂໍ້ຄວາມ) ເຊິ່ງvectors ແມ່ນໃກ້ຊິດທີ່ສຸດກັບ vector ການສອບຖາມ, ຄືຜູ້ທີ່ເປັນ semantically ທີ່ຄ້າຍຄືກັບການນໍາເຂົ້າ. ຈຸດຂໍ້ມູນເຫຼົ່ານີ້ຖືວ່າເປັນ "ເພື່ອນບ້ານທີ່ໃກ້ທີ່ສຸດ" ໃນແງ່ຂອງເນື້ອໃນແລະຄວາມຫມາຍ.

ເພື່ອນ ບ້ານ ທີ່ ໃກ້ ຄຽງ ທີ່ ສຸດ ເຫລົ່າ ນີ້ ໃຫ້ ຂໍ້ ມູນ ທີ່ ກ່ຽວ ຂ້ອງ ຕາມ ເນື້ອ ໃນ, ເພີ່ມ ເຕີມ ທີ່ ພື້ນ ຖານ LLM ອາດ ບໍ່ ມີ ການ ເຂົ້າ ເຖິງ ພາຍ ໃນ ຂໍ້ ມູນ ການ ຝຶກ ອົບ ຮົມ ຂອງ ຕົນ ເອງ, ຊຶ່ງ ສາ ມາດ ປັບ ປຸງ ຄວາມ ຖືກ ຕ້ອງ, ຄວາມ ກ່ຽວ ຂ້ອງ, ຄວາມ ຮັ່ງ ມີ, ແລະ ຄວາມ ແຕກ ຕ່າງ ຂອງ ຜົນ ຜະ ລິດ LLMຂອງ ຕົນ. Sam Altman, ໃນບັນດາອື່ນໆ, ໄດ້ສະຫນັບສະຫນູນສໍາລັບວິທີການ "vector ຊອກຫາຄວາມສໍາເລັດ" —ເພິ່ງພາອາໄສ RAG ສໍາລັບການພັດທະນາຕົວແທນ, ແທນທີ່ຈະເປັນແບບຢ່າງfine-tuning ຄົນດຽວ.

RAG ເປັນທາງເລືອກໃນການfine-tuning Fine-tuning ແມ່ນກ່ຽວຂ້ອງກັບການປັບນ້ໍາຫນັກຂອງຕົວຢ່າງໂດຍອີງໃສ່ການຝຶກອົບຮົມເພີ່ມເຕີມໃນຊຸດຂໍ້ມູນສະເພາະເພື່ອເພີ່ມປະສິດທິພາບສໍາລັບວຽກສະເພາະໃດຫນຶ່ງຫຼືປັບປຸງຄວາມເຂົ້າໃຈໃນບາງdomainsLLM. ບໍ່ ພຽງ ແຕ່ ຂະ ບວນ ການ ນີ້ ຊ້າ ກວ່າ ຄວາມ ໄວ ຂອງ ການ ປ່ຽນ ແປງ , ຫມາຍ ຄວາມ ວ່າ ຕົວ ຢ່າງ ທີ່ ຖືກ ປັບ ປຸງ ດີ ຈະ ກາຍ ເປັນ ລ້າ ສະ ໄຫມ ເກືອບ ໄວ ເທົ່າ ທີ່ ເຂົາ ເຈົ້າ ໄດ້ ຮັບ ການ ອັບ ເດດ , ມັນ ຍັງ ບໍ່ ໄດ້ ແກ້ ໄຂ ບັນ ຫາ ຂອງ ຂໍ້ ມູນ ໃຫມ່ .

ກົງກັນຂ້າມ, RAG ເຮັດໃຫ້ຕົວແບບສາມາດເຂົ້າເຖິງຖານຂໍ້ມູນພາຍນອກໃນເວລາທີ່ແທ້ຈິງເພື່ອເກັບກໍາຂໍ້ມູນໃນປະຈຸບັນທີ່ສຸດທີ່ກ່ຽວຂ້ອງກັບການສອບຖາມຢູ່ໃນມື. ເຖິງ ແມ່ນ ວ່າ ຕົວ ຢ່າງ ພື້ນ ຖານ ຍັງ ບໍ່ ໄດ້ ຮັບ ການ ປັບ ປຸງ ຫຼື ປັບ ປຸງ ທີ່ ດີ ເມື່ອ ບໍ່ ດົນ ມາ ນີ້ , ມັນ ຍັງ ສາ ມາດ ສ້າງ ການ ຕອບ ສະ ຫນອງ ທີ່ ມີ ຂໍ້ ມູນ ຫຼ້າ ສຸດ . ຕົວ ແບບ ຍັງ ມີ ຄວາມ ກ່ຽວ ຂ້ອງ ດົນ ນານ ເພາະ ວ່າ ພວກ ເຂົາ ເຈົ້າ ສາ ມາດ ປັບ ຕົວ ເຂົ້າ ກັບ ຂໍ້ ມູນ ໃຫມ່ ແລະ ການ ປ່ຽນ ແປງ ສະ ພາບ ການ ໂດຍ ຜ່ານ ການ ເກັບ ກໍາ ແຫຼ່ງ ຂໍ້ ມູນ ພາຍ ນອກ .

RAG ເຊື່ອມຕໍ່ຊ່ອງຫວ່າງລະຫວ່າງການຮຽນຮູ້ຢ່າງເລິກເຊິ່ງແລະເຕັກນິກການເກັບກໍາຂໍ້ມູນແບບເກົ່າຢ່າງມີປະສິດທິພາບ. ໂດຍ ການ ເຮັດ ເຊັ່ນ ນັ້ນ, ມັນ ຈະ ນໍາ ໃຊ້ ຄວາມ ເຂັ້ມ ແຂງ ຂອງ ທັງ ສອງ — ຄວາມ ເຂົ້າ ໃຈ ດ້ານ ເນື້ອ ໃນ ທີ່ ມີ ພະ ລັງ ຂອງ ການ ຮຽນ ຮູ້ ຢ່າງ ເລິກ ຊຶ້ງ ແລະ ຄວາມ ຖືກ ຕ້ອງ ຂອງ ການ ເກັບ ກໍາ ຂໍ້ ມູນ. ວິທີການປະສົມປະສານນີ້ຊ່ວຍໃຫ້ສາມາດຜະລິດການຕອບສະຫນອງທີ່ຖືກຕ້ອງLLMs, ລະອຽດ, ແລະອຸດົມສົມບູນຕາມເນື້ອໃນ.

ໃນການແກ້ໄຂຂໍ້ຈໍາກັດເພີ່ມເຕີມຂອງ LLMs Beyond fine tuning, RAG ຍັງກ່າວເຖິງສິ່ງທ້າທາຍທີ່ໄດ້ລະບຸໄວ້ກ່ອນຫນ້ານີ້ທີ່ກ່ຽວຂ້ອງກັບມາດຕະຖານ LLMs:

ການຂະຫຍາຍຄວາມເຂົ້າໃຈກ່ຽວກັບເນື້ອໃນ: RAG ຂະຫຍາຍປ່ອງຢ້ຽມເນື້ອໃນຂອງແບບເກົ່າໂດຍການເກັບຂໍ້ມູນທີ່ທັນສະໄຫມຫຼືລາຍລະອຽດທີ່ເພີ່ມການຕອບສະຫນອງຂອງຕົວຢ່າງLLMs. ການເສີມຂະຫຍາຍຄວາມສະເພາະແລະຄວາມຖືກຕ້ອງ: ແທນທີ່ຈະເພິ່ງພາອາໄສແບບແຜນທີ່ໄດ້ຮຽນຮູ້ພຽງຢ່າງດຽວໃນລະຫວ່າງການຝຶກອົບຮົມ, RAG ອະນຸຍາດໃຫ້ຕົວຢ່າງໃນການສັກລາຍລະອຽດສະເພາະຈາກການເອົາເອກະສານທີ່ຖືກເອົາເຂົ້າມາໃນການຕອບສະຫນອງຂອງມັນ, ເຮັດໃຫ້ມັນບໍ່ພຽງແຕ່ຖືກຕ້ອງກວ່າແຕ່ຍັງປັບຕົວໃຫ້ເຂົ້າກັບການສອບຖາມສະເພາະທີ່ມີຢູ່ໃນມື. ການຫຼຸດຜ່ອນRepetitiveness ແລະ Predictability: ໂດຍການດຶງດູດຂໍ້ມູນທີ່ແຕກຕ່າງກັນຢ່າງມີປະສິດທິພາບສໍາລັບແຕ່ລະການສອບຖາມ, RAG ສາມາດແຕກຕ່າງກັນການຕອບສະຫນອງຂອງຕົວຢ່າງໄດ້ຫຼາຍ. ຄວາມແຕກຕ່າງກັນນີ້ຊ່ວຍໃນການຫຼຸດຜ່ອນການຊ້ໍາກັນແລະການຄາດຄະເນທີ່ມັກຈະເຫັນໃນຕົວແບບgenerative ບໍລິສຸດ, ເນື່ອງຈາກຂໍ້ມູນພາຍນອກຈະນໍາສະເຫນີຄໍາສັບແລະລາຍລະອຽດໃຫມ່ເຂົ້າໃນການສົນທະນາ. ສິ່ງທ້າທາຍແລະວິວັດທະນາການທີ່ຈໍາເປັນຂອງ RAG RAG ມາພ້ອມກັບສິ່ງທ້າທາຍຂອງມັນເອງ, ເຖິງຢ່າງໃດກໍ່ຕາມ— ຄືຄວາມໂປ່ງໃສແລະຂາດສະຕິປັນຍາ. ຄິດເຖິງການສົນທະນາchatbot ຕົວແທນທີ່ເປັນຕົວແທນຫັນເປັນບ່ອນທີ່ຜູ້ໃຊ້ສົ່ງການກະຕຸ້ນ, LLM spits out a few tokens ບົ່ງບອກວ່າມັນຕ້ອງການເນື້ອໃນເພີ່ມເຕີມ, ຖານຂໍ້ມູນຄົ້ນຫາ vector retrieves ເນື້ອຫາເພື່ອນບ້ານທີ່ຢູ່ໃກ້ທີ່ສຸດໂດຍຜ່ານການກະຕຸ້ນການເຂົ້າຂອງຜູ້ໃຊ້, LLM ແລະຈາກນັ້ນທັງສອງໃນທີ່ສຸດຖືກສົ່ງໄປຫາອີກເທື່ອຫນຶ່ງສໍາລັບການ inference. ຈາກນັ້ນ, ມັນແມ່ນຜັງຂອງຜູ້ໃຊ້ທີ່ຈະຕອບ, ແລະອື່ນໆ.

ໃນລະບົບນີ້, ຜູ້ໃຊ້ແຕ່ລະຄົນກະຕຸ້ນໃຫ້ເລີ່ມຕົ້ນການດໍາເນີນງານຫຼາຍຂັ້ນຕອນເຊິ່ງແຕ່ລະຂັ້ນຕອນຈະເພີ່ມເວລາການແປຮູບທັງຫມົດ. ຄວາມ ໄວ ຂອງ ຂະ ບວນ ການ ທັງ ຫມົດ ຍັງ ຂຶ້ນ ຢູ່ ກັບ ວ່າ ຖານ ຂໍ້ ມູນ ການ ຄົ້ນ ຫາ vector ໄວ ພຽງ ໃດ ສາ ມາດ ເກັບ ກໍາ ຂໍ້ ມູນ ທີ່ ຈໍາ ເປັນ ໄດ້ . ຖ້າຫາກວ່າການສອບຖາມຖານຂໍ້ມູນແມ່ນຊັບຊ້ອນຫຼືຖານຂໍ້ມູນເອງແມ່ນຂະຫນາດໃຫຍ່ແລະບໍ່ໄດ້ດັດຊະນີທີ່ດີທີ່ສຸດ, ການເກັບກໍາຂໍ້ມູນນີ້ສາມາດແນະນໍາການຊັກຊ້າທີ່ສໍາຄັນ. ນອກ ຈາກ ນີ້, ໂດຍ ສະ ເພາະ ໃນ ການ ສົນ ທະ ນາ ທີ່ ສັບ ຊ້ອນ ກວ່າ, ລະ ດັບ ຂອງ ຄົນ ລຸ້ນ ນີ້ ແລະ ການ ເກັບ ກໍາ ອາດ ຈະ ຕ້ອງ ໄດ້ ຊ້ໍາ ອີກ ຫລາຍ ເທື່ອ ເພື່ອ ປັບ ປຸງ ການ ຕອບ ສະ ຫນອງ ຢ່າງ ພຽງ ພໍ. ວົງຈອນຂອງການລະຈອນນີ້ສາມາດປະສົມຄວາມໂປ່ງໃສ, ເຊິ່ງນໍາໄປສູ່ການຕິດຕໍ່ພົວພັນທີ່ຊ້າກວ່າອາດເປັນໄປໄດ້ກັບຕົວຢ່າງທີ່ສ້າງຂື້ນຢ່າງດຽວທີ່ອາໄສຂໍ້ມູນພາຍໃນເທົ່ານັ້ນ.

ຍິ່ງ ໄປ ກວ່າ ນັ້ນ, ຄວາມ ຮູ້ ແຈ້ງ ຂອງ RAG-enriched LLM ແມ່ນ ຂຶ້ນ ຢູ່ ກັບ ຄຸນ ນະ ພາບ ແລະ ຄວາມ ກ່ຽວ ພັນ ຂອງ ຂໍ້ ມູນ ທີ່ ໄດ້ ຮັບ ຈາກ ຖານ ຂໍ້ ມູນ ຄົ້ນ ຫາ vector ໄດ້ ຢ່າງ ຫລວງ ຫລາຍ. ຖ້າເນື້ອຫາຖານຂໍ້ມູນບໍ່ຄົບຖ້ວນ, ທັນສະໄຫມ ຫຼື ໄດ້ຮັບການຮັກສາເປັນຢ່າງດີ, ການນໍາໃຊ້ຂໍ້ມູນທີ່ເກັບຄືນອາດຈະມີຈໍາກັດ, ສົ່ງຜົນກະທົບຕໍ່ສະຕິປັນຍາໂດຍລວມຂອງການຕອບສະຫນອງ.

ເຖິງແມ່ນວ່າຂໍ້ມູນພາຍນອກທີ່ມີຄຸນນະພາບສູງຈະຖືກເກັບຄືນ, ສິ່ງທ້າທາຍຍັງຄົງຢູ່ໃນວິທີທີ່ຂໍ້ມູນນີ້ສາມາດລວມເຂົ້າກັນໄດ້ຢ່າງມີປະສິດທິພາບໃນກອບການຕອບສະຫນອງທີ່ມີຢູ່ແລ້ວຂອງ LLM. ຕົວ ແບບ ບໍ່ ພຽງ ແຕ່ ຕ້ອງ ລວມ ເອົາ ຂໍ້ ມູນ ພາຍ ນອກ ນີ້ ເທົ່າ ນັ້ນ ແຕ່ ຕ້ອງ ເຮັດ ແນວ ນັ້ນ ໃນ ແບບ ທີ່ ເຫມາະ ສົມ ຕາມ ເນື້ອ ໃນ ແລະ ຕິດ ຕໍ່ ກັນ. Misalignment ລະຫວ່າງການຝຶກອົບຮົມຂອງຕົວຢ່າງແລະລັກສະນະຂອງຂໍ້ມູນພາຍນອກສາມາດນໍາໄປສູ່ການຕອບສະຫນອງທີ່ຖືກຕ້ອງທາງດ້ານເຕັກນິກແຕ່ບໍ່ສອດຄ່ອງຕາມເນື້ອໃນ.

LLMs ລຸ້ນຕໍ່ໄປຂອງThe LLMs ລຸ້ນຕໍ່ໄປຄົງຈະປະສົມກັບ ການຄົ້ນຫາແບບ vector RAG ແລະ ວິທີການຝຶກອົບຮົມແບບເກົ່າ/ການປັບຕົວດີພ້ອມກັນ, ພ້ອມກັບການແປຂໍ້ມູນທີ່ມີໂຄງສ້າງ (e.g. SQL ຖານຂໍ້ມູນຂອງຂໍ້ມູນຕະຫຼາດ TradFi ແລະ ຂ່າວການເງິນທີ່ກ່ຽວຂ້ອງ). ແນວ ຄວາມ ຄິດ ຂອງ ການ ມີ LLM ຜູ້ ໃຫ້ ບໍ ລິ ການ 'over here' ແລະ ຖານ ຂໍ້ ມູນ ຄົ້ນ ຫາ vector ທີ່ ແຕກ ຕ່າງ ກັນ 'ຢູ່ ໃນ ນັ້ນ' ຈະ collate ຜ່ານ ຕົວ ຢ່າງ ໃຫມ່ ຊຶ່ງ intuitively ຂະ ຫຍາຍ ຄວາມ ຊົງ ຈໍາ ການ ເຮັດ ວຽກ ຂອງ ເຂົາ ເຈົ້າ ດັດ ສະ ນີ ໃຫ້ ກັບ SSDs ໃນ ທ້ອງ ຖິ່ນ ທີ່ ມີ terabytes ຂອງ ສະ ພາບ ການ vectorized .

Space and Time ໄດ້ມອບການພິສູດຂອງ SQL ແລ້ວ – ເປັນຫຼັກຖານZK ທີ່ຢັ້ງຢືນຄວາມຖືກຕ້ອງແລະການຫຼອກແປງການແປຖານຂໍ້ມູນ SQL – ໃຫ້ລູກຄ້າແລະເມື່ອບໍ່ດົນມານີ້ໄດ້ສົ່ງ ຫຼັກຖານຂອງ Vector Search, ເຊິ່ງເຮັດແບບດຽວກັນສໍາລັບການຊອກຫາ vector retrieval. ຂໍ້ພິສູດໃຫມ່ເຫຼົ່ານີ້ເປີດທາງສໍາລັບອະນາຄົດທີ່ສາມາດເຊື່ອມໂຍງເນື້ອໃນໃຫມ່LLMs, ເຂົ້າເຖິງສະເປັກຂໍ້ມູນທີ່ກວ້າງຂວາງແລະnuanced ຫຼາຍຂຶ້ນໃນເວລາທີ່ແທ້ຈິງ, ແລະລວມເອົາການແປຮູບຂໍ້ມູນທີ່ມີໂຄງສ້າງເພື່ອໃຫ້ມີການວິເຄາະທີ່ມີຄວາມເຂົ້າໃຈຫຼາຍຂຶ້ນ, ທັງຫມົດໃນວິທີການທີ່ຕິດຕາມໄດ້, ການຢັ້ງຢືນໄດ້. ຄວາມກ້າວຫນ້າເຫຼົ່ານີ້ໃນທີ່ສຸດຈະຂະຫຍາຍຂອບເຂດການນໍາໃຊ້ສໍາລັບ LLMs, ການຂະຫຍາຍການນໍາໃຊ້ຂອງພວກເຂົາໃນຂະແຫນງການທີ່ອາໄສຢ່າງຫນັກໃນຂໍ້ມູນທີ່ທັນສະໄຫມເຊັ່ນ: ການບໍລິການທາງດ້ານການເງິນ, ການສັງລວມຂ່າວ, ແລະການປະເມີນຄວາມສ່ຽງ, ດັ່ງນັ້ນຈຶ່ງຂັບເຄື່ອນຄື້ນຕໍ່ໄປຂອງການປະດິດສ້າງ AI-driven.