https://www.spaceandtime.io/blog/vector-search-to-success

Trước năm 2022, nếu bạn muốn nhanh chóng nhớ lại một đoạn văn cụ thể trong cuốn sách yêu thích hoặc một trích dẫn từ bộ phim bạn vừa xem mà không cần xem tác phẩm trước mặt, bạn có thể sẽ chuyển sang công cụ tìm kiếm. Bạn sẽ nhắc nhở công cụ bằng một đầu vào tìm kiếm được xây dựng tốt, phân tích qua các kết quả trả về, truy cập liên kết SparkNotes hoặc IMDB có vẻ chứa câu trả lời của bạn và tìm văn bản bạn đang tìm kiếm trên trang trong vòng vài phút. Bây giờ, bạn chỉ cần mở ChatGPT, nhập "trích dẫn nổi tiếng nhất của Terminator là gì?" hoặc "viết ra đoạn mở đầu của A Tale of Two Cities" và nhận được câu trả lời nguyên văn của bạn trong vài giây.

Một trong những ứng dụng đơn giản nhất của mô hình ngôn ngữ lớn (LLM) là làm cơ sở dữ liệu kiến ​​thức. LLM đã được đào tạo trên các tập dữ liệu lớn chứa thông tin phong phú, mà các giao diện như ChatGPT giúp dễ dàng truy xuất. Ví dụ, khi bạn nhắc ChatGPT trả về nội dung từ phim hoặc sách, bạn chỉ đơn giản là tận dụng khả năng nhớ lại thông tin mà mô hình đã tiếp xúc trong quá trình đào tạo. Nhưng nếu mô hình không được đào tạo trên tập lệnh Terminator hoặc nếu trọng số của mô hình không coi trọng các tác phẩm của Dickens thì sao? Để cung cấp kết quả chính xác và phù hợp nhất ngay cả đối với các trường hợp sử dụng đơn giản nhất, chẳng hạn như truy xuất thông tin cơ bản, LLM cần các cơ chế lập chỉ mục và truy xuất tinh vi có thể truy cập chính xác vào phổ thông tin rộng.

Hiểu về việc tạo nội dung và đào tạo LLM

Nội dung LLM được tạo ra thông qua một quy trình được gọi là dự đoán mã thông báo tiếp theo , đảm bảo rằng các phản hồi phù hợp với ngữ cảnh, đa dạng và phần nào phản ánh được sự hiểu biết giống con người. Sau đây là cách dự đoán mã thông báo tiếp theo hoạt động, từng bước một:

1. Xử lý đầu vào: Khi bạn nhập lời nhắc hoặc câu hỏi, thông tin đầu vào đó sẽ được chuyển đổi thành mã thông báo: từ hoặc cụm từ.

2. Hiểu ngữ cảnh: Mô hình sẽ xem xét các mã thông báo bạn đã cung cấp và cố gắng hiểu ngữ cảnh dựa trên quá trình đào tạo, bao gồm mọi thứ từ chủ đề đang nói đến giọng điệu bạn có thể sử dụng.

3. Dự đoán mã thông báo tiếp theo: Sử dụng ngữ cảnh đã hiểu, mô hình sau đó dự đoán mã thông báo tiếp theo có khả năng xảy ra nhất. Không chỉ đoán dựa trên từ trước đó; mà còn xem xét toàn bộ ngữ cảnh của cuộc trò chuyện cho đến thời điểm đó.

4. Lựa chọn mã thông báo: Sau khi dự đoán được một loạt các mã thông báo tiếp theo có thể, nó sẽ chọn một mã thông báo. Lựa chọn này dựa trên xác suất—mã thông báo có nhiều khả năng xuất hiện tiếp theo nhất dựa trên dữ liệu mà mô hình được đào tạo. Tuy nhiên, cần lưu ý rằng cũng có một số tính ngẫu nhiên ở đây, giúp tạo ra các phản hồi đa dạng và tự nhiên hơn.

5. Tạo đầu ra: Mã thông báo đã chọn sau đó được chuyển đổi trở lại thành văn bản mà con người có thể đọc được. Nếu phản hồi không hoàn tất (thường là không hoàn tất sau khi chỉ có một mã thông báo), quá trình sẽ lặp lại. Mã thông báo mới được thêm vào chuỗi và mô hình dự đoán mã thông báo tiếp theo dựa trên ngữ cảnh được cập nhật này.

6. Tinh chỉnh lặp lại: Quá trình dự đoán mã thông báo tiếp theo và thêm nó vào chuỗi lặp lại cho đến khi mô hình đạt đến điểm dừng. Điều này có thể xảy ra khi phản hồi đạt đến một độ dài nhất định, mô hình dự đoán một mã thông báo biểu thị sự kết thúc của một câu hoặc đoạn văn hoặc khi nó thực hiện các hướng dẫn được nhúng trong lời nhắc.

Những hạn chế của việc nén trong đào tạo LLM

Khi LLM dự đoán một mã thông báo, nó sẽ truy xuất và sử dụng hiệu quả kiến ​​thức được nén được nhúng trong các trọng số của nó để tạo ra các đầu ra phù hợp theo ngữ cảnh. Theo cách này, quá trình đào tạo LLM phản ánh quá trình nén cơ sở dữ liệu. Cũng giống như cơ sở dữ liệu được tối ưu hóa để nhanh chóng nhớ lại dữ liệu thường xuyên truy cập, LLM được thiết kế để truy xuất thông tin—các ký ức nội suy cụ thể—từ các trọng số của nó. Khả năng này cho phép nó tạo ra các phản hồi chính xác cho các truy vấn về tài liệu quen thuộc mà nó đã gặp phải trong quá trình đào tạo, giống như truy vấn cơ sở dữ liệu để tìm thông tin được lập chỉ mục tốt. Tuy nhiên, các hạn chế phát sinh khi mô hình gặp phải nội dung ít quen thuộc hoặc khó hiểu. Ví dụ: khi bạn yêu cầu LLM cung cấp các đoạn văn cụ thể trong Kinh thánh, nó trích dẫn từng từ một, nhưng không thể trích dẫn từng từ một bất kỳ khái niệm nào mà nó không "chứng kiến" một cách thừa thãi trong quá trình đào tạo, vì các trọng số liên quan đến khái niệm đó quá nhỏ. Theo nghĩa đó, LLM cũng tương tự như cơ sở dữ liệu. Cũng giống như cơ sở dữ liệu chỉ có thể trả về dữ liệu đã được lưu trữ rõ ràng trong đó, LLM có thể gặp khó khăn khi tạo nội dung về các chủ đề mà nó chưa thấy nhiều trong quá trình đào tạo.

Tất nhiên, LLM nằm ngoài phạm vi của phép loại suy này, vì chúng có một mô hình thế giới bên trong cho phép chúng "hiểu" mọi thứ hoàn toàn vượt ra ngoài phạm vi tra cứu. Tuy nhiên, sự đơn giản hóa quá mức này giúp chúng ta hiểu một số hạn chế chính trong cách LLM được đào tạo để tạo nội dung.

Những hạn chế tiếp theo của đào tạo LLM

Hơn nữa, hệ thống dự đoán mã thông báo tiếp theo có những hạn chế cố hữu khác xuất phát từ cách tiếp cận cơ bản của nó để tạo văn bản:

• Kích thước cửa sổ ngữ cảnh: Một trong những hạn chế chính là kích thước cửa sổ ngữ cảnh của mô hình—lượng văn bản tối đa (tính bằng token) mà mô hình có thể xem xét khi đưa ra dự đoán. Đối với nhiều mô hình, bao gồm các phiên bản GPT trước đó, cửa sổ này không đủ lớn để duy trì ngữ cảnh trong các cuộc trò chuyện hoặc tài liệu dài, điều này có thể dẫn đến mất tính mạch lạc trong các văn bản dài hơn hoặc các cuộc thảo luận phức tạp đòi hỏi phải duy trì ngữ cảnh ngoài các token trước đó.

• Tổng quát hóa so với Tính cụ thể: Mặc dù các mô hình này được đào tạo trên các tập dữ liệu lớn, khả năng tổng quát hóa từ quá trình đào tạo này đôi khi có thể khiến chúng tạo ra nội dung chung chung hoặc có liên quan mơ hồ. Chúng có thể bỏ lỡ mục tiêu trong việc tạo ra các phản hồi rất cụ thể hoặc có sắc thái đòi hỏi sự hiểu biết chi tiết hoặc kiến ​​thức cập nhật bên ngoài dữ liệu đào tạo của chúng.

• Thiếu quyền truy cập kiến ​​thức bên ngoài: Các mô hình dự đoán mã thông báo tiếp theo bị giới hạn ở thông tin có trong tập dữ liệu đào tạo của chúng. Chúng không thể truy cập hoặc kết hợp thông tin mới sau khi đào tạo, điều đó có nghĩa là chúng có thể nhanh chóng trở nên lỗi thời hoặc thiếu bối cảnh hiện tại, chẳng hạn như các sự kiện gần đây, khám phá hoặc chủ đề thịnh hành.

• Tính lặp lại và khả năng dự đoán: Bản chất thuật toán của dự đoán mã thông báo tiếp theo đôi khi có thể dẫn đến việc tạo văn bản lặp lại hoặc có thể dự đoán được. Vì mô hình thường ưu tiên các mã thông báo có khả năng theo sau cao hơn về mặt thống kê trong bối cảnh, nên nó có thể rơi vào vòng lặp hoặc ưu tiên các cụm từ phổ biến, làm giảm tính biến động của đầu ra.

Giải thích về thế hệ tăng cường truy xuất (RAG)

Như đã đề cập ở trên, LLM tạo ra các phản hồi dựa trên trọng số mà chúng đã gán cho các khía cạnh khác nhau của dữ liệu trong quá trình đào tạo. Các trọng số này phản ánh mức độ quan trọng hoặc đáng kể của các yếu tố khác nhau của dữ liệu đầu vào được mô hình nhận thức. Nếu lời nhắc của người dùng bao gồm các yếu tố không được thể hiện đáng kể trong dữ liệu đào tạo, mô hình có thể không tạo ra phản hồi chính xác hoặc có liên quan.

Khi một cuộc hội thoại vượt quá cửa sổ ngữ cảnh của LLM hoặc khi một lời nhắc vượt quá giới hạn trọng số đáng kể trong tập dữ liệu đào tạo của riêng LLM (có nghĩa là nó không thể nhớ chính xác câu trả lời mà người dùng đang tìm kiếm), mô hình thường dựa vào cơ sở dữ liệu tìm kiếm vectơ bên ngoài, cho phép nó tìm kiếm ngữ cảnh có liên quan hoặc dữ liệu mới có thể được thêm vào lời nhắc từ người dùng. Quá trình này được gọi là thế hệ tăng cường truy xuất (RAG).

“Tìm kiếm vectơ để thành công”

Quá trình RAG có thể thực hiện được thông qua cơ sở dữ liệu tìm kiếm vectơ: một loại cơ sở dữ liệu tiên tiến lưu trữ và quản lý dữ liệu dưới dạng vectơ. Các vectơ này biểu diễn dữ liệu trong không gian nhiều chiều, trong đó mỗi chiều nắm bắt một số khía cạnh về ý nghĩa của dữ liệu, cho phép biểu diễn các mối quan hệ và thuộc tính phức tạp. Trong bối cảnh văn bản và ngôn ngữ, cơ sở dữ liệu tìm kiếm vectơ sử dụng các kỹ thuật như nhúng để chuyển đổi văn bản thành vectơ số. Sự chuyển đổi này cho phép hệ thống đo lường sự tương đồng về mặt ngữ nghĩa giữa các phần văn bản khác nhau bằng cách tính toán khoảng cách giữa các vectơ tương ứng của chúng trong không gian đa chiều này.

Trong RAG, cả truy vấn (tức là dữ liệu đầu vào của người dùng vào LLM) và dữ liệu được lưu trữ (chẳng hạn như bài viết, tài liệu hoặc câu) đều được chuyển đổi thành các vectơ bằng cách sử dụng nhúng văn bản. Các nhúng này chuyển đổi dữ liệu văn bản thành các vectơ số, trong đó các ý nghĩa tương tự được ánh xạ tới các điểm gần nhau trong không gian vectơ. Sau đó, cơ sở dữ liệu tính toán khoảng cách giữa vectơ truy vấn và các vectơ của dữ liệu được lưu trữ để xác định mức độ liên quan chặt chẽ giữa các ý nghĩa của văn bản. Cơ sở dữ liệu truy xuất các điểm dữ liệu (nội dung văn bản) có các vectơ gần nhất với vectơ truy vấn, tức là các vectơ giống nhất về mặt ngữ nghĩa với đầu vào. Các điểm dữ liệu này được coi là "láng giềng gần nhất" về mặt ngữ cảnh và ý nghĩa.

Những người hàng xóm gần nhất này cung cấp thông tin bổ sung có liên quan theo ngữ cảnh mà LLM cơ sở có thể không có quyền truy cập trong dữ liệu đào tạo của riêng mình, điều này có thể cải thiện đáng kể độ chính xác, tính liên quan, sự phong phú và tính đa dạng của các đầu ra của LLM. Sam Altman, cùng với những người khác, đã ủng hộ phương pháp tiếp cận "tìm kiếm vectơ để thành công"—dựa vào RAG để phát triển các tác nhân, thay vì chỉ tinh chỉnh mô hình.

RAG như một giải pháp thay thế cho việc tinh chỉnh

Việc tinh chỉnh LLM liên quan đến việc điều chỉnh trọng số của mô hình dựa trên quá trình đào tạo bổ sung trên một tập dữ liệu cụ thể để nâng cao hiệu suất cho các tác vụ cụ thể hoặc cải thiện sự hiểu biết trong một số lĩnh vực nhất định. Quá trình này không chỉ chậm hơn tốc độ đổi mới, nghĩa là các mô hình được tinh chỉnh trở nên lỗi thời gần như nhanh như chúng được cập nhật, mà còn không giải quyết được vấn đề về dữ liệu mới.

Ngược lại, RAG cho phép mô hình truy cập cơ sở dữ liệu bên ngoài theo thời gian thực để lấy thông tin mới nhất có liên quan đến truy vấn hiện tại. Ngay cả khi mô hình cơ bản chưa được cập nhật hoặc tinh chỉnh gần đây, nó vẫn có thể tạo ra các phản hồi bao gồm dữ liệu mới nhất. Các mô hình vẫn có liên quan lâu hơn vì chúng có thể thích ứng với dữ liệu mới và bối cảnh thay đổi thông qua việc lấy các nguồn thông tin bên ngoài.

RAG thu hẹp khoảng cách giữa học sâu và các kỹ thuật truy xuất thông tin truyền thống một cách hiệu quả. Bằng cách đó, nó tận dụng được thế mạnh của cả hai—khả năng hiểu ngữ cảnh mạnh mẽ của học sâu và độ chính xác của truy xuất thông tin. Phương pháp kết hợp này cho phép LLM tạo ra các phản hồi chính xác hơn, chi tiết hơn và phong phú hơn về mặt ngữ cảnh.

Giải quyết những hạn chế tiếp theo của LLM

Ngoài việc tinh chỉnh, RAG còn giải quyết những thách thức đã nêu trước đây liên quan đến LLM tiêu chuẩn:

• Mở rộng hiểu biết theo ngữ cảnh: RAG mở rộng cửa sổ ngữ cảnh của LLM truyền thống bằng cách thu thập thông tin chi tiết hoặc cập nhật giúp nâng cao phản hồi của mô hình.

• Nâng cao tính cụ thể và độ chính xác: Thay vì chỉ dựa vào các mẫu học được trong quá trình đào tạo, RAG cho phép mô hình đưa các chi tiết cụ thể từ các tài liệu đã truy xuất vào phản hồi của nó, khiến chúng không chỉ chính xác hơn mà còn phù hợp với truy vấn cụ thể hiện tại.

• Giảm thiểu tính lặp lại và khả năng dự đoán: Bằng cách kéo các tập thông tin khác nhau một cách động cho mỗi truy vấn, RAG có thể thay đổi đáng kể các phản hồi của mô hình. Sự thay đổi này giúp giảm tính lặp lại và khả năng dự đoán thường thấy trong các mô hình tạo thuần túy, vì dữ liệu bên ngoài đưa ra cách diễn đạt và chi tiết mới vào cuộc trò chuyện.

Những thách thức và sự phát triển cần thiết của RAG

Tuy nhiên, RAG cũng có những thách thức riêng của nó—đó là độ trễ và thiếu thông minh. Hãy nghĩ về một cuộc trò chuyện chatbot theo lượt của tác nhân, trong đó người dùng gửi lời nhắc, LLM đưa ra một vài mã thông báo cho biết cần thêm ngữ cảnh, cơ sở dữ liệu tìm kiếm vectơ lấy ngữ cảnh lân cận gần nhất thông qua lời nhắc nhập của người dùng, và sau đó cả hai cuối cùng được gửi lại cho LLM để suy luận. Sau đó, đến lượt người dùng trả lời, v.v.

Trong hệ thống này, mỗi lời nhắc của người dùng sẽ khởi tạo một hoạt động nhiều bước, trong đó mỗi bước sẽ làm tăng tổng thời gian xử lý. Tốc độ của toàn bộ quá trình cũng phụ thuộc vào tốc độ cơ sở dữ liệu tìm kiếm vectơ có thể truy xuất ngữ cảnh cần thiết. Nếu truy vấn cơ sở dữ liệu phức tạp hoặc bản thân cơ sở dữ liệu lớn và không được lập chỉ mục tối ưu, thì việc truy xuất này có thể gây ra sự chậm trễ đáng kể. Ngoài ra, đặc biệt là trong các hộp thoại phức tạp hơn, trình tự tạo và truy xuất này có thể cần được lặp lại nhiều lần để tinh chỉnh phản hồi một cách thỏa đáng. Chu kỳ lặp lại này có thể làm tăng độ trễ, dẫn đến tương tác chậm hơn so với khả năng thực hiện được với mô hình tạo thuần túy chỉ dựa vào dữ liệu nội bộ.

Hơn nữa, trí thông minh của LLM được làm giàu RAG phụ thuộc đáng kể vào chất lượng và tính liên quan của thông tin thu được từ cơ sở dữ liệu tìm kiếm vectơ. Nếu nội dung cơ sở dữ liệu không toàn diện, không cập nhật hoặc không được bảo trì tốt, tiện ích của thông tin thu được có thể bị hạn chế, ảnh hưởng đến trí thông minh chung của các phản hồi.

Ngay cả khi dữ liệu bên ngoài chất lượng cao được thu thập, thách thức vẫn nằm ở mức độ hiệu quả mà thông tin này có thể được tích hợp vào khuôn khổ phản hồi hiện có của LLM. Mô hình không chỉ phải kết hợp dữ liệu bên ngoài này mà còn phải làm theo cách phù hợp về mặt ngữ cảnh và mạch lạc. Sự không phù hợp giữa quá trình đào tạo của mô hình và bản chất của dữ liệu bên ngoài có thể dẫn đến các phản hồi chính xác về mặt kỹ thuật nhưng lại rời rạc về mặt ngữ cảnh.

Thế hệ tiếp theo của LLM

Thế hệ LLM tiếp theo có thể sẽ kết hợp RAG dựa trên tìm kiếm vectơ và các phương pháp đào tạo/điều chỉnh truyền thống với nhau, cùng với xử lý dữ liệu có cấu trúc (ví dụ: cơ sở dữ liệu SQL của dữ liệu thị trường TradFi và tin tức tài chính liên quan). Khái niệm có một nhà cung cấp LLM 'ở đây' và một cơ sở dữ liệu tìm kiếm vectơ riêng 'ở đó' sẽ đối chiếu thông qua các mô hình mới mở rộng bộ nhớ làm việc được lập chỉ mục của chúng một cách trực quan đến các ổ SSD cục bộ với hàng terabyte ngữ cảnh vectơ hóa.

Space and Time đã cung cấp Proof of SQL—một bằng chứng ZK xác minh tính chính xác và khả năng chống giả mạo của quá trình xử lý cơ sở dữ liệu SQL—cho khách hàng và gần đây hơn là Proof of Vector Search, cũng làm như vậy đối với việc truy xuất tìm kiếm vector. Những bằng chứng mới lạ này mở đường cho một tương lai mà LLM có thể tích hợp ngữ cảnh mới, truy cập vào phổ dữ liệu rộng hơn và sắc thái hơn theo thời gian thực và tích hợp xử lý dữ liệu có cấu trúc để tạo ra các phân tích sâu sắc hơn, tất cả đều theo cách có thể truy xuất và xác minh được. Những tiến bộ này cuối cùng sẽ mở rộng phạm vi ứng dụng cho LLM, mở rộng tiện ích của chúng trong các lĩnh vực phụ thuộc nhiều vào dữ liệu cập nhật từng phút, chẳng hạn như dịch vụ tài chính, tổng hợp tin tức và đánh giá rủi ro, do đó thúc đẩy làn sóng đổi mới tiếp theo do AI thúc đẩy.