Да 2022 года, калі вы хацелі хутка ўспомніць пэўны ўрывак з вашай любімай кнігі або цытату з фільма, які вы толькі што глядзелі, без самога твора перад вамі, вы, верагодна, звярнуліся б да пошукавай сістэмы. Вы б падказалі гэта з дапамогай добра сфармуляванага пошукавага ўводу, прааналізавалі б вернутыя вынікі, перайшлі па спасылцы SparkNotes або IMDB, якая, здаецца, змяшчае ваш адказ, і знайшлі тэкст, які вы шукаеце, на старонцы на працягу некалькіх хвілін. Цяпер вы проста адкрываеце ChatGPT, набіраеце «якая самая вядомая цытата Тэрмінатара?» або «напішыце першы ўрывак з «Аповесці пра два гарады»» і атрымайце свой даслоўны адказ праз некалькі секунд.
Адзін з самых простых спосабаў выкарыстання вялікай моўнай мадэлі (LLM) - гэта база дадзеных ведаў. LLM прайшлі навучанне на вялізных наборах багатай інфармацыі, якую інтэрфейсы, такія як ChatGPT, дазваляюць лёгка атрымаць. Калі вы, напрыклад, прапануеце ChatGPT вярнуць кантэнт з фільма або кнігі, вы проста выкарыстоўваеце здольнасць мадэлі ўспамінаць інфармацыю, з якой яна атрымлівала доступ падчас навучання. Але што, калі ён не быў падрыхтаваны па сцэнарыі Тэрмінатара, або калі яго вага не надае важнасці творам Дзікенса? Для атрымання найбольш дакладных і адпаведных вынікаў нават для самых простых выпадкаў выкарыстання, такіх як базавы пошук інфармацыі, LLM патрэбны складаныя механізмы індэксацыі і пошуку, якія могуць атрымаць доступ да шырокага спектру інфармацыі з дакладнасцю.
Кантэнт LLM ствараецца з дапамогай працэсу, вядомага як прагназаванне наступнага токена , які гарантуе, што адказы з'яўляюцца адпаведнымі кантэксту, разнастайнымі і ў пэўнай ступені адлюстроўваюць чалавечае разуменне. Вось як працуе прагназаванне наступнага токена, крок за крокам:
Апрацоўка ўводу: калі вы ўводзіце падказку або пытанне, гэты ўвод пераўтвараецца ў токены: словы або фрагменты слоў.
Разуменне кантэксту: Мадэль разглядае токены, якія вы ёй далі, і, грунтуючыся на сваім навучанні, спрабуе зразумець кантэкст, які ўключае ў сябе ўсё: ад разгляданай тэмы да тону, які вы можаце выкарыстоўваць.
Прагназаванне наступнага токена: выкарыстоўваючы зразумелы кантэкст, мадэль прадказвае, які найбольш верагодны наступны токен. Гэта не проста адгадванне на падставе непасрэдна папярэдняга слова; гэта ўлічвае ўвесь кантэкст размовы да гэтага моманту.
Выбар маркера: як толькі ён прадказаў дыяпазон магчымых наступных маркераў, ён выбірае адзін. Гэты выбар заснаваны на верагоднасці - токен, які, хутчэй за ўсё, будзе наступным на аснове даных, на якіх навучалася мадэль. Варта адзначыць, аднак, што тут таксама ёсць некаторая выпадковасць, якая дапамагае генераваць больш разнастайныя і натуральныя адказы.
Генерацыя вываду: абраны токен затым пераўтворыцца назад у тэкст, які чытаецца чалавекам. Калі адказ няпоўны (што часта бывае не толькі пасля аднаго токена), працэс паўтараецца. Новы токен дадаецца ў паслядоўнасць, і мадэль прадказвае наступны токен на аснове гэтага абноўленага кантэксту.
Ітэрацыйнае ўдакладненне: гэты працэс прагназавання наступнага токена і дадання яго ў паслядоўнасць паўтараецца, пакуль мадэль не дасягне кропкі прыпынку. Гэта можа быць, калі адказ дасягае пэўнай даўжыні, мадэль прадказвае маркер, які азначае канец сказу або ўрыўка, або калі яна выконвае інструкцыі, убудаваныя ў падказку.
Калі LLM прагназуе токен, ён эфектыўна здабывае і выкарыстоўвае сціснутыя веды, убудаваныя ў яго вагі, для атрымання кантэкстуальна адпаведных вынікаў. Такім чынам, навучанне LLM адлюстроўвае сціск базы дадзеных. Падобна таму, як база дадзеных аптымізавана для хуткага выкліку даных, да якіх часта звяртаюцца, LLM прызначаны для атрымання інфармацыі - канкрэтных інтэрпаляваных успамінаў - са сваіх вагаў. Гэтая магчымасць дазваляе яму даваць дакладныя адказы на запыты аб знаёмым матэрыяле, з якім ён сутыкнуўся падчас навучання, падобна таму, як запытваць у базе дадзеных добра праіндэксаваную інфармацыю. Аднак абмежаванні ўзнікаюць, калі мадэль сустракае менш знаёмы або незразумелы кантэнт. Напрыклад, калі вы пытаецеся ў LLM пра пэўныя ўрыўкі з Бібліі, ён цытуе іх слова ў слова, але ён не можа цытаваць слова ў слова ніводнае паняцце, якое ён не бачыў празмерна падчас навучання, паколькі вага, звязаны з гэтым паняццем, занадта нязначныя. У гэтым сэнсе таксама LLM аналагічны базе даных. Падобна таму, як база дадзеных можа вяртаць толькі дадзеныя, якія былі відавочна захаваны ў ёй, LLM можа змагацца са стварэннем кантэнту на тэмы, якія ён не бачыў шырока падчас навучання.
Безумоўна, магістранты па-за рамкамі гэтай аналогіі, паколькі ў іх ёсць унутраная мадэль свету, якая дазваляе ім "разумець" рэчы не толькі пошуку. Аднак гэта празмернае спрашчэнне дапамагае нам зразумець некаторыя ключавыя абмежаванні ў тым, як магістранты навучаюцца генераваць кантэнт.
Акрамя таго, наступная сістэма прагназавання токенаў мае іншыя ўласцівыя абмежаванні, якія вынікаюць з яе фундаментальнага падыходу да генерацыі тэксту:
Памер кантэкстнага акна: адным з асноўных абмежаванняў з'яўляецца памер кантэкстнага акна мадэлі — максімальная колькасць тэксту (у токенах), якую мадэль можа ўлічваць пры прагназаванні. Для многіх мадэляў, у тым ліку больш ранніх версій GPT, гэтае акно недастаткова вялікае, каб падтрымліваць кантэкст у доўгіх размовах або дакументах, што можа прывесці да страты звязнасці ў больш доўгіх тэкстах або складаных абмеркаваннях, якія патрабуюць падтрымання кантэксту па-за непасрэдна папярэднімі маркерамі.
Абагульненне супраць канкрэтнасці: у той час як гэтыя мадэлі навучаюцца на шырокіх наборах даных, іх здольнасць да абагульнення з гэтага навучання часам можа прымусіць іх ствараць агульны або няясна рэлевантны кантэнт. Яны могуць прапусціць цэль у стварэнні вельмі канкрэтных або нюансаваных адказаў, якія патрабуюць дэталёвага разумення або сучасных ведаў па-за межамі іх навучальных дадзеных.
Адсутнасць знешняга доступу да ведаў: Мадэлі прагназавання токенаў Next абмежаваныя інфармацыяй, якая змяшчаецца ў іх навучальных наборах даных. Яны не могуць атрымаць доступ або ўключыць новую інфармацыю пасля навучання, што азначае, што яны могуць хутка састарэць або не мець актуальнага кантэксту, напрыклад нядаўніх падзей, адкрыццяў або папулярных тэм.
Паўтаральнасць і прадказальнасць: алгарытмічная прырода прагназавання наступнага токена можа часам прыводзіць да генерацыі паўтаральнага або прадказальнага тэксту. Паколькі мадэль часта аддае перавагу лексемам, якія статыстычна больш верагодна прытрымліваюцца з улікам кантэксту, яна можа трапляць у цыклы або аддаваць перавагу агульным фразам, памяншаючы зменлівасць вываду.
Як ужо згадвалася вышэй, LLM генеруюць адказы на аснове вагі, якую яны прысвоілі розным аспектам даных падчас навучання. Гэтыя вагі адлюстроўваюць, наколькі важныя або значныя розныя элементы ўваходных даных успрымаюцца мадэллю. Калі падказка карыстальніка ўключае элементы, якія не былі ў значнай ступені прадстаўлены ў навучальных даных, мадэль можа не згенераваць дакладны або адпаведны адказ.
Калі размова перавышае кантэкстнае акно LLM або калі падказка перавышае ліміт значных вагаў ва ўласным навучальным наборы даных LLM (гэта азначае, што ён не можа дакладна ўспомніць адказ, які шукае карыстальнік), мадэль звычайна абапіраецца на знешнюю базу дадзеных вектарнага пошуку , што дазваляе яму шукаць адпаведны кантэкст або свежыя даныя, якія можна дадаць да падказкі ад карыстальніка. Гэты працэс вядомы як пошукавая дапоўненая генерацыя (RAG).
Працэс RAG стаў магчымым дзякуючы базе дадзеных вектарнага пошуку: прасунутага тыпу базы дадзеных, якая захоўвае і кіруе данымі ў выглядзе вектараў. Гэтыя вектары прадстаўляюць даныя ў шматмернай прасторы, дзе кожнае вымярэнне адлюстроўвае некаторыя аспекты значэння даных, дазваляючы прадстаўляць складаныя адносіны і атрыбуты. У кантэксце тэксту і мовы базы дадзеных вектарнага пошуку выкарыстоўваюць такія метады, як убудовы, каб пераўтварыць тэкст у лікавыя вектары. Гэта пераўтварэнне дазваляе сістэме вымяраць семантычнае падабенства паміж рознымі часткамі тэксту шляхам вылічэння адлегласці паміж іх адпаведнымі вектарамі ў гэтай шматмернай прасторы.
Падчас RAG як запыт (г.зн. увод карыстальніка ў LLM), так і захаваныя даныя (такія як артыкулы, дакументы або сказы) пераўтвараюцца ў вектары з дапамогай убудавання тэксту. Гэтыя ўбудовы пераўтвараюць тэкставыя даныя ў лікавыя вектары, дзе падобныя значэнні супастаўляюцца з бліжэйшымі кропкамі ў вектарнай прасторы. Затым база дадзеных вылічвае адлегласці паміж вектарам запыту і вектарамі захаваных даных, каб вызначыць, наколькі цесна звязаныя значэнні тэкстаў. База даных здабывае кропкі даных (тэкставае змесціва), вектары якіх найбольш блізкія да вектара запыту, г.зн. тыя, што семантычна найбольш падобныя на ўваход. Гэтыя кропкі дадзеных лічацца "бліжэйшымі суседзямі" з пункту гледжання кантэксту і значэння.
Гэтыя бліжэйшыя суседзі прадастаўляюць адпаведную кантэксту дадатковую інфармацыю, да якой базавы LLM мог не мець доступу ў рамках сваіх уласных навучальных даных, што можа значна палепшыць дакладнасць, рэлевантнасць, насычанасць і разнастайнасць вынікаў LLM. Сэм Альтман, сярод іншых, выступаў за падыход «вектарнага пошуку да поспеху» - абапіраючыся на RAG для распрацоўкі агентаў, а не на тонкую наладу мадэлі.
Дакладная налада LLM прадугледжвае карэкціроўку вагавых паказчыкаў мадэлі на аснове дадатковага навучання на пэўным наборы даных для павышэння прадукцыйнасці для пэўных задач або паляпшэння разумення пэўных даменаў. Гэты працэс не толькі павольней, чым тэмпы інавацый, гэта значыць, што дакладна наладжаныя мадэлі састарваюцца амаль гэтак жа хутка, як і абнаўляюцца, ён таксама не вырашае праблему свежых даных.
Наадварот, RAG дазваляе мадэлі атрымліваць доступ да знешніх баз даных у рэжыме рэальнага часу для атрымання самай актуальнай інфармацыі, якая адпавядае запыту. Нават калі базавая мадэль нядаўна не абнаўлялася і не наладжвалася, яна ўсё роўна можа генераваць адказы, якія ўключаюць апошнія даныя. Мадэлі застаюцца актуальнымі даўжэй, таму што яны могуць адаптавацца да новых даных і змяняюцца кантэкстаў праз пошук знешніх крыніц інфармацыі.
RAG эфектыўна ліквідуе разрыў паміж глыбокім навучаннем і традыцыйнымі метадамі пошуку інфармацыі. Робячы гэта, ён выкарыстоўвае моцныя бакі абодвух — магутнае разуменне кантэксту глыбокага навучання і дакладнасць пошуку інфармацыі. Гэты гібрыдны падыход дазваляе LLMs вырабляць больш дакладныя, падрабязныя і кантэкстуальна багатыя адказы.
Акрамя тонкай налады, RAG таксама вырашае адзначаныя раней праблемы, звязаныя са стандартнымі LLM:
Пашырэнне кантэкстнага разумення: RAG пашырае кантэкстнае акно традыцыйных LLM, атрымліваючы актуальную або падрабязную інфармацыю, якая паляпшае рэакцыю мадэлі.
Павышэнне канкрэтнасці і дакладнасці: замест таго, каб спадзявацца выключна на шаблоны, вывучаныя падчас навучання, RAG дазваляе мадэлі ўводзіць у свае адказы канкрэтныя дэталі з адноўленых дакументаў, робячы іх не толькі больш дакладнымі, але і адаптаванымі да канкрэтнага запыту.
Памяншэнне паўтаральнасці і прадказальнасці: дынамічна выцягваючы розныя наборы інфармацыі для кожнага запыту, RAG можа істотна змяняць адказы мадэлі. Гэтая зменлівасць дапамагае паменшыць паўтаральнасць і прадказальнасць, якія часта назіраюцца ў чыста генератыўных мадэлях, паколькі знешнія даныя ўводзяць у размову новыя фразы і дэталі.
Аднак у RAG ёсць свае праблемы, а менавіта затрымка і недахоп інтэлекту. Падумайце пра пакрокавую размову чат-бота агента, дзе карыстальнік адпраўляе запыт, LLM выдае некалькі токенаў, якія паказваюць, што яму патрабуецца больш кантэксту, вектарная база дадзеных пошуку атрымлівае кантэкст бліжэйшага суседа праз запыт карыстальніка, а потым абодва нарэшце адпраўляюцца зноў у LLM для высновы. Затым надыходзіць чарга карыстальніка адказаць і гэтак далей.
У гэтай сістэме кожны запыт карыстальніка ініцыюе шматэтапную аперацыю, дзе кожны крок павялічвае агульны час апрацоўкі. Хуткасць усяго працэсу таксама залежыць ад таго, наколькі хутка база дадзеных вектарнага пошуку можа атрымаць неабходны кантэкст. Калі запыт да базы дадзеных з'яўляецца складаным або сама база дадзеных вялікая і не аптымальна праіндэксаваная, гэты пошук можа выклікаць значныя затрымкі. Акрамя таго, асабліва ў больш складаных дыялогах, гэтую паслядоўнасць генерацыі і пошуку можа спатрэбіцца паўтарыць некалькі разоў, каб адэкватна ўдакладніць адказ. Гэты ітэрацыйны цыкл можа ўзмацніць затрымку, прыводзячы да больш павольнага ўзаемадзеяння, чым магло б быць магчыма з дапамогай чыста генератыўнай мадэлі, якая абапіраецца выключна на ўнутраныя даныя.
Акрамя таго, інтэлект LLM, узбагачанага RAG, у значнай ступені залежыць ад якасці і актуальнасці інфармацыі, атрыманай з базы дадзеных вектарнага пошуку. Калі змесціва базы дадзеных не з'яўляецца поўным, актуальным або добра падтрымліваецца, карыснасць здабытай інфармацыі можа быць абмежаванай, што паўплывае на агульную разумнасць адказаў.
Нават калі высакаякасныя знешнія даныя здабываюцца, праблема застаецца ў тым, наколькі эфектыўна гэтая інфармацыя можа быць інтэграваная ў існуючую структуру рэагавання LLM. Мадэль павінна не толькі ўключаць гэтыя знешнія даныя, але і рабіць гэта такім чынам, што адпавядае кантэксту і паслядоўна. Неадпаведнасць паміж навучаннем мадэлі і характарам знешніх даных можа прывесці да адказаў, якія з'яўляюцца тэхнічна дакладнымі, але кантэкстуальна раз'яднанымі.
Наступнае пакаленне LLM, хутчэй за ўсё, будзе аб'ядноўваць RAG на аснове вектарнага пошуку і традыцыйныя метады навучання/дакладнай налады разам са структураванай апрацоўкай даных (напрыклад, базы дадзеных SQL з рынкавымі дадзенымі TradFi і звязанымі фінансавымі навінамі). Канцэпцыя наяўнасці пастаўшчыка LLM "тут" і асобнай базы дадзеных вектарнага пошуку "там" будзе спалучацца з дапамогай новых мадэляў, якія інтуітыўна пашыраюць сваю індэксаваную рабочую памяць на лакальныя SSD з тэрабайтамі вектарнага кантэксту.
Прастора і час ужо паставілі кліентам Proof of SQL — ZK-доказ, які правярае дакладнасць і абароненасць апрацоўкі базы дадзеных SQL, а зусім нядаўна — Proof of Vector Search, які робіць тое ж самае для пошуку вектарнага пошуку. Гэтыя новыя доказы адкрываюць шлях у будучыню, дзе магістры LLM змогуць інтэграваць свежы кантэкст, атрымліваць доступ да больш шырокага і дэталёвага спектру даных у рэжыме рэальнага часу і інтэграваць структураваную апрацоўку даных для атрымання больш праніклівай аналітыкі, і ўсё гэта спосабам, які можна адсочваць і правяраць. Гэтыя дасягненні ў канчатковым рахунку пашырыць сферу прымянення для LLM, пашыраючы іх карыснасць у сектарах, якія ў значнай ступені залежаць ад актуальных даных, такіх як фінансавыя паслугі, агрэгацыя навін і ацэнка рызык, што рухае наперад наступную хвалю штучнага інтэлекту. -арыентаваныя інавацыі.
Сузаснавальнік і тэхнічны дырэктар
Скот Дыкстра з'яўляецца сузаснавальнікам і галоўным тэхналагічным дырэктарам па прасторы і часе, а таксама стратэгічным дарадцам шэрагу стартапаў па базах дадзеных і тэхналогій Web3, у тым ліку Sotero. Скот мае доўгую гісторыю стварэння і пашырэння буйных інжынерных каманд для вырашэння складаных новых задач і распрацовак, арыентаваных на даследаванні. Спецыялізуючыся на аналітыцы карпаратыўнага маштабу, Скот раней займаў пасаду віцэ-прэзідэнта па воблачных рашэннях у Teradata, дзе ён правёў амаль восем гадоў, пераводзячы Teradata ад лакальных разгортванняў да воблачнага SaaS наступнага пакалення. Скот з'яўляецца дальнабачным лідэрам па прадуктах з вопытам распрацоўкі прадуктаў у Web3, сховішчах даных, воблаку і гандлі вытворнымі інструментамі. Скот апантаны прыгожым UX/UI. Прадпрымальнік да глыбіні душы, Space and Time - гэта другая паспяховая спроба Скота ў якасці кіраўніка стартапа, арыентаванага на даследаванні.