Pele ho 2022, haeba u ne u batla ho hopola kapele temana e itseng e tsoang bukeng eo u e ratang haholo kapa mantsoe a qotsitsoeng filiming eo u sa tsoa e shebella ntle le mosebetsi ka pel'a hau, mohlomong u ka fetohela mochineng oa ho batla. U ka e khothaletsa ka tlhahiso e hlophisitsoeng hantle ea patlo, hlahloba liphetho tse khutlisitsoeng, etela sehokelo sa SparkNotes kapa IMDB se hlahang se na le karabo ea hau, 'me u fumane mongolo oo u o batlang leqepheng la metsotso e seng mekae. Joale, ha u bula ChatGPT, thaepa "quote e tsebahalang haholo ea Terminator?" kapa “ngola karolo e qalang ea A Tale of Two Cities” ’me u fumane karabo ea lentsoe le lentsoe ka mor’a metsotsoana.

E 'ngoe ea mekhoa e bonolo ka ho fetisisa ea mokhoa oa puo e kholo (LLM) ke polokelo ea tsebo. Li-LLM li koetliselitsoe ho li-datasets tse ngata tsa tlhaiso-leseling e ngata, tseo likhokahano tse kang ChatGPT li entseng hore ho be bonolo ho li fumana. Ha o khothaletsa ChatGPT ho khutlisa litaba tse tsoang filiming kapa bukeng, mohlala, u sebelisa feela bokhoni ba mohlala oa ho hopola lintlha tseo e li boneng nakong ea koetliso ea eona. Empa ho thoe'ng haeba e ne e sa koetlisoa ka mongolo oa Terminator, kapa haeba boima ba eona bo sa fane ka bohlokoa ho mesebetsi ea Dickens? E le ho fana ka liphetho tse nepahetseng ka ho fetisisa le tse loketseng bakeng sa linyeoe tse bonolo tsa tšebeliso, tse kang ho khutlisa tlhahisoleseding ea motheo, LLMs e hloka mekhoa e tsoetseng pele ea indexing le mekhoa ea ho khutlisa e ka khonang ho fumana boitsebiso bo bongata ka ho nepahala.

Likahare tsa LLM li hlahisoa ka mokhoa o tsejoang e le polelo e latelang ea token , e netefatsang hore likarabo li nepahetse ho ea ka maemo, lia fapana, 'me li batla li bonahatsa kutloisiso e kang ea motho. Mona ke kamoo polelo ea token e latelang e sebetsang kateng, mohato ka mohato:

1. Ts'ebetso ea ho Kena: Ha u thaepa molaetsa kapa potso, tlhahiso eo e fetoloa matšoao: mantsoe kapa likotoana tsa mantsoe.

2. Kutloisiso ea Moelelo: Mohlala o sheba matšoao ao u o fileng ona, 'me, ho latela koetliso ea ona, o leka ho utloisisa moelelo oa taba, o kenyelletsang ntho e 'ngoe le e' ngoe ho tloha sehloohong se buuoang ho ea ho molumo oo u ka 'nang ua o sebelisa.

3. Polelo ea Letšoao le Latelang: U sebelisa moelelo oa taba eo e utloisisoang, mohlala ebe o bolela esale pele hore na lets'oao le latelang ke lefe. Ha se ho hakanya feela ho ipapisitse le lentsoe le fetileng; e ntse e nahana ka moelelo oohle oa puisano ho fihlela moo.

4. Khetho ea Letšoao: Ha e se e boletse esale pele mefuta e mengata ea li-tokens tse latelang, e khetha e le 'ngoe. Khetho ena e ipapisitse le monyetla - lets'oao leo ho ka etsahalang hore le tla latela ho latela data eo mohlala o koetlisitsoeng ka eona. Ke habohlokoa ho hlokomela, leha ho le joalo, hore ho na le ntho e sa tloaelehang mona, e thusang ho hlahisa likarabo tse fapaneng le tse utloahalang tsa tlhaho.

5. Moloko oa Tlhahiso: Letšoao le khethiloeng le khutlisetsoa ho mongolo o baloang ke motho. Haeba karabelo e sa phethahala (eo hangata e seng ka mor'a tokeneng e le 'ngoe), ts'ebetso e pheta. Letšoao le lecha le eketsoa ka tatellano, 'me mohlala o bolela esale pele letšoao le latelang ho latela moelelo ona o ntlafalitsoeng.

6. Ntlafatso e Iterative: Ts'ebetso ena ea ho bolela esale pele lets'oao le latelang le ho le kenyelletsa tatelanong e pheta ho fihlela mohlala o fihla moo o emisang teng. Sena e ka ba ha karabelo e fihla boleleleng bo itseng, mohlala o bolela esale pele lets'oao le bolelang pheletso ea polelo kapa temana, kapa ha e phethahatsa litaelo tse kentsoeng ka potlako.

Ha LLM e bolela esale pele lets'oao, e khona ho khutlisa le ho sebelisa tsebo e hatelitsoeng e kentsoeng ka har'a boima ba eona ho hlahisa litholoana tse loketseng maemo. Ka tsela ena, liipone tsa koetliso tsa LLM li bonts'a khatello ea database. Joalo ka ha database e ntlafalitsoe ho hopola data e fumanehang khafetsa ka potlako, LLM e etselitsoe ho khutlisa tlhahisoleseling - mehopolo e itseng e kenyellelitsoeng - ho tloha boima ba eona. Bokhoni bona bo e lumella ho fana ka likarabo tse nepahetseng lipotsong mabapi le litaba tse tloaelehileng tseo e kopaneng le tsona nakong ea koetliso ea eona, joalo ka ho botsa database bakeng sa tlhaiso-leseling e lokiselitsoeng hantle. Leha ho le joalo, mefokolo e hlaha ha mohlala o kopana le litaba tse sa tloaelehang kapa tse sa hlakang. Ka mohlala, ha u botsa LLM litemana tse itseng ka Bibeleng, e li qotsa lentsoe ka lentsoe, empa e ke ke ea qotsa lentsoe ka lentsoe khopolo leha e le efe eo e sa kang ea e "paka" nakong ea koetliso, kaha litekanyo tse amanang le khopolo eo le tsona li teng. sa bohlokoa. Ka kutloisiso eo hape, LLM e tšoana le database. Joalo ka ha database e ka khutlisa data e bolokiloeng ka ho hlaka ka har'a eona, LLM e ka thatafalloa ke ho hlahisa litaba ka lihlooho tseo e sa li boneng haholo nakong ea koetliso.

Ehlile, li-LLM li ka nqane ho boholo ba papiso ena, kaha li na le mohlala oa lefats'e ka hare o li lumellang ho "utloisisa" lintho ntle le ho sheba feela. Leha ho le joalo, ho nolofatsa hona ho fetelletseng ho re thusa ho utloisisa tse ling tsa mefokolo ea bohlokoa ka tsela eo li-LLM li koetliselitsoeng ho hlahisa litaba.

Ntle le moo, sistimi e latelang ea ho bolela esale pele e na le mefokolo e meng e hlahang molemong oa eona oa mantlha oa ho hlahisa mongolo:

• Boholo ba Fensetere ea Boemo: E 'ngoe ea litšitiso tsa mantlha ke boholo ba fensetere ea sebopeho - boholo ba mongolo (ka li-tokens) tseo mohlala o ka li nahanang ha o bolela esale pele. Bakeng sa mehlala e mengata, ho kopanyelletsa le liphetolelo tsa pele tsa GPT, fensetere ena ha e kholo ka ho lekaneng ho boloka moelelo ka lipuisano tse telele kapa litokomane, tse ka lebisang ho lahleheloa ke ho lumellana ha litemana tse telele kapa lipuisano tse rarahaneng tse hlokang ho boloka moelelo ho feta li-tokens tse fetileng.

• Kakaretso khahlano le Tsebo e khethehileng: Le ha mefuta ena e koetliselitsoe ho li-datasets tse ngata, bokhoni ba tsona ba ho akaretsa ho tsoa thupelong ena ka linako tse ling bo ka etsa hore ba hlahise litaba tse akaretsang kapa tse sa hlakang hantle. Ba ka 'na ba hloloheloa letšoao la ho hlahisa likarabo tse tobileng kapa tse sa tšoaneng tse hlokang kutloisiso e feletseng kapa tsebo ea morao-rao ntle le boitsebiso ba bona ba koetliso.

• Khaello ea Phihlello ea Tsebo ka Ntle: Mefuta e latelang ea ho bolela esale pele e lekantsoe feela le tlhaiso-leseling e ka har'a li-dataset tsa bona tsa koetliso. Ha ba khone ho fihlella kapa ho kenyelletsa tlhaiso-leseling e ncha ka mor'a koetliso, ho bolelang hore ba ka felloa ke nako kapele kapa ba haelloa ke maemo a hajoale, joalo ka liketsahalo tsa morao-rao, lintho tse sibollotsoeng kapa lihlooho tse ntseng li le teng.

• Ho ipheta-pheta le ho bolela esale pele: Sebopeho sa algorithm ea polelo e latelang ea token ka linako tse ling e ka fella ka tlhahiso e pheta-phetoang kapa e ka lebelloang esale pele. Kaha mohlala hangata o rata li-tokens tseo ho nang le monyetla oa ho latela lipalo-palo ho latela moelelo oa taba, o ka oela ka har'a loops kapa oa khetha mantsoe a tloaelehileng, a fokotsa phapang ea tlhahiso.

Joalokaha ho boletsoe ka holimo, LLMs e hlahisa likarabo ho latela boima boo ba bo abetseng likarolo tse fapaneng tsa data nakong ea koetliso. Boima bona bo bonts'a hore na likarolo tse fapaneng tsa data tse kentsoeng li lemohuoa hakae ke mohlala. Haeba molaetsa oa mosebelisi o kenyelletsa likarolo tse neng li sa hlahisoa haholo ho data ea koetliso, mohlala o ka hloleha ho fana ka karabo e nepahetseng kapa e nepahetseng.

Ha moqoqo o feta fensetere ea litaba tsa LLM, kapa ha molaetsa o feta moeli oa boima bo boholo lethathamong la lithupelo la LLM (ho bolelang hore e ke ke ea hopola hantle karabo eo mosebelisi a e batlang), hangata mohlala o its'etleha ho database ea kantle ea vector. , e e lumellang ho batla moelelo oa taba kapa lintlha tse ncha tse ka kenyelletsoang ho tsoa ho mosebelisi. Ts'ebetso ena e tsejoa e le retrieval augmented generation (RAG).

Ts'ebetso ea RAG e khoneha ka polokelo ea polokelo ea li-vector: mofuta o tsoetseng pele oa database o bolokang le ho laola data joalo ka li-vector. Li-vector tsena li emela lintlha sebakeng se phahameng, moo tekanyo e 'ngoe le e' ngoe e nkang karolo e itseng ea moelelo oa data, e lumellang ho hlahisa likamano tse rarahaneng le litšoaneleho. Boemong ba mongolo le puo, li-database tsa patlo ea li-vector li sebelisa mekhoa e kang ea ho kenya letsoho ho fetolela mongolo ho li-vector tsa linomoro. Phetoho ena e nolofalletsa tsamaiso ho lekanya ho tšoana ha semantic pakeng tsa likotoana tse fapaneng tsa mongolo ka ho bala sebaka se pakeng tsa li-vectors tse tsamaellanang sebakeng sena sa multidimensional.

Ka nako ya RAG, bobedi potso (ke hore, tlhahiso ya mosebedisi ho LLM) le data e bolokilweng (jwalo ka dingolwa, ditokomane, kapa dipolelo) di fetolelwa ho ba divetara ho sebediswa tse kenngwang mongolo. Melaetsa ena e fetola data ea mongolo hore e be li-vector tsa lipalo moo meelelo e ts'oanang e bonts'ang lintlha tse haufi sebakeng sa vector. Ka mor'a moo, database e lekanya sebaka se pakeng tsa vector ea lipotso le li-vectors tsa data e bolokiloeng ho fumana hore na litlhaloso tsa litemana li amana hakae. Sebaka sa polokelo ea boitsebiso se fumana lintlha tsa lintlha (litaba tsa mongolo) tseo li-vector tsa tsona li leng haufi haholo le vector ea lipotso, ke hore, tse tšoanang haholo le semantically. Lintlha tsena tsa data li nkuoa e le "baahelani ba haufi" ho latela moelelo le moelelo.

Baahelani bana ba haufi ba fana ka lintlha tse ling tse amanang le maemo, tse ling tseo LLM e neng e ka be e sa ka ea khona ho li fumana ka har'a datha ea eona ea lithupelo, tse ka ntlafatsang haholo ho nepahala, bohlokoa, bongata, le mefuta e fapaneng ea liphetho tsa LLM. Ham

Ho lokisa LLM ho kenyelletsa ho lokisa boima ba mohlala ho ipapisitse le koetliso e eketsehileng ho dataset e itseng ho ntlafatsa ts'ebetso ea mesebetsi e itseng kapa ho ntlafatsa kutloisiso libakeng tse itseng. Ha se feela hore ts'ebetso ena e tsamaea butle ho feta lebelo la boqapi, ho bolelang hore mefuta e hlophisitsoeng hantle e felloa ke nako hang ha e nchafatsoa, ​​hape ha e bue ka taba ea data e ncha.

Ka lehlakoreng le leng, RAG e thusa mohlala ho fihlella li-database tsa kantle ka nako ea nnete ho fumana lintlha tsa morao-rao tse amanang le potso e teng. Leha mofuta oa mantlha o so ka o nchafatsoa kapa o sa lokisoa haufinyane, o ntse o ka hlahisa likarabo tse kenyelletsang lintlha tsa morao-rao. Mehlala e lula e le ea bohlokoa nako e telele hobane e khona ho ikamahanya le lintlha tse ncha le maemo a fetohang ka ho khutlisa mehloli ea tlhahisoleseling e kantle.

RAG e koala lekhalo lipakeng tsa thuto e tebileng le mekhoa ea khale ea ho khutlisa tlhahisoleseling. Ka ho etsa joalo, e phahamisa matla a tsona ka bobeli—kutloisiso e tebileng ea maemo a thuto le ho nepahala ha tlhahisoleseling. Mokhoa ona oa lebasetere o lumella LLM ho hlahisa likarabo tse nepahetseng haholoanyane, tse qaqileng, le tse ruileng haholoanyane.

Ntle le tokiso e ntle, RAG e boetse e sebetsana le liphephetso tse boletsoeng pejana tse amanang le li-LLM tse tloaelehileng:

• Ho Atolosa Kutloisiso ea Temana: RAG e atolosa fensetere ea li-LLM tsa setso ka ho fumana lintlha tsa morao-rao kapa tse qaqileng tse ntlafatsang likarabo tsa mohlala.

• Ho Ntlafatsa ho Tseba le ho Nepaha: Ho e-na le ho itšetleha feela ka mekhoa e ithutoang nakong ea koetliso, RAG e lumella mohlala ho kenya lintlha tse tobileng ho tsoa litokomaneng tse nkiloeng likarabong tsa eona, ho etsa hore li se ke tsa nepahala feela empa hape li lumellane le potso e tobileng.

• Ho Fokotsa ho Pheta-pheta le ho ba le Ponelopele: Ka ho hula ka matla lihlopha tse fapaneng tsa tlhahisoleseling bakeng sa potso ka 'ngoe, RAG e ka fetola likarabo tsa mohlala haholo. Phapang ena e thusa ho fokotsa ho pheta-pheta le ho bolela esale pele hangata ho bonoang mefuteng e hloekileng ea tlhahiso, kaha data ea kantle e hlahisa mantsoe le lintlha tse ncha moqoqong.

RAG e tla le mathata a eona, leha ho le joalo-e leng ho lieha le ho hloka bohlale. Ak'u nahane ka moqoqo oa moemeli oa lipuisano moo mosebelisi a fanang ka molaetsa, LLM e hlatsa matšoao a 'maloa a bonts'ang hore e hloka maemo a mangata, database ea patlo ea vector e fumana maemo a haufi le moahelani ka tlhahiso ea mosebelisi, ebe ka bobeli lia romeloa. ho LLM hape bakeng sa tlhahiso. Joale, ke nako ea mosebelisi ea ho araba, joalo-joalo.

Tsamaisong ena, ts'ebetso e 'ngoe le e' ngoe ea mosebedisi e qala ts'ebetso ea mehato e mengata moo mohato o mong le o mong o eketsang nako eohle ea ho sebetsa. Lebelo la ts'ebetso eohle le lona le ipapisitse le hore na database ea patlo ea vector e ka fumana maemo a hlokahalang kapele hakae. Haeba potso ea polokelo ea boitsebiso e rarahane kapa polokelo ea boitsebiso ka boeona e le khōlō 'me e sa hlophisoa hantle, ho khutlisa hona ho ka hlahisa tieho e kholo. Ho phaella moo, haholo-holo lipuisanong tse rarahaneng haholoanyane, tatellano ena ea moloko le ho khutlisa e ka 'na ea hloka ho phetoa ka makhetlo a mangata ho ntlafatsa karabo ka ho lekaneng. Potoloho ena e ipheta-phetang e ka kopanya latency, e lebisang ho litšebelisano tse liehang ho feta kamoo ho ka khonehang ka mohlala o iphetotseng o itšetlehileng feela ka data ea kahare.

Ho feta moo, bohlale ba LLM e ruisitsoeng ke RAG bo itšetlehile haholo ka boleng le bohlokoa ba tlhahisoleseding e fumanweng ho tswa ho polokelongtshedimosetso ya vector. Haeba litaba tsa database li se na botlalo, tsa morao-rao, kapa li hlokometsoe hantle, ts'ebeliso ea tlhaiso-leseling e fumanoeng e ka fokotsoa, ​​​​e ama bohlale ba likarabo.

Leha data ea boleng bo holimo ea kantle e nkuoa, phephetso e ntse e le hore na tlhahisoleseling ena e ka kopanngoa joang le moralo o teng oa likarabo oa LLM. Mohlala ha oa lokela ho kenyelletsa lintlha tsena tsa kantle feela empa o etse joalo ka mokhoa o nepahetseng le o lumellanang. Ho se lumellane lipakeng tsa koetliso ea mohlala le mofuta oa data ea kantle ho ka lebisa ho likarabo tse nepahetseng ka botekgeniki empa li sa kopane.

Moloko o latelang oa li-LLM o ka 'na oa kopanya RAG e thehiloeng ho li-vector le mekhoa ea setso ea koetliso / tokiso e ntle hammoho, hammoho le ts'ebetso e hlophisitsoeng ea data (mohlala, SQL database ea lintlha tsa 'maraka oa TradFi le litaba tse amanang le lichelete). Mohopolo oa ho ba le mofani oa LLM 'mona' le sebaka sa polokelo ea li-vector se arohaneng 'ho feta moo' se tla kopana ka mefuta e mecha e atolosang mohopolo oa bona oa ho sebetsa ho li-SSD tsa lehae tse nang le li-terabyte tsa moelelo oa vectorized.

Sebaka le Nako li se li fane ka Bopaki ba SQL-bopaki ba ZK bo netefatsang ho nepahala le ho sitisoa ha SQL database processing-ho bareki le ho sa tsoa romelloa Bopaki ba Vector Search, e etsang se tšoanang bakeng sa ho fumana li-vector search. Bopaki bona bo bocha bo bula tsela bakeng sa bokamoso moo li-LLM li ka kopanyang maemo a macha, tsa fihlella palo e pharalletseng le e fapaneng ea data ka nako ea nnete, le ho kopanya ts'ebetso ea data e hlophisitsoeng ho hlahisa litlhahlobo tse nang le temohisiso, kaofela ka tsela e ka latelloang, e ka netefatsoang. Lintlafatso tsena li tla holisa boholo ba likopo tsa li-LLM, ho holisa ts'ebeliso ea tsona makaleng a itšetlehileng haholo ka lintlha tsa morao-rao, joalo ka lits'ebeletso tsa lichelete, ho bokella litaba, le tlhahlobo ea kotsi, ka hona, e tsamaisetsa pele leqhubu le latelang la AI. -botjha bo khannoang.