百行代码实现三体问答机器人
通过langchain + gradio仅用百行python代码即可实现一个简易的RAG应用。本文将以《三体》为例，解读实现步骤。什么是RAG？Retrieval Augmented Generation (RAG)是一种增强LLM针对特定信息推理能力的方法。LLM，如chatgpt，一般是在某个机构使用特定时间的数据集进行训练得到的模型，而当我们需要对特定领域的信息或私密信息进行问答时，它就难以给出准确答案了。例如直接让chatgpt介绍一下三体中章北海的所作所为，就会得到以下结果：让chatgpt介绍一下三体中章北海的所作所为这种情况下用已有的数据重新微调大模型代价很大，且难以做到实时的效果，而RAG很好地解决了该问题。如何实现RAG？实现一个RAG应用一般分为两步：建立索引和检索生成。建立索引通过Embedding模型将源数据转换为词向量保存至向量数据库中，通常有以下步骤：Load: 首先使用DocumentLoader读取不同类型的文档数据。Split: 然后将文档按一定规则分割为较小的块（chunk）. 以便于模型能够更好的进行上下文理解。Store: 最后通过Embe...
百行代码实现三体问答机器人
通过langchain + gradio仅用百行python代码即可实现一个简易的RAG应用。本文将以《三体》为例，解读实现步骤。什么是RAG？Retrieval Augmented Generation (RAG)是一种增强LLM针对特定信息推理能力的方法。LLM，如chatgpt，一般是在某个机构使用特定时间的数据集进行训练得到的模型，而当我们需要对特定领域的信息或私密信息进行问答时，它就难以给出准确答案了。例如直接让chatgpt介绍一下三体中章北海的所作所为，就会得到以下结果：让chatgpt介绍一下三体中章北海的所作所为这种情况下用已有的数据重新微调大模型代价很大，且难以做到实时的效果，而RAG很好地解决了该问题。如何实现RAG？实现一个RAG应用一般分为两步：建立索引和检索生成。建立索引通过Embedding模型将源数据转换为词向量保存至向量数据库中，通常有以下步骤：Load: 首先使用DocumentLoader读取不同类型的文档数据。Split: 然后将文档按一定规则分割为较小的块（chunk）. 以便于模型能够更好的进行上下文理解。Store: 最后通过Embe...
Airbyte实战
Airbyte 是 2020 年 7 月推出的最新开源 ETL 工具之一。它不同于其他 ETL 工具，因为它通过 UI 和 API 提供开箱即用的连接器，允许社区开发人员监控和维护该工具。连接器作为 Docker 容器运行，可以以您选择的语言构建。通过提供模块化组件和可选功能子集，Airbyte 提供了更大的灵活性。快速开始本地部署Airbytegit clone https://github.com/airbytehq/airbyte.git cd airbyte docker-compose up 启动后访问： http://localhost:8000添加数据源添加数据源添加目标源首先先用docker-compose在本地启动一个postgres数据库mkdir ./data创建docker-compose.yaml：version: "3" services: postgres: image: postgres:14 container_name: postgres restart: always environment: POSTGRES_DB: postgres PO...
Airbyte实战
Airbyte 是 2020 年 7 月推出的最新开源 ETL 工具之一。它不同于其他 ETL 工具，因为它通过 UI 和 API 提供开箱即用的连接器，允许社区开发人员监控和维护该工具。连接器作为 Docker 容器运行，可以以您选择的语言构建。通过提供模块化组件和可选功能子集，Airbyte 提供了更大的灵活性。快速开始本地部署Airbytegit clone https://github.com/airbytehq/airbyte.git cd airbyte docker-compose up 启动后访问： http://localhost:8000添加数据源添加数据源添加目标源首先先用docker-compose在本地启动一个postgres数据库mkdir ./data创建docker-compose.yaml：version: "3" services: postgres: image: postgres:14 container_name: postgres restart: always environment: POSTGRES_DB: postgres PO...
30分钟建成一个博客
wordpress是广为人知的内容管理系统，而docker可以打包应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，两者的结合让建站只需要简单的几步配置。购买实例（服务器）阿里云、腾讯云、华为云、亚马逊云、谷歌云等等地方都可以购买云服务器，其中谷歌和亚马逊都有试用一年的套餐，而阿里、腾讯、华为的新用户和校园用户也有许多折扣，小伙伴们可以自行挑选合适的套餐购买。安装docker和docker-compose这里可以直接在购买服务器的时候选择含有docker的镜像，如果没有也可以在控制台中找到更换操作系统（或更换镜像）来换一个带有docker的镜像，如果还是没有可以通过以下方法安装：# 安装docker sudo curl -sSL https://get.daocloud.io/docker | sh # 安装docker-compose sudo curl -L "https://github.com/docker/compose/releases/download/v2.2.2/docker-compose-$(uname -s)-$(una...
30分钟建成一个博客
wordpress是广为人知的内容管理系统，而docker可以打包应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，两者的结合让建站只需要简单的几步配置。购买实例（服务器）阿里云、腾讯云、华为云、亚马逊云、谷歌云等等地方都可以购买云服务器，其中谷歌和亚马逊都有试用一年的套餐，而阿里、腾讯、华为的新用户和校园用户也有许多折扣，小伙伴们可以自行挑选合适的套餐购买。安装docker和docker-compose这里可以直接在购买服务器的时候选择含有docker的镜像，如果没有也可以在控制台中找到更换操作系统（或更换镜像）来换一个带有docker的镜像，如果还是没有可以通过以下方法安装：# 安装docker sudo curl -sSL https://get.daocloud.io/docker | sh # 安装docker-compose sudo curl -L "https://github.com/docker/compose/releases/download/v2.2.2/docker-compose-$(uname -s)-$(una...
