检索增强生成 (RAG), 快速入门
在当今世界,可获取的信息量呈指数级增长,重要的细节往往淹没在数据流中。RAG 是一种创新的方法,它结合了向量搜索和语言模型的力量,可以在几秒钟内从庞大的知识库中获得相关的答案。掌握 RAG,让你的聊天机器人不仅仅是随机事实的来源,而是一个真正的专家,能够准确、快速和令人信服地回答问题。
到 2025 年,90% 的 GenAI 职位都需要 RAG 知识
问题
- RAG 分为哪些步骤?
- 为什么需要 A (Augmentation)?
- R (Retrieve) 如何工作?
- 需要对数据做什么才能进行 Retrieve?
步骤
1. 观看 2 个视频
我有一份 30 兆令牌的咖啡机说明书……但我不想每次都在请求中传递它——我该怎么办?观看第一个视频——你就会知道!
This is David's most beloved channel on YouTube. ⬆️
2. 体验 RAG!
3. 如何使用 ipynb?
Ipynb (Interactive Python Notebook) 是一个交互式笔记本,允许你在一个文档中编写代码、文本、数学公式和结果。
有两种方法可以使用 ipynb:
- Google Colab - 在任何浏览器中
- VS Code - 本地
4. 现在让我们创建自己的 RAG!
复制以下 ipynb,并使用代码:
- https://python.langchain.com/docs/tutorials/rag/
- ✦ https://python.langchain.com/docs/tutorials/qa_chat_history/
额外步骤
现在我们知道了...
现在你知道 RAG 是如何工作的,以及每个字母的含义。让我们继续前进!
练习
在接下来的模块中...
- 为什么需要 RAG? - 我们将了解何时需要 RAG 方法,以及何时需要其他方法
- 嵌入和向量数据库 - 我们将了解文本如何转换为向量以及如何存储它们
- ✦ 数据预处理 - 我们将学习如何为 RAG 准备数据
- ✦ 混合 RAG - 不仅仅是向量!
- ✦ 使用结构化数据 - 我们将学习如何使用大型表格进行 RAG
- ✦ 使用其他(除了文本)非结构化数据 - 我们将学习如何使用图像、音频和视频进行 RAG