年轻人起来冲

SemanticKernel-GetStart

发表于 2024-12-13 更新于 2025-02-02 分类于 2-深度学习， LLM开发工程师指南， SemanticKernel 本文字数： 5.2k 阅读时长 ≈ 5 分钟

一个类似 langchian 的框架，但是比 langchian 框架抽象程度更高，这就意味着：开发更容易上手，但是定制能力下降，核心区别是 SemanticKernel 可以使用 C#、Java 开发

发表于 2024-12-10 更新于 2025-02-02 分类于 2-深度学习， LLM开发工程师指南， MetaGPT 本文字数： 5.3k 阅读时长 ≈ 5 分钟

单个智能体可以执行一个或多个动作，那是不是一直使用一个智能体即可呢？存在以下两个问题：

Prompt 依赖：动作越多，要求 Prompt 越精细，才能准确控制其动作，尤其是有相似动作时
动作选择上限：Openai 建议一个 agent 绑定不超过 20 个动作，动作太多，agent 选择工具能力下降 Function calling - OpenAI API
SOP (标准作业流程) 问题：在现实工作中，常常存在一个标准流程，如果每次节点都依赖 llm 去选择后续的逻辑分支，软件变得不可控

发表于 2024-12-07 更新于 2025-02-02 分类于 2-深度学习， LLM开发工程师指南， RAG 本文字数： 1.7k 阅读时长 ≈ 2 分钟

在构建 rag 应用时，读取文档后的下一步是对文档进行分块，之所以分块。理由如下：

llms 一次输入有限：prompt 无法接受太多输入，拿 4 K 大小的模型来说，大概可以输入 4 K*1.5=6000 左右的汉字，过长的上下文不仅会出现截断问题，还导致推理耗时增加
语义混乱：一次性输入过长的上下文，llms 可能回答不准确，通过语义筛选相关文档后，使得上下文的语义更集中

一个合理的切分方式，每个 chunk 语义完整，长度适中，过长：虽然 chunk 减少，使得向量数据库检索更快，但是 llm 推理成本上升，过短：语义被切割，一些精准的问题无法召回 chunk

发表于 2024-12-07 更新于 2025-02-02 分类于 2-深度学习， LLM开发工程师指南， MetaGPT 本文字数： 15k 阅读时长 ≈ 14 分钟

MetaGPT 是多 Agent 框架，通过定义不同的角色及其动作，组件团队去解决问题

发表于 2024-11-18 更新于 2025-02-02 分类于 2-深度学习， LLM开发工程师指南， RAG 本文字数： 3.1k 阅读时长 ≈ 3 分钟

基于 RAG 搭建表格问答系统

发表于 2024-11-16 更新于 2025-02-02 分类于 2-深度学习， LLM开发工程师指南， Dify 本文字数： 703 阅读时长 ≈ 1 分钟

Dify 创建应用非常简单，直接在 工作室 新建即可，下面就 dify 新建应用过程的关键步骤进行记录

发表于 2024-11-10 更新于 2025-02-02 分类于 2-深度学习， LLM开发工程师指南， Dify 本文字数： 1.4k 阅读时长 ≈ 1 分钟

认识 dify

发表于 2024-10-31 更新于 2025-02-02 分类于 2-深度学习， LLM开发工程师指南， LlamaIndex 本文字数： 1.5k 阅读时长 ≈ 1 分钟

由于 LlamaIndex 默认使用 openai 作为 embedding 和 Chat 模型，所以直接安装 LlamaIndex 需要配置 openai 的 API 才能运行，以下通过官方文档，搭建基于 ollama 的本地运行环境

发表于 2024-10-31 更新于 2025-02-02 分类于 2-深度学习， LLM开发工程师指南， CrewAI 本文字数： 15k 阅读时长 ≈ 14 分钟

本例子设计一个场景：熟悉某地的 “百事通”+ 旅游经理，共同为游客设计旅游计划，输入条件是：目的地、旅游天数、预算，输出完成旅游计划

发表于 2024-10-30 更新于 2025-02-02 分类于 2-深度学习， LLM开发工程师指南， CrewAI 本文字数： 6.9k 阅读时长 ≈ 6 分钟

在 crewai 中，使用记忆系统可以给 Agent 或者 Crew 可以赋予一个角色、团队临时性或者经历过的知识，对于团队外部即时的、更加庞大的外部知识，将无法使用，因此给 Agent、Crew 引入 knowledge 的概念，以供 Agent、Crew 在执行 Task 时，查看这些知识