gpt
-
大模型算法工程师面试问题汇总
一、基础理论与数学 二、大模型架构与关键技术 三、训练与优化 四、推理与部署 五、大模型应用与评估 六、前沿与扩展 七、编程与工程 八、系统设计题常见考点 九、行为与行业认知 十、高阶问题 建议准备策略： 可重…
-
【DeepSpeed】3D 并行原理解读
DeepSpeed 的 3D 并行 是一种高级分布式训练策略，通过结合 数据并行 (Data Parallelism, DP)、模型并行 (Model Parallelism, MP) 和 流水线并行 (Pipeline Parallelism, PP)，在多 GPU 和多节点环境中高效训练超大…
-
用 LLM 将非结构化文本转为知识图谱
核心内容：1. 构建知识图谱的挑战与LLM的解决方案2. 环境配置与关键Python库的安装使用3. 知识图谱的基本概念及其在项目中的应用实例 从非结构化文本中构建知识图谱是一项具有挑战性的任务。它通常需要识别关键术语…
-
11步骤，使用大语言模型构建知识图谱
大数据本身蕴藏着丰富价值，但从中挖掘洞见需要耗费大量人力。而知识图谱能够简化这一过程，通过将零散信息整合成结构化、可搜索的形式，能显著提高效率。一项研究表明，使用知识图谱可将数据探索时间最高缩短 70%…
-
Embedding模型微调：基于已有数据快速构建训练与评估数据集
? 本文目标 本文主要面向希望在特定领域或任务中提升Embedding模型表现的初学者。希望读完之后，能帮助大家： 准确理解Embedding模型微调的核心概念及其对数据集的依赖。 初步掌握基于已有数据构建高质量微调训练集…
-
安装 Dify 并集成 Ollama 和 Xinference
本文介绍了通过 Docker 安装 Dify，然后集成 Ollama 和 XInference，并利用 Dify 快速搭建一个基于知识库问答的应用。
-
一文搞懂Al Agent：基于大模型的人工智能代理
Al Agent（人工智能代理）是一种能够感知环境、进行决策和执行动作的智能实体。旨在大模型技术驱动下，让人们以自然语言为交互方式高自动化地执行和处理专业或繁复的工作任务，从而极大程度释放人员精力。Agent 其…
-
LLM情感聊天机器人-数据获取方法简析
近期出现一些基于大模型的情感陪伴型对话机器人，主要是结合心理学知识，使用心理咨询数据训练，实现量表测量、情绪安抚、情感陪伴等功能，为老人、青少年等提供心理健康支持。本文选取了两个项目，分别用ChatGLM6B…
-
大模型的N种高效部署方法：以LLama2为例
通过部署LLama2示例，比较不同LLM开源推理服务框架的优缺点。本文没介绍深度学习模型推理服务的传统库，如TorchServe，KServe或Triton Inference Server。 1. vLLM 它的吞吐量比HuggingFace Transformer （HF） 高 …
-
Bloom论文阅读笔记，大模型是怎么训练的？
Bloom是一个开源可商用模型，它是如何一步步设计的？用了哪些数据和硬件资源?模型结构细节是怎样的？训练细节是怎样的？......
