深度学习
-
自动信息抽取系统
本文包括用于文本识别的 OCR、用于信息提取的语言模型和 NER,以及用于特定数据模式匹配和填写表单的正则表达式/规则。 1. 文本数据提取 格式:基于文本的 PDF、基于图像的 PDF、图像 为了有效地从这些格式中提取文…
-
LangChain使用
Langchain是什么? Langchain可以说是现阶段十分值得学习的一个AI架构,它标准的定义了我们在构建一个LLM应用开发时可能会用到的东西。比如说在之前写过的AI文章中介绍的prompt,就可以通过Langchain中的PromptTemp…
-
Deepspeed介绍和实战案例(Flan-T5和Bloom)
DeepSpeed是由Microsoft提供的分布式训练工具,旨在支持更大规模的模型和提供更多的优化策略和工具。与其他框架相比,DeepSpeed支持更大规模的模型和提供更多的优化策略和工具。其中,主要优势在于支持更大规模的模…
-
大模型的N种并行训练方法汇总
数据并行 数据并行,就是将数据集分为N份,分别装载到N个GPU节点中,每个GPU节点持有一个完整的模型副本,分别基于每个GPU中的数据去进行梯度求导。在GPU0上对每个GPU中的梯度进行累加,最后,再将GPU0聚合后的结果…
-
一文搞懂Al Agent:基于大模型的人工智能代理
Al Agent(人工智能代理)是一种能够感知环境、进行决策和执行动作的智能实体。旨在大模型技术驱动下,让人们以自然语言为交互方式高自动化地执行和处理专业或繁复的工作任务,从而极大程度释放人员精力。Agent 其…
-
Bloom论文阅读笔记,大模型是怎么训练的?
Bloom是一个开源可商用模型,它是如何一步步设计的?用了哪些数据和硬件资源?模型结构细节是怎样的?训练细节是怎样的?......
-
Ubuntu安装Nvidia 显卡驱动、CUDA Tookit、CuDNN极简指南(不想浪费生命了)
有一块显卡,怎么在Ubuntu中安装驱动和cuda那些依赖? 要快速安装。 如果之前安装了,就卸载: 版本如何对应 https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html#id3 驱动版本最低的适配版本 不…
-
深度学习项目中配置文件探析,用ini、json还是yaml?附源码示例
Python项目配置文件高效管理参数,例如通过ini/cfg、json、yaml文件。
-
在Mac上体验Pytorch 2.0 自注意力性能提升示例
扫码关注程旭源,一起精进和成长 ...通过本文可以了解:在MacBookPro 上设计实验,体验一下等优化改
-
Win10 RTX4090深度学习配置,并Mac远程登录
在Windows上安装RTX4090深度学习环境,并远程连接的相关方法
-
大模型加速微调和训练,不得不掌握的方法,代码解析和应用示例
LoRA模型加速原理、peft包使用、Autocust自动混合精度、Accelerate和deepspeed加速、多GPU分布式训练等大模型加速训练和微调的方法和代码模板
-
流程化微调大模型:香科大开源LMFlow
介绍流程化微调大模型 LMFlow库和使用示例
-
大模型微调之P-tuning方法解析
Prefix-Tuning、P-tuning V1和 V2相关的原理和思路,并结合了大模型ChatGLM微调解析。
-
如何搭建一个智能对话机器人?行业应用和问答技术梳理
智能对话机器人技术进展如何?存在哪些问题?如何设计一个企业对话机器人?用到哪些技术?
-
40份ChatGPT最新研报和资料分享(PDF版)
ChatGPT火爆出圈,相关文档分享,一起学习。