Python
-
大模型的N种高效部署方法:以LLama2为例
通过部署LLama2示例,比较不同LLM开源推理服务框架的优缺点。本文没介绍深度学习模型推理服务的传统库,如TorchServe,KServe或Triton Inference Server。 1. vLLM 它的吞吐量比HuggingFace Transformer (HF) 高 …
-
LLama2: 使用 FastAPI、Celery、Redis 和 Docker 构建可扩展的聊天机器人
本文介绍如何使用 Llama 2 和 FastAPI、Redis 和 Celery 构建基于大模型对话的应用程序,将介绍这些概念以及它们如何协同工作的。 我们一直在使用 FastAPI 来构建我们的LLM应用,是一个用高性能 Web 框架,其异步功…
-
Ubuntu安装Nvidia 显卡驱动、CUDA Tookit、CuDNN极简指南(不想浪费生命了)
有一块显卡,怎么在Ubuntu中安装驱动和cuda那些依赖? 要快速安装。 如果之前安装了,就卸载: 版本如何对应 https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html#id3 驱动版本最低的适配版本 不…
-
深度学习项目中配置文件探析,用ini、json还是yaml?附源码示例
Python项目配置文件高效管理参数,例如通过ini/cfg、json、yaml文件。
-
Pandas+Re正则,处理文本字符串
Pandas+Re正则处理文本字符串示例
-
高频Python正则表达式,基础语法、常用函数和工具汇总
工作学习中常用的正则表达式总结、工具分享和示例
-
在Mac上体验Pytorch 2.0 自注意力性能提升示例
扫码关注程旭源,一起精进和成长 ...通过本文可以了解:在MacBookPro 上设计实验,体验一下等优化改
-
Win10 RTX4090深度学习配置,并Mac远程登录
在Windows上安装RTX4090深度学习环境,并远程连接的相关方法
-
流程化微调大模型:香科大开源LMFlow
介绍流程化微调大模型 LMFlow库和使用示例
-
新年新气象,2023年计划单暨『程旭源的小店』开业了!
书山有路勤为径,学海无涯苦作舟!新年更有新气象,财源广进、广开财路!
-
一次解决python环境管理和更换镜像源『Mac/Win/Linux』
Mac/Windows/Linux下,一次解决python环境管理和换镜像源。
-
如何搭建一个智能对话机器人?行业应用和问答技术梳理
智能对话机器人技术进展如何?存在哪些问题?如何设计一个企业对话机器人?用到哪些技术?
-
40份ChatGPT最新研报和资料分享(PDF版)
ChatGPT火爆出圈,相关文档分享,一起学习。
-
Python高级工程师竟然这样写代码?优雅、简洁、易读!
成为Python高级工程师,把代码写的更优雅!
-
开源对话机器人:Rasa3安装和基础入门
开源对话框架Rasa的安装和基本使用