Python
-
持续集成和部署 （CI/CD）和测试
CI/CD 持续集成 （CI） 和持续部署 （CD） 是自动构建、测试和部署代码更改的流程。CI 是在代码更改提交到代码存储库后立即自动生成和测试代码更改的过程。CD 是在代码更改通过 CI 测试后自动将代码更改部署到生产…
-
functools高级编程技巧，Python代码优雅神器
partial() 从概念上讲， partial是一种通过将部分参数应用于现有函数来创建新函数的便捷方法 。functools.partial 允许你创建一个新函数，该函数是现有函数的修改版本。你可以为一个或多个参数指定默认值，这意味着…
-
Pandas平替Polars
Polars是一个用于操作结构化数据的高性能DataFrame库，可以说是平替pandas最有潜质的包。Polars其核心部分是用Rust编写的，但该库也提供了Python接口。主要特点包括： User guide: https://pola-rs.github.io/polar…
-
大模型算法工程师面试问题汇总
一、基础理论与数学 二、大模型架构与关键技术 三、训练与优化 四、推理与部署 五、大模型应用与评估 六、前沿与扩展 七、编程与工程 八、系统设计题常见考点 九、行为与行业认知 十、高阶问题 建议准备策略： 可重…
-
用 LLM 将非结构化文本转为知识图谱
核心内容：1. 构建知识图谱的挑战与LLM的解决方案2. 环境配置与关键Python库的安装使用3. 知识图谱的基本概念及其在项目中的应用实例 从非结构化文本中构建知识图谱是一项具有挑战性的任务。它通常需要识别关键术语…
-
11步骤，使用大语言模型构建知识图谱
大数据本身蕴藏着丰富价值，但从中挖掘洞见需要耗费大量人力。而知识图谱能够简化这一过程，通过将零散信息整合成结构化、可搜索的形式，能显著提高效率。一项研究表明，使用知识图谱可将数据探索时间最高缩短 70%…
-
常用聚类算法
在机器学习中，无监督学习一直是我们追求的方向，而其中的聚类算法更是发现隐藏数据结构与知识的有效手段。目前如谷歌新闻等很多应用都将聚类算法作为主要的实现手段，它们能利用大量的未标注数据构建强大的主题聚…
-
HF datasets 使用技巧总结
1. 常用操作：**Sort, shuffle, select, split, shard, rename, remove, cast, and flatten** 2. 结合 map 处理数据3. 不同格式的加载和存储4. 多线程加速处理5. 与pytorch操作示例 # 常用操作 ## 加载 ```python w…
-
FastAPI + NGINX + Gunicorn：部署一个高性能的Python应用
一、前言 FastAPI 是用于开发API应用最受欢迎的Python库之一，NGINX、Gunicorn 和 Uvicorn 都是经过实践验证的技术，常被用作反向代理和ASGI服务器来部署Python网页应用。 本文将展示如何结合这些工具来部署一个 Fa…
-
Python装饰器技巧篇
01 引言 Python装饰器是一种强大而优雅的语法特性，能够在不修改原有函数代码的情况下，为函数添加新的功能。本文将为你揭示15个实用的Python装饰器技巧，帮助你写出更加简洁、高效的代码。 02 核心概念解析 装饰器…
-
python并发编程，异步、线程、栈的那些事~
为什么需要并发？ 在日常生活中，我们会同时做很多事情。比如边听音乐边做饭，或者一边看视频一边回复消息。这些行为让我们提高了效率。同样的，在编程中，我们也希望程序能同时处理多个任务，这样可以提高程序的执…
-
Ollama使用指南【超全版】
一、Ollama 快速入门 Ollama 是一个用于在本地运行大型语言模型的工具，下面将介绍如何在不同操作系统上安装和使用 Ollama。 官网：https://ollama.com Github：https://github.com/ollama/ollama 公众号文章：http…
-
工作中常用的pandas 数据处理技术总结【高级技巧】
工作中我们常用pandas作为数据处理的工具，读取Excel/csv/mysql等数据源后处理成dataframe，本文介绍一些常用的高级操作技巧、组合使用技巧，尤其是文本相关的处理。 另一篇：https://www.icnma.com/pandasre_re/ …
-
大模型的N种高效部署方法：以LLama2为例
通过部署LLama2示例，比较不同LLM开源推理服务框架的优缺点。本文没介绍深度学习模型推理服务的传统库，如TorchServe，KServe或Triton Inference Server。 1. vLLM 它的吞吐量比HuggingFace Transformer （HF） 高 …
-
LLama2: 使用 FastAPI、Celery、Redis 和 Docker 构建可扩展的聊天机器人
本文介绍如何使用 Llama 2 和 FastAPI、Redis 和 Celery 构建基于大模型对话的应用程序，将介绍这些概念以及它们如何协同工作的。 我们一直在使用 FastAPI 来构建我们的LLM应用，是一个用高性能 Web 框架，其异步功…
