1728819149-banner_1920
  • ollama run Model on Hugging Face Hub

    之前写了篇比较全的ollama使用文档: https://www.icnma.com/ollama-tutorial/ 本篇主要是如何使用ollama直接运行huggingface上的gguf模型。 直接使用Ollama在Hugging Face上任何GGUF quant model,而无需创建新的M…

    25/11/2024
    0490
  • 20 Thesis Defense Questions and Answers

    Thesis Defense Questions and Answers What is your research study all about? In your answer, you should summarize your research in a few sentences. The question is simple but requires technical expert…

    03/11/2024
    01590
  • BLOOM 3b:使用 Triton Server 进行优化和部署

    1、文本生成算法 2、使用 ONNX 优化 Bloom 3b 3、在 Triton 推理服务器上,结合动态批处理 托管 Bloom 3b BigScience Large Open-Science Open Access Language(简称BLOOM)是一个大型语言模型。开源可商用。BLOOM…

    20/10/2024
    01440
  • 文本生成模型解码策略和采样方法对比分析(13种)

    本文主要探讨如下两个方面: 1、outputs = model.generate(**inputs, ...) generate()中各个参数是什么含义? 2、我们的模型在文本生成的时候,最终的结果文本是如何产生的?常见的解码策略有哪些? 常用参数释义 m…

    20/10/2024
    01610
  • 创业公司商业模式和定价的学习指南A Learning Guide for Startup Business Models and Pricing

    YC 合伙人 Aaron Epstein 谈论了不同的创业商业模式、如何盈利以及如何为产品定价。定价和盈利是创始人最常问的问题之一,Aaron Epstein 概述了 9 种商业模式,并重点介绍了 YC 顶级公司的商业模式经验。   文末附…

    14/10/2024
    02650
  • UM PhD Thesis Writing

    好的文章特征 在结构上,论文由几章组成。在这方面,我们建议考虑七章的最佳数字来报告整个研究研究的整个过程。 摘要:本章节内容的摘要。它包括对本章的目标的陈述。它可以帮助读者(考官)理解身体中各部分的流…

    14/10/2024
    01040
  • Academic Writing Websites

    Cambridge Online Dictionary 这本词典提供了深入的解释、关键发音和例句。在大学水平的英语学习中,使用英语-英语词典来查未知单词并丰富你的词汇量(即对单词的知识)是个好主意。 https://dictionary.cambridge.…

    13/10/2024
    01310
  • FastAPI + NGINX + Gunicorn:部署一个高性能的Python应用

    一、前言 FastAPI 是用于开发API应用最受欢迎的Python库之一,NGINX、Gunicorn 和 Uvicorn 都是经过实践验证的技术,常被用作反向代理和ASGI服务器来部署Python网页应用。 本文将展示如何结合这些工具来部署一个 Fa…

    12/10/2024
    04580
  • Python装饰器技巧篇

    01 引言 Python装饰器是一种强大而优雅的语法特性,能够在不修改原有函数代码的情况下,为函数添加新的功能。 本文将为你揭示15个实用的Python装饰器技巧,帮助你写出更加简洁、高效的代码。 02 核心概念解析 装饰…

    12/10/2024
    01480
  • 安装 Dify 并集成 Ollama 和 Xinference

    本文介绍了通过 Docker 安装 Dify,然后集成 Ollama 和 XInference,并利用 Dify 快速搭建一个基于知识库问答的应用。

    11/10/2024
    04790
  • Python中创建和使用模块的技巧

    引言 Python 模块是包含代码的文件,可以定义函数、类和变量,并被其他 Python 程序导入。模块是 Python 编程的基础组件之一,能够提高代码的复用性和组织性。本文将介绍模块的基本概念、常用操作及一些高级技巧。 …

    10/10/2024
    01370
  • python并发编程,异步、线程、栈的那些事~

    为什么需要并发? 在日常生活中,我们会同时做很多事情。比如边听音乐边做饭,或者一边看视频一边回复消息。这些行为让我们提高了效率。同样的,在编程中,我们也希望程序能同时处理多个任务,这样可以提高程序的执…

    10/10/2024
    01350
  • Markdown语法

    08/10/2024
    01340
  • Ollama使用指南【超全版】

    一、Ollama 快速入门 Ollama 是一个用于在本地运行大型语言模型的工具,下面将介绍如何在不同操作系统上安装和使用 Ollama。 官网:https://ollama.com Github:https://github.com/ollama/ollama 1. 安装 (1). mac…

    12/06/2024
    021.2K0
  • Agent基本原理和LangChain实现Agent应用

    Agent 应用适用场景 Agent 是大语言模型(LLM)的主要应用形态,通过大语言模型的推理能力和使用工具的能力完成复杂的任务: Agent 智能体=大模型推理能力 +工具使用能力 如果你有以下的业务场景,Agent 应用架构是…

    21/05/2024
    01.3K0
  • langchain结合云原生Milvus向量数据库问答实践指南

    本文探索云原生向量数据库Milvus的安装和使用,使用Langchain和港大的Instruction-XL模型做本地数据的切分和转向量,为那些无法使用OpenAIEmbeddings、不想将数据外泄到境外的项目提供了一个示例。 Milvus架构和简…

    02/05/2024
    06430
  • 语言模型中Tokenization方法分析

    tokenize的目标是把输入的文本切分成一个个子串,便于embedding处理和后续模型的使用。本文总结了Tokenize流程、方法和特点,并使用Huggingface库和tiktoken库做了示例。 tokenizer工作流程 大致工作流程: Normali…

    02/05/2024
    06480
  • 自动信息抽取系统

    本文包括用于文本识别的 OCR、用于信息提取的语言模型和 NER,以及用于特定数据模式匹配和填写表单的正则表达式/规则。 1. 文本数据提取 格式:基于文本的 PDF、基于图像的 PDF、图像 为了有效地从这些格式中提取文…

    23/03/2024
    08290
  • LangChain使用

    Langchain是什么? Langchain可以说是现阶段十分值得学习的一个AI架构,它标准的定义了我们在构建一个LLM应用开发时可能会用到的东西。比如说在之前写过的AI文章中介绍的prompt,就可以通过Langchain中的PromptTemp…

    21/03/2024
    06570
  • Deepspeed介绍和实战案例(Flan-T5和Bloom)

    DeepSpeed是由Microsoft提供的分布式训练工具,旨在支持更大规模的模型和提供更多的优化策略和工具。与其他框架相比,DeepSpeed支持更大规模的模型和提供更多的优化策略和工具。其中,主要优势在于支持更大规模的模…

    21/03/2024
    01.3K0
Load more posts