ollama run Model on Hugging Face Hub

之前写了篇比较全的ollama使用文档:
https://www.icnma.com/ollama-tutorial/

本篇主要是如何使用ollama直接运行huggingface上的gguf模型。

file

直接使用Ollama在Hugging Face上任何GGUF quant model,而无需创建新的Modelfile。

https://huggingface.co/settings/local-apps 启用ollama

file

在模型页面上,从使用此模型中选择ollama。
file
file

ollama run hf.co/{username}/{repository}

# 例如
ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF

# 加量化tag
ollama run hf.co/{username}/{repository}:{quantization}
# 例如
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

默认情况下,将从常用模板列表中自动选择模板。将根据GGUF文件中存储的内置tokenizer.chat_template元数据进行选择。如果想自定义聊天模板,可以在存储库中创建一个名为template的新文件,必须是Go模板,而不是Jinja模板。
例如:

{{ if .System }}<|system|>
{{ .System }}<|end|>
{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}<|end|>
{{ end }}<|assistant|>
{{ .Response }}<|end|>

模板格式:
https://github.com/ollama/ollama/blob/main/docs/template.md
要更改采样参数,请在存储库中创建一个名为params的文件。文件必须是JSON格式.
参考:
https://github.com/ollama/ollama/blob/main/docs/modelfile.md#parameter

原创文章。转载请注明: 作者:meixi 网址: https://www.icnma.com
Like (0)
meixi管理
Previous 20/10/2024 21:08
Next 08/01/2025 14:56

猜你想看

  • SGLang, Ollama, VLLM, LLaMA.cpp推理框架对比

    这篇文章对 SGLang、Ollama、VLLM 和 LLaMA.cpp 四款大模型工具进行了多维度的对比,包括性能、易用性和适用场景等方面。 SGLang 的性能卓越,使其特别适合企业级应用。 Ollama 的安装便捷性使其非常适合个人轻量级…

    08/01/2025
    04.1K0
  • 文本生成模型解码策略和采样方法对比分析(13种)

    本文主要探讨如下两个方面: 1、outputs = model.generate(**inputs, ...) generate()中各个参数是什么含义? 2、我们的模型在文本生成的时候,最终的结果文本是如何产生的?常见的解码策略有哪些? 常用参数释义 m…

    20/10/2024
    04120
  • DeepSeek-R1是怎样炼成的?

    DeepSeek-R1反响非常大,主要是因为使用较低的成本得到了OpenAI O1的效果。开源还便宜。 在这篇文章中,我们将了解它是如何构建的。 目录: DeepSeek-R1 的训练方法 1. 大规模推理导向强化学习 (R1-Zero) 2. R1 …

    28/01/2025
    04120
  • Agents

    Table of Contents 目录 Agent Overview 代理概述 Tools 工具 Knowledge augmentation 知识增强 Capability extension 能力扩展 Write actions 写入操作 Planning 规划 Planning overview 规划概述 Foundation mode…

    20/01/2025
    0830