首页 教程 Web前端 【LLM】Ollama:本地大模型 WebAPI 调用

【LLM】Ollama:本地大模型 WebAPI 调用

Ollama 快速部署

  • 安装 Docker:从 Docker 官网 下载并安装。

  • 部署 Ollama

    • 使用以下命令进行部署:

    docker run -d-p11434:11434 --name ollama --restart always ollama/ollama:latest

  • 进入容器并下载 qwen2.5:0.5b 模型

    • 进入 Ollama 容器:

    dockerexec-it ollama bash

    • 在容器内下载模型:

    ollama pull qwen2.5:0.5b

Python 环境准备

在开始之前,请确保您已安装 requests 模块。可以通过以下命令安装:

pip install requests

我们还将初始化基本的 API 相关配置,如下所示:

import requests # 基础初始化设置 base_url ="http://localhost:11434/api" headers ={"Content-Type":"application/json"}

对话方式

生成文本补全 (Generate a Completion)

  • API: /generate
  • 功能: 生成指定模型的文本补全。输入提示词后,模型根据提示生成文本结果。
  • 请求方法: POST
  • Ollama API 参数:
    • model(必填):模型名称,用于指定生成模型,例如 qwen2.5:0.5b
    • prompt(必填):生成文本所用的提示词。
    • suffix(可选):生成的补全文本之后附加的文本。
    • stream(可选):是否流式传输响应,默认 true,设置为 false 时返回完整文本。
    • system(可选):覆盖模型系统信息的字段,影响生成文本风格。
    • temperature(可选):控制文本生成的随机性,默认值为 1

defgenerate_completion(prompt, model="qwen2.5:0.5b"): url =f"{base_url}/generate" data ={"model": model,"prompt": prompt,"stream":False} response = requests.post(url, headers=headers, json=data)return response.json().get('response','')# 示例调用 completion = generate_completion("介绍一下人工智能。")print("生成文本补全:", completion)

流式生成文本补全 (Streaming Completion)

  • API: /generate
  • 功能: 流式生成文本补全,模型会逐步返回生成的结果,适用于长文本。
  • 请求方法: POST
  • Ollama API 参数:
    • model(必填):模型名称。
    • prompt(必填):生成文本所用的提示词。
    • stream(必填):设置为 true,启用流式传输。

defgenerate_completion_stream(prompt, model="qwen2.5:0.5b"): url =f"{base_url}/generate" data ={"model": model,"prompt": prompt,"stream":True} response = requests.post(url, headers=headers, json=data, stream=True) result =""for line in response.iter_lines():if line: result += line.decode('utf-8')return result # 示例调用 stream_completion = generate_completion_stream("讲解机器学习的应用。")print("流式生成文本补全:", stream_completion)

生成对话补全 (Chat Completion)

  • API: /chat
  • 功能: 模拟对话补全,支持多轮交互,适用于聊天机器人等场景。
  • 请求方法: POST
  • Ollama API 参数:
    • model(必填):模型名称。
    • messages(必填):对话的消息列表,按顺序包含历史对话,每条消息包含 rolecontent
      • role: user(用户)、assistant(助手)或 system(系统)。
      • content: 消息内容。
    • stream(可选):是否流式传输响应,默认 true

defgenerate_chat_completion(messages, model="qwen2.5:0.5b"): url =f"{base_url}/chat" data ={"model": model,"messages": messages,"stream":False} response = requests.post(url, headers=headers, json=data)return response.json().get('message',{}).get('content','')# 示例调用 messages =[{"role":"user","content":"什么是自然语言处理?"},{"role":"assistant","content":"自然语言处理是人工智能的一个领域,专注于人与计算机之间的自然语言交互。"}] chat_response = generate_chat_completion(messages)print("生成对话补全:", chat_response)

生成文本嵌入 (Generate Embeddings)

  • API: /embed
  • 功能: 为输入的文本生成嵌入向量,常用于语义搜索或分类等任务。
  • 请求方法: POST
  • Ollama API 参数:
    • model(必填):生成嵌入的模型名称。
    • input(必填):文本或文本列表,用于生成嵌入。
    • truncate(可选):是否在文本超出上下文长度时进行截断,默认 true
    • stream(可选):是否流式传输响应,默认 true

defgenerate_embeddings(text, model="qwen2.5:0.5b"): url =f"{base_url}/embed" data ={"model": model,"input": text } response = requests.post(url, headers=headers, json=data)return response.json()# 示例调用 embeddings = generate_embeddings("什么是深度学习?")print("生成文本嵌入:", embeddings)

模型的增删改查

列出本地模型 (List Local Models)

  • API: /tags
  • 功能: 列出本地已加载的所有模型。
  • 请求方法: GET
  • Ollama API 参数: 无。

deflist_local_models(): url =f"{base_url}/tags" response = requests.get(url, headers=headers)return response.json().get('models',[])# 示例调用 local_models = list_local_models()print("列出本地模型:", local_models)

查看模型信息 (Show Model Information)

  • API: /show
  • 功能: 查看特定模型的详细信息,如模型的参数、版本、系统信息等。
  • 请求方法: POST
  • Ollama API 参数:
    • name(必填):需要查看信息的模型名称。
    • verbose(可选):设置为 true 时返回更详细的信息。

defshow_model_info(model="qwen2.5:0.5b"): url =f"{base_url}/show" data ={"name": model} response = requests.post(url, headers=headers, json=data)return response.json()# 示例调用 model_info = show_model_info()print("模型信息:", model_info)

创建模型 (Create a Model)

  • API: /create
  • 功能: 根据指定的 Modelfile 创建一个新模型,可以在已有模型的基础上定制。
  • 请求方法: POST
  • Ollama API 参数:
    • name(必填):新创建的模型名称。
    • modelfile(可选):模型文件的内容,定义模型的基础信息。
    • stream(可选):是否流式传输响应。

defcreate_model(model_name="qwen2.5_custom", base_model="qwen2.5:0.5b"): url =f"{base_url}/create" data ={"name": model_name,"modelfile":f"FROM {base_model}\nSYSTEM You are a helpful assistant."} response = requests.post(url, headers=headers, json=data)return response.json()# 示例调用 create_response = create_model()print("创建模型:", create_response)

拉取模型 (Pull a Model)

  • API: /api/pull
  • 功能: 从 Ollama 库下载模型。取消的拉取将从上次中断的位置继续,并且多个调用将共享相同的下载进度。
  • 请求方法: POST
  • Ollama API 参数:
    • name(必填):要拉取的模型名称。
    • insecure(可选):允许与库建立不安全的连接,仅在开发过程中从自己的库中提取时使用。
    • stream(可选):如果为 false,响应将作为单个响应对象返回,而不是对象流。

defpull_model(model_name="qwen2.5:0.5b"): url =f"{base_url}/api/pull" data ={"name": model_name} response = requests.post(url, headers=headers, json=data)return response.json()# 示例调用 pull_response = pull_model()print("拉取模型:", pull_response)

删除模型 (Delete a Model)

  • API: /delete
  • 功能: 删除本地模型以及其相关的数据。
  • 请求方法: DELETE
  • Ollama API 参数:
    • name(必填):需要删除的模型名称。

defdelete_model(model_name="qwen2.5_custom"): url =f"{base_url}/delete" data ={"name": model_name} response = requests.delete(url, headers=headers, json=data)return response.json()# 示例调用 delete_response = delete_model()print("删除模型:", delete_response)

评论(0)条

提示:请勿发布广告垃圾评论,否则封号处理!!

    猜你喜欢
    【MySQL】用户管理

    【MySQL】用户管理

     服务器/数据库  2个月前  2.18k

    我们推荐使用普通用户对数据的访问。而root作为管理员可以对普通用户对应的权限进行设置和管理。如给张三和李四这样的普通用户权限设定后。就只能操作给你权限的库了。

    Cursor Rules 让开发效率变成10倍速

    Cursor Rules 让开发效率变成10倍速

     服务器/数据库  2个月前  1.24k

    在AI与编程的交汇点上,awesome-cursorrules项目犹如一座灯塔,指引着开发者们驶向更高效、更智能的编程未来。无论你是经验丰富的老手,还是刚入行的新人,这个项目都能为你的编程之旅增添一抹亮色。这些规则文件就像是你私人定制的AI助手,能够根据你的项目需求和个人偏好,精确地调教AI的行为。突然间,你会发现AI不仅能理解Next.js的最佳实践,还能自动应用TypeScript的类型检查,甚至主动提供Tailwind CSS的类名建议。探索新的应用场景,推动AI辅助编程的边界。

    探索Django 5: 从零开始,打造你的第一个Web应用

    探索Django 5: 从零开始,打造你的第一个Web应用

     服务器/数据库  2个月前  1.16k

    Django 是一个开放源代码的 Web 应用程序框架,由 Python 写成。它遵循 MVT(Model-View-Template)的设计模式,旨在帮助开发者高效地构建复杂且功能丰富的 Web 应用程序。随着每个版本的升级,Django 不断演变,提供更多功能和改进,让开发变得更加便捷。《Django 5 Web应用开发实战》集Django架站基础、项目实践、开发经验于一体,是一本从零基础到精通Django Web企业级开发技术的实战指南《Django 5 Web应用开发实战》内容以。

    MySQL 的mysql_secure_installation安全脚本执行过程介绍

    MySQL 的mysql_secure_installation安全脚本执行过程介绍

     服务器/数据库  2个月前  1.09k

    mysql_secure_installation 是 MySQL 提供的一个安全脚本,用于提高数据库服务器的安全性

    【MySQL基础篇】概述及SQL指令:DDL及DML

    【MySQL基础篇】概述及SQL指令:DDL及DML

     服务器/数据库  2个月前  491

    数据库是长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。数据库不仅仅是数据的简单堆积,而是遵循一定的规则和模式进行组织和管理的。数据库中的数据可以包括文本、数字、图像、音频等各种类型的信息。

    Redis中的哨兵(Sentinel)

    Redis中的哨兵(Sentinel)

     服务器/数据库  2个月前  316

    ​ 上篇文章我们讲述了Redis中的主从复制(Redis分布式系统中的主从复制-CSDN博客),本篇文章针对主从复制中的问题引出Redis中的哨兵,希望本篇文章会对你有所帮助。