龙川修车群

LM Studio的简介

图片

LM Studio的标语是发现、下载并运行腹地 LLMs。LM Studio 是一款桌面应用表率，可在您的筹算机上运行腹地大型说话模子（LLMs）。

官网：LM Studio - Discover, download, and run local LLMs

文档：Welcome | LM Studio

1、使用LM Studio的特色

>> 在条记本电脑上运行llm，皆备脱机>> 通过应用内聊天界面或OpenAI兼容的腹地行状器使用模子>> 从HuggingFace���存储库下载任何兼容的模子文献>> 在应用表率的主页上发现新的和值得概述的法学硕士

LM Studio因循HuggingFace上的任何ggml Llama, MPT和StarCoder模子(Llama 2, Orca, Vicuna, Nous Hermes, WizardCoder, MPT等)

2、因循的平台：最低硬件/软件条目

M1/M2/M3 Mac，或因循AVX2措置器的Windows PC。Linux有测试版。提议至少 16GB 的 RAM。对于 PC，提议至少 6GB 的 VRAM。因循 NVIDIA/AMD GPU。>> Windows (x86, x64, AVX2)：领有因循 AVX2 的措置器（平庸是较新的 PC）的 Windows>> macOS (Apple Silicon - M1/M2/M3)：搭载 macOS 13.6 或更新版块的 Apple Silicon Mac（M1/M2/M3）。>> Linux (x86, Ubuntu 22.04, AVX2)：领有因循 AVX2 的措置器（平庸是较新的 PC）的Linux PC

LM Studio的装配和使用方法

下载地址：LM Studio - Discover, download, and run local LLMs

Linux地址：https://releases.lmstudio.ai/linux/0.2.18/beta/LM_Studio-0.2.18.AppImage

Windows：https://releases.lmstudio.ai/windows/0.2.18-a/latest/LM-Studio-0.2.18-Setup.exe

>> LM Studio 行状器：先容了若何使用 LM Studio 中的腹地行状器通过 API 来加载和运行腹地 LLM，并提供了对于请乞降反应口头的信息以及若何进行揣度央求的示例。>> 文本镶嵌：先容了文本镶嵌的成见，以及若何使用 LM Studio 的镶嵌行状器来生成文本镶嵌。还提供了对于请乞降反应口头的信息以及若何取得文本镶嵌的示例请乞降反应。

1、LM Studio 行状器：通过运行在 localhost 上的 OpenAI 作风的 HTTP 行状器使用腹地 LLM

源文地址：Local LLM Server | LM Studio

您不错通过在腹田主机上运行的 API 行状器使用您在 LM Studio 中加载的 LLM。请乞降反应顺从 OpenAI 的 API 口头。将刻下使用 OpenAI 的任何代码指向 localhost:PORT 以使用腹地 LLM。

因循的端点

GET /v1/models
POST /v1/chat/completions
POST /v1/embeddings
POST /v1/completions

其中，POST /v1/embeddings 是 LM Studio 0.2.19 中的新功能。在此处阅读关联它的信息。

使用腹地行状器

第1步，要是尚未装配 LM Studio，问候装它。从 https://lmstudio.ai 取得应用表率装配表率。第2步，从应用表率中搜索并下载 LLM，举例 TheBloke/Mistral-7B-Instruct-v0.2-GGUF（磁盘上约 4GB）第3步，转到腹地行状器选项卡（<- 在左侧）第4步，通过从下拉菜单中遴荐它来加载您下载的任何 LLM。第5步，通过单击绿色的“启动行状器”按钮来启动行状器。

您的 LM Studio 当今已准备好领受传入的 API 央求。您不错安全地最小化应用表率；行状器将不绝运行。

查验刻下加载的模子

curl http://localhost:1234/v1/models

反应（顺从 OpenAI 的口头）

鄙人述情况下，泰国按摩群TheBloke/phi-2-GGUF 和 lmstudio-ai/gemma-2b-it-GGUF 都已加载。

{
  "data": [
    {
      "id": "TheBloke/phi-2-GGUF/phi-2.Q4_K_S.gguf",
      "object": "model",
      "owned_by": "organization-owner",
      "permission": [
        {}
      ]
    },
    {
      "id": "lmstudio-ai/gemma-2b-it-GGUF/gemma-2b-it-q4_k_m.gguf",
      "object": "model",
      "owned_by": "organization-owner",
      "permission": [
        {}
      ]
    }
  ],
  "object": "list"
}%

进行揣度央求（使用 OpenAI 的“Chat Completions”口头）

在此示例中，腹地行状器运行在端口 1234 上。您不错在应用表率中的行状器截止栏中更始它。第1步，大开您的末端（在 Windows 上尝试 Git Bash）第2步，复制并运行以下央求

curl http://localhost:1234/v1/chat/completions -H "Content-Type: application/json" -d '{ 
  "messages": [ 
    { "role": "system", "content": "You are a helpful coding assistant." },
    { "role": "user", "content": "How do I init and update a git submodule?" }
  ], 
  "temperature": 0.7, 
  "max_tokens": -1,
  "stream": true
}'

因循的有用负载参数

关联每个参数的评释，请参阅 https://platform.openai.com/docs/api-reference/chat/create

model
top_p
top_k
messages
temperature
max_tokens
stream
stop
presence_penalty
frequency_penalty
logit_bias
repeat_penalty
seed

2、文本镶嵌：使用 LM Studio 的镶嵌行状器腹地生成文本镶嵌（适用于 RAG 应用表率）

概述：文本镶嵌处于测试版。从这里下载因循它的 LM Studio。请在 LM Studio Discord 上进展任何纰缪/反馈。

文本镶嵌是将文本暗示为数字向量的一种方法。镶嵌频频在检索增强生成（RAG）应用表率中使用。不绝阅读了解若何使用 LM Studio 的镶嵌行状器皆备腹地生成文本镶嵌。

从 LM Studio 的腹地行状器取得文本镶嵌

从版块 0.2.19 初始，LM Studio 包括一个文本镶嵌端点，允许您生成镶嵌。请乞降反应口头顺从 OpenAI 的 API 口头。在此处阅读关联它的信息。示例用途包括 RAG 应用表率、代码搜索应用表率以及任何需要文本镶嵌的应用表率。

图片

若何

需要 LM Studio 0.2.19 或更新版块。从 lmstudio.ai/beta-releases.html 下载测试版。第1步，转到腹地行状器选项卡（<- 在左侧）并启动行状器。第2步，通过遴荐它从镶嵌模子开拓下拉菜单中遴荐一个文本镶嵌模子来加载它。第3步，欺诈 POST /v1/embeddings 端点取得您文本的镶嵌。

示例央求：

假定行状器正在端口 1234 上监听因循的输入类型是字符串和字符串数组（字符串数组）

curl http://localhost:1234/v1/embeddings   -H "Content-Type: application/json"   -d '{
    "input": "Your text string goes here",
    "model": "model-identifier-here"
  }'

示例回话：

{
  "object": "list",
  "data": [
    {
      "object": "embedding",
      "embedding": [
        -0.005118194036185741,
        -0.05910402536392212,
        ... truncated ...
        -0.02389773353934288
      ],
      "index": 0
    }
  ],
  "model": "nomic-ai/nomic-embed-text-v1.5-GGUF/nomic-embed-text-v1.5.Q5_K_M.gguf",
  "usage": {
    "prompt_tokens": 0, 
    "total_tokens": 0
  }
}

可用的镶嵌模子是哪些？

任何 GGUF 口头的 BERT 模子都应该不错使用。要是碰到问题，请在 LM Studio Discord 上进展纰缪。

特色模子：

nomic-embed-text-v1.5bge-large-en-v1.5

通过 LM Studio 内置的模子下载器搜索并下载这些模子。

3、使用方法

图片

LM Studio的案例应用

合手续更新中……

LLMs之Llama3：手把手教你(只需三步)竣事Llama3模子腹地部署并对话测试—基于LM Studio的GUI界面平直对话聊天或进一步连合Lobe Chat框架(更优雅的竣事肖似ChatGPT聊天+包括丰富Agent变装商场)

https://yunyaniu.blog.csdn.net/article/details/138203821龙川修车群

本站仅提供存储行状，所有本色均由用户发布，如发现存害或侵权本色，请点击举报。

• 龙川修车群