forked from DevOps/deploy.stack
feat(ollama): add qwen3.5-27b and gemma4-26b model configs
新增两个Ollama模型配置:Qwen3.5-27B和Gemma4-26B,包含硬件参数、采样配置与适配Cherry Studio的MCP工具调用系统提示词,同时补充Gemma4-26B的使用说明文档。
This commit is contained in:
35
ollama/gemma4-26b/modelfile
Normal file
35
ollama/gemma4-26b/modelfile
Normal file
@@ -0,0 +1,35 @@
|
||||
FROM gemma4:26b-a4b-it-q4_K_M
|
||||
|
||||
# ========== Ollama新版硬件参数(无废弃参数、NPU+22GB最优) ==========
|
||||
PARAMETER num_gpu 99
|
||||
PARAMETER num_ctx 8192
|
||||
PARAMETER num_batch 512
|
||||
PARAMETER num_thread 12
|
||||
|
||||
# ========== 采样参数(格式稳、不暴走、不重复生成) ==========
|
||||
PARAMETER temperature 0.35
|
||||
PARAMETER top_p 0.85
|
||||
PARAMETER top_k 55
|
||||
PARAMETER repeat_penalty 1.08
|
||||
PARAMETER stop "<end_of_turn>"
|
||||
|
||||
# ========== 核心平衡系统词:放开MCP自动调用 + 保留防无限循环底线 ==========
|
||||
SYSTEM """
|
||||
你是智能助手,拥有Cherry Studio全部MCP工具权限,包含SearXNG全网搜索工具。
|
||||
|
||||
【通用工具调用总规则】
|
||||
1. 当你的知识库**信息过时、未知、时效性不足、需要外部数据**时,**自动触发MCP工具调用**,无需用户指令。
|
||||
2. 严格统一工具调用格式:
|
||||
<|tool_call|>[{"name":"search","parameters":{"query":"精准搜索关键词"}}]</|tool_call|>
|
||||
标签前后**纯净无多余文字、开场白、解释、换行**。
|
||||
|
||||
【防无限循环底线(仅锁循环,不锁工具)】
|
||||
1. **单轮对话最多1次MCP调用**,本轮调用完成后,不再重复生成tool_call块。
|
||||
2. 接收Cherry返回的<|tool_response|>工具结果后,**停止工具调用,直接整合作答**,不递归、不续写、不二次调用。
|
||||
|
||||
【禁语黑名单(仅屏蔽触发循环废话,不屏蔽工具意图)】
|
||||
禁止输出:正在搜索、需要查询、联网检索、稍等、我查一下、为你搜索、继续检索。
|
||||
|
||||
【基础行为】
|
||||
自身知识充足则直接回答;知识不足自动走MCP工具链路;不无故空调用、不破损JSON格式。
|
||||
"""
|
||||
68
ollama/gemma4-26b/readme.md
Normal file
68
ollama/gemma4-26b/readme.md
Normal file
@@ -0,0 +1,68 @@
|
||||
# Gemma4 26B 模型配置
|
||||
|
||||
## 模型信息
|
||||
|
||||
- 基础模型: `gemma4:26b-a4b-it-q4_K_M`
|
||||
- 量化级别: Q4_K_M
|
||||
|
||||
## 硬件配置
|
||||
|
||||
适用于: **2080Ti 22GB + NPU**
|
||||
|
||||
## Windows 环境变量设置
|
||||
|
||||
在运行 Ollama 之前,需要设置以下环境变量:
|
||||
|
||||
```powershell
|
||||
$env:OLLAMA_NPU_ACCELERATE = "true"
|
||||
$env:OLLAMA_GPU_OFFLOAD_KV = "true"
|
||||
```
|
||||
|
||||
## 模型参数说明
|
||||
|
||||
### 硬件参数
|
||||
|
||||
| 参数 | 值 | 说明 |
|
||||
|------|-----|------|
|
||||
| `num_gpu` | 99 | GPU 层数 |
|
||||
| `num_ctx` | 8192 | 上下文长度 |
|
||||
| `num_batch` | 512 | 批处理大小 |
|
||||
| `num_thread` | 12 | 线程数 |
|
||||
|
||||
### 采样参数
|
||||
|
||||
| 参数 | 值 | 说明 |
|
||||
|------|-----|------|
|
||||
| `temperature` | 0.32 | 温度系数 |
|
||||
| `top_p` | 0.85 | 核采样概率 |
|
||||
| `top_k` | 55 | Top-K 采样 |
|
||||
| `repeat_penalty` | 1.08 | 重复惩罚 |
|
||||
| `stop` | `<end_of_turn>` | 停止标记 |
|
||||
|
||||
## 创建模型
|
||||
|
||||
```powershell
|
||||
ollama create gemma4-custom -f ./modelfile
|
||||
```
|
||||
|
||||
### 无 >>> 静默运行命令
|
||||
|
||||
```powershell
|
||||
ollama run gemma4-custom "你的问题" --nowordwrap
|
||||
```
|
||||
|
||||
## 系统提示词说明
|
||||
|
||||
本模型配置了 Cherry Studio + SearXNG 工具调用能力,主要特性:
|
||||
|
||||
1. **工具调用格式**: 使用 `<|tool_call|>` 标签进行搜索调用
|
||||
2. **单轮限制**: 每轮对话最多调用 1 次搜索
|
||||
3. **结果收敛**: 收到搜索结果后直接回答,不再生成工具调用
|
||||
4. **防循环机制**: 禁止触发二次搜索的话术
|
||||
|
||||
## Cherry 工具全局设置
|
||||
|
||||
### 搜索源:选择你自建的 SearXNG
|
||||
最大工具调用次数:1
|
||||
最大单轮搜索次数:1
|
||||
|
||||
Reference in New Issue
Block a user