解决大模型“天马行空”“内容截断”问题

背景

系列文章:

• 《AI大模型+全文检索+tf-idf+向量数据库+我的文章 系列之8 - 大模型(LLM)常见参数设置, 影响性能和可靠性》
• 《AI大模型+全文检索+tf-idf+向量数据库+我的文章 系列之7 - 如何生成 “微调(fine-tuning)大语言模型(LLM)” 的问题素材?》
• 《AI大模型+全文检索+tf-idf+向量数据库+我的文章 系列之6 - 科普 : 大模型到底能干什么? 如何选型? 专业术语? 资源消耗?》
• 《AI大模型+全文检索+tf-idf+向量数据库+我的文章 系列之5 - 在 Apple Silicon Mac 上微调(fine-tuning)大型语言模型(LLM) 并发布GGUF 》
• 《AI大模型+全文检索+tf-idf+向量数据库+我的文章 系列之4 - RAG 自动提示微调(prompt tuning)》
• 《AI大模型+全文检索+tf-idf+向量数据库+我的文章 系列之3 - 微调后, 我的数字人变聪明了 》
• 《AI大模型+全文检索+tf-idf+向量数据库+我的文章 系列之2 - 我的数字人: 4000余篇github blog文章投喂大模型中》
• 《AI大模型+全文检索+tf-idf+向量数据库+我的文章 系列之1 - 低配macbook成功跑AI大模型LLama3:8b, 感谢ollama》

你使用大模型有一些时间后, 可能会发现这些问题

• 为什么同一个问题问大模型多次, 得到的结果不一样?
• 为什么有时大模型的回答感觉很啰嗦, 不够聚焦和干练?
• 为什么有时一个问题没有完全回复完, 大模型就停止返回了?
• 为什么有时大模型感觉很有想象力, 天马行空, 有时又非常拘谨, 一点创造力都没有?

这些其实和大模型的参数有关, 可以参考如下文档的介绍

• https://www.promptingguide.ai/zh/introduction/settings
• https://github.com/ollama/ollama/blob/main/docs/modelfile.md#parameter
• https://github.com/ollama/ollama/tree/main/docs

ollama文档中关于llm参数的介绍非常的详细

使用ollama体验一下

ollama 命令行可以通过command来设置参数.

先来熟悉一下命令行的用法.

获得command帮助

>>> /?  
Available Commands:  
  /set            Set session variables  
  /show           Show model information  
  /load <model>   Load a session or model  
  /save <model>   Save your current session  
  /clear          Clear session context  
  /bye            Exit  
  /?, /help       Help for a command  
  /? shortcuts    Help for keyboard shortcuts  
  Use """ to begin a multi-line message.  

设置用法

>>> /set  
Available Commands:  
  /set parameter ...     Set a parameter  
  /set system <string>   Set system message  
  /set history           Enable history  
  /set nohistory         Disable history  
  /set wordwrap          Enable wordwrap  
  /set nowordwrap        Disable wordwrap  
  /set format json       Enable JSON mode  
  /set noformat          Disable formatting  
  /set verbose           Show LLM stats  
  /set quiet             Disable LLM stats  

设置参数用法

>>> /set parameter  
Available Parameters:  
  /set parameter seed <int>             Random number seed  
  /set parameter num_predict <int>      Max number of tokens to predict  
  /set parameter top_k <int>            Pick from top k num of tokens  
  /set parameter top_p <float>          Pick token based on sum of probabilities  
  /set parameter num_ctx <int>          Set the context size  
  /set parameter temperature <float>    Set creativity level  
  /set parameter repeat_penalty <float> How strongly to penalize repetitions  
  /set parameter repeat_last_n <int>    Set how far back to look for repetitions  
  /set parameter num_gpu <int>          The number of layers to send to the GPU  
  /set parameter stop <string> <string> ...   Set the stop parameters  

列出配置

>>> /show  
Available Commands:  
  /show info         Show details for this model  
  /show license      Show model license  
  /show modelfile    Show Modelfile for this model  
  /show parameters   Show parameters for this model  
  /show system       Show system message  
  /show template     Show prompt template  

列出已定义的参数

>>> /show parameters  
Model defined parameters:  
stop                           "<|start_header_id|>"  
stop                           "<|end_header_id|>"  
stop                           "<|eot_id|>"  

例子

1、停止词的使用

>>> /set parameter stop 太阳  
Set parameter 'stop' to '太阳'  
>>> 请使用简体中文回答天上有几个太阳  
有很多个这样的  

2、为什么有时一个问题没有完全回复完, 大模型就停止返回了?

>>> /set parameter num_predict 10    
Set parameter 'num_predict' to '10'  
>>> 请使用简体中文回答天上有几个太阳  
看来你也很感兴趣!  
  说  

3、为什么有时大模型感觉很有想象力, 天马行空, 有时又非常拘谨, 一点创造力都没有?

温度低, 偏拘谨

>>> /set parameter temperature 0.1  
Set parameter 'temperature' to '0.1'  
>>> 写一首赞美妇女的诗    
美丽的女性，  
  你是天空中的星星，  
你是阳光下的花朵，  
你是温暖的春风。  
  你的笑容可以照亮整个世界，  
你的眼睛像清澈的泉水，  
你的声音像婉转的曲调。  
  你是母亲，带来生命和希望，  
你是妻子，带来爱情和温暖，  
你是朋友，带来支持和理解。  
  你是天空中的云朵，  
你是阳光下的雨滴，  
你是温暖的夏日。  
  美丽的女性，  
  你是世界上最美丽的宝贝。  

温度高, 更具有创造力

>>> /set parameter temperature 1000  
Set parameter 'temperature' to '1000'  
>>> 写一首赞美妇女的诗  
女性啊，世界上的美好，  
  像绚丽的大天空般，她闪光奪目的，  
  她能为生活带来温馨与幸福，  
  在人间，也是春日花儿开放的地方。  
  在阳光下，面床的妩媚，  
散发出清凉的风；  
  那倩倩柔若无骨的身材，  
  透射出女性的一切特点；  
  你比金子的宝贝，  
  更加精致，也更加耀眼。  

4、为什么有时大模型的回答感觉很啰嗦, 不够聚焦和干练?

mirostat_tau值低, 聚焦、干练

>>> /set parameter mirostat_tau 0.1  
Set parameter 'mirostat_tau' to '0.1'  
>>> 请使用简体中文回答天上有几个太阳  
实际上，每一颗恒心在自己体系里都有一颗“太阳”。  
  那么问题来了：这是在我们的整个恒星体系中每个恒星都是独一无二的。  

mirostat_tau值高, 啰嗦

>>> /set parameter mirostat_tau 1000  
Set parameter 'mirostat_tau' to '1000'  
>>> 请使用简体中文回答天上有几个太阳  
那么你问得好啊！  
  事实上，我们能看到每一个恒心体系中的只有1颗。  
  不过，它们也许有一颗比较大且亮光，而我们自己却只有一颗日子！  
  这可能是很常见的一个特点，也有许多这样不明显的小变化存在，但它们就是非常特殊和重要。  

参考

• https://www.promptingguide.ai/zh/introduction/settings
• https://github.com/ollama/ollama/blob/main/docs/modelfile.md#parameter
• https://github.com/ollama/ollama/tree/main/docs