最近在研究在自己电脑本地用支持NSFW的AI来ghs(写文),许多主流的LLM都有这方面限制,无论是用prompt破限或者用第三方uncensored版本,效果都不一定有多好。
目前我正在使用saiga-nemo,是一个基于mistral-nemo的模型,这玩意是针对俄语优化的,但神奇的是中文也有提升,可能跟数据集有关。当然原版的mistral-nemo自身也支持NSFW,但文笔不如saiga,且容易发癫。
当然,无论如何,这俩毕竟是12B的模型,文笔再怎么优化都不会好到哪去,但我本地毕竟硬件条件有限,也跑不了更大的模型(6G的显存,还需要额外占用几G内存用CPU跑),不然我挺想试试mistral-large的。初此之外,据说causallm也不错,但我还没试过,以后下个14b的试试。
此外,我也想试试搭建酒馆(SillyTavern)来实现角色扮演对话,打算先使用Meissa-Qwen2.5看看。角色扮演的回复速度应该会比较影响体验,7b的速度会好些,但又担心7b太笨,也是纠结。