清鸽LocalAI离线本地大模型对话与看图

清鸽LocalAI对着的是不想把聊天记录交给云端的人：模型跑在自己机器上，答问、写内容、编程、算数都在这儿办，换个语言问也接得住，全程不用联网。

用之前得先有模型。本机已经存着 GGUF 文件的就导进来，手头没有就从在线那边取一个现成的，多大、等多久看模型本身，条目写的是 0.76 GB 这种量级。机器存储不够就换小一档，别一上来挑最大的。

参数可以按机器改，加载方式、线程数、上下文长度、每批处理的条数都有默认值，8192 和 128 就是里面两档，往大了调更吃内存，跑不顺就退回默认，调乱了还能整体复原，不必一项一项记回去。回复下面会带一行速率和耗时，15.2 t/s 这种数能当参考，同一台机器换个模型，速度能差出一截。

看图也能在本地办，一张照片丢进去，它会说毛色、特征和大概用途，前提是那个模型带视觉标记，只懂文字的模型办不了这一条。离线是它的便宜，代价是能力被模型文件的大小卡住，0.8B 这一档答日常话够用，长文和复杂推理会露短，要紧的事还得自己再过一遍。