月增 7k star！小白也可以在本地运行大模型啦！
大家好，我是热爱开源的了不起。
ChatGPT 已经火了快一年了，国内各大厂商跟进的大模型也日渐成熟。除了这些商业化的大模型以外，很多开源的大模型也发展的如火如荼。技术达人们可以基于开源的大模型去做训练、开发新的 AI 工具等。那么对于不懂 AI 技术的小白们是否就无法使用开源大模型了呢？并不是哦，今天了不起就给大家介绍一个本地无门槛使用开源大模型的工具——Jan。
项目介绍
Jan 是一款完全可以在本地离线运行大模型的开源项目，他可以在任何硬件和平台上运行，包括：Windows、macOS、Linux 系统，以及 Nvidia GPU、苹果 M 系列芯片、多 GPU 集群等。
Jan 内置了多种大模型 Hub，可以让轻松便捷的下载各种推荐的大模型，无需额外的配置，快速投入使用。这也是 Jan 可以让你无门槛的体验开源大模型的重要原因之一。
项目使用
你可以在 Jan 项目的 release 页面下载对应平台的安装程序，这里了不起以 macOS 平台为例，下载安装镜像后进行常规安装即可。
界面
打开 Jan，我们可以看到如下的界面。
左侧是会话列表，中间是对话框，右侧是配置部分，可以指定当前会话的名称，以及选择要使用的模型。
大模型下载
刚开始使用时，如果本地还没有可用的大模型，Jan 也支持配置 key 的方式调用 OpenAI 的接口。当然，我们是为了本地跑大模型的，当然是要去下载一些可用的大模型啦。
点击左侧的 Hub 图标，可以到仓库中浏览目前推荐热门的开源大模型，如图：
我们可以看到仓库中有很多可供选择的模型，展开可以看到模型的简介以及占用空间，你可以根据需求下载对应的模型。
开始对话
了不起下载了三个模型，Llama 2 Chat 7B Q4、Mistral Instruct 7B Q4 和 Yi 34B Q5。前两个 7B 的模型了不起的电脑还是可以跑起来的，但是第三个 34B 的模型实在是带不动了。接下来看看使用效果吧。
回到对话页面，我们在右侧选择 Mistral Instruct 7B Q4 模型。首次对话需要等待一段时间加载模型，之后的对话就可以流式响应了。对话的过程如图所示：
我们也可以调整 Max Token 的大小，来加快模型的响应速度。
项目配置
点击界面左下角的齿轮配置按钮，可以进入 Jan 的配置界面。在这里你可以修改 Jan 的主题样式，以及维护已经下载的大模型。
总结
好啦，以上就是 Jan 的简单使用。话说了不起早就想在本地部署一个开源的大模型，自己打造一个离线的 AI 助手。但是因为对 AI 这方面一窍不通，而且懒得折腾，一直就作罢了。而这次分享的 Jan 也是满足了我的一个小心愿，在本地无门槛的离线和 AI 对话，还是比较酷的。感兴趣的朋友们可以试试哈。