别再被DeepSeek R1当地安排割韭菜，我帮您把坑都踩

起源：36氪内文附收费教程。起源｜APPSO（ID：appsolution）封面起源｜视觉中国这个春节，DeepSeek像一条鲶鱼搅动了国内外有数人的心弦。当硅谷还沉迷 DeepSeek带来的震动时，一场大张旗鼓的AI「淘金热」也在逐步浸透海内主流电商平台。号称内置DeepSeek的智能键盘日销近百万，博主抛售的课程轻松日入五万，就连仿冒网站也如雨后春笋般冒出了2650个，惹得DeepSeek官方突发紧迫申明。人群中有焦急者、有淘金者，另有更多怀揣等待的张望者，当打工人节后终于偶然间静下心来休会这个AI神器时，失掉的倒是 DeepSeek R1 冰凉的回应：效劳器忙碌，请稍后再试。得益于DeepSeek的开源战略，在烦躁的等候中，当地安排DeepSeek R1的教程也敏捷在全网刷屏，乃至成为新一轮收割韭菜的AI秘笈。明天，不必998，也不必98 ，咱们给家人们奉上一份当地安排DeepSeek R1的教程。不外，安排了，但没完整安排。只管很多卖课博主宣称能轻松运转满血版DeepSeek R1，但满血版R1模子参数高达671B，仅模子文件就须要404GB存储空间，运转时更须要约1300GB显存。对不卡的一般玩家来说，运转的前提刻薄，且门槛极高。基于此，咱们无妨将眼光转向DeepSeek R1四款分辨对应Qwen跟Llama的蒸馏小模子：DeepSeek-R1-Distill-Llama-8BDeepSeek-R1-Distill-Qwen-14BDeepSeek-R1-Distill-Qwen-32BDeepSeek-R1-Distill-Llama-70B海内博主曾经收拾出相干设置供各人参考，留神，只有GPU即是或超越VRAM请求，模子依然能够在规格较低的GPU上运转。然而设置不是最佳的，而且可能须要停止一些调剂。https://dev.to/askyt/deepseek-r1-671b-complete-hardware-requirements-optimal-deployment-setup-2e48当地安排R1小模子，两种方式，一学就会咱们此次手上休会的装备恰是M1 Ultra 128GB内存的Mac Studio。对于主流当地安排DeepSeek的教程，两种方式，一学就会。LM  Studio起首退场的是小白极简版本，在官网(lmstudio.ai)依据团体电脑型号下载LM Studio，接着为了便利应用，倡议点击右下角修正言语为简体中文。而后搜寻deepseek-r1抉择适合的版本下载，作为示例，我抉择应用阿里Qwen模子为基座蒸馏出来的7B小模子。设置实现后，即可一键启动。应用LM Studio的利益就是不必代码、界面友爱，但跑年夜型模子的时间对机能请求高，因而更合适老手入门应用基本功效。Ollama固然，对寻求更深档次休会的用户，咱们也筹备了进阶计划。起首从官网(ollama.com)获取并装置Ollama。启动后翻开下令行东西。Mac用户键盘Command+空格翻开「终端」东西，Windows用户键盘运转Win+R ，输入cmd翻开「下令提醒符」东西。在窗口中输入代码指令（ollama run deepseek-r1:7b）即可开端下载。请留神英文状况输入，检讨空格跟横杠，冒号后输入所须要的版本称号。设置实现后就能在下令行窗口开端对话。这个方式对机能请求很低，但须要熟习下令行操纵，模子的兼容性也无限，更合适进阶开辟者实现高等操纵。假如你想要比拟难看的交互界面，无妨在Chrome阅读器装置插件，搜寻装置 PageAssist。抉择当地已装置的模子，开端应用。右上角设置里修正好言语，主页抉择模子就能够开端对话，并且支撑基本的联网搜寻，弄法也更多样。能跑是能跑，但...咱们此次休会则用到了LM Studio。凭仗其杰出的优化才能，LM Studio使得模子可能在花费级硬件上高效运转。比方LM Studio支撑GPU卸载技巧，能够将模子分块加载到GPU中，从而在显存无限的情形下实现减速。犹如调教赛车，每个参数都市影响终极的表示，在休会之前，倡议在LM Studio的设置中，依据需要调剂推理参数的才能，以优化模子的天生品质跟盘算资本调配。温度 (Temperature)：把持天生文本的随机性。高低文溢出处置 (Context Overflow Handling)：决议怎样处置超长输入。CPU线程：影响天生速率跟资本占用。采样战略：经由过程多种采样方式跟处分机制，确保天生文本的公道性跟多样性。DeepSeek研讨员Daya Guo在X平台分享了他们外部的调教指南，最年夜天生长度锁定在32768个token，温度值保持在0.6，top-p值定格在0.95。每个测试都天生64个呼应样本。具体的设置倡议如下：1. 将温度设置在0.5-0.7之间（倡议设置为0.6），以避免模子输出无尽的反复或不连接的内容。2. 防止增加system prompt，全部指令应包括在用户提醒中。3. 对数学识题，倡议在提醒中包括指令，比方：「请逐渐推理，并将终极谜底放在 \boxed{} 中。」4. 在评价模子机能时，倡议停止屡次测试，并取成果的均匀值。5. 别的，咱们留神到 DeepSeek-R1 系列模子在呼应某些查问时，可能会绕过头脑形式（即输出 「\n\n」），这可能会影响模子的机能。为了确保模子停止充足的推理，咱们倡议在每次输出的开端，强迫模子以 「\n」 开端其呼应。DeepSeek 官方给出的蒸馏版模子的评测对照更年夜的参数目并纷歧定能带来更好的后果，在咱们休会的这多少款小模子中，相临参数目模子的气力差距团体倒也不那么品级威严。咱们也做了一些简略的测试。「deekseeeek 里有几多个 e?」8B 模子的呼应速率很快，基础能跑到 60 token/s，但答得快不料味着答得对，差之毫厘，谬以千里。思考进程表现，模子更像是基于常识库里的「DeepSeek」单词作出答复。14B 模子也没答对。直到 32B 模子的进场，才终于看到了靠谱的谜底。70B 模子展现出更周密的推理进程，但同样答复过错。「请帮我写一版京剧的《哈利波特与邪术石》」DeepSeek-R1-Distill-Qwen-32BDeepSeek-R1-Distill-Llama-70B就该成绩的答复品质来说，32B 跟 70B 各有所长，32B 在脚本场景的细节把控更完善，而 70B 则交出了一份脚色丰满、剧情完全的答卷。「在一天的 24 小时之中，时钟的时针、分针跟秒针完整重合在一同的时间有多少次？都分辨是什么时光？你怎么算出来的？」「或人在北半球某地乘飞机顺次向正东、正北、正西、正南各飞翔 2000 千米。最后，他能回到原地吗？」DeepSeek-R1-Distill-Qwen-32BDeepSeek-R1-Distill-Llama-70B固然，这多少款模子中，参数越小的模子的答复正确率每每越低，即使思考进程摸着门道了，但后续也因不动摇而犯错，赶上数学盘算范畴，差别量级模子的气力差距则会比拟显明。当地安排有三年夜上风，敏感数据无需上传云端；断网也能流利应用；以及罢黜 API 挪用用度，长文本义务更省钱，尤其合适企业、开辟者及对隐衷敏感的用户。但不支撑联网也有其弊病，假如你不喂给它「材料」，不迭时更新常识库，那它的信息认知程度也会停止不前。比喻说常识库停止到 2024 年，那它就没法答复你最新的 AI 消息。当地安排最常用的功效当属打造本人的常识库，方式则是在装置 LM Studio 之后，增添与 Anything LLM 联动的安排步调。斟酌到后果跟实用性，咱们应用了 32B 模子作为联动模子，成果表现后果也很个别，此中最年夜的挑衅来自高低文窗口的限度。顺次输入只有 4000 字的文章跟 1000 字阁下的文章，前者答复仍旧很含糊，后者则能胜任，但处置 1000 字阁下的文章稍显鸡肋，以是当个玩具还行，出产力还差点意思。别的须要特殊夸大的是，一方面，撬开这四款模子的嘴难度极高，另一方面，咱们也不倡议各人去实验「逃狱」。网上固然传播着很多所谓轻易「逃狱」的新版本模子，但出于保险跟伦理斟酌，咱们并不倡议随便安排。不外，既然到这一步了，无妨再本着一窍通百窍通的准则，实验下载跟安排一些经由正规渠道宣布的小模子。那除了当地安排 R1 蒸馏小模子，满血版 R1 有不穷鬼套餐呢？Hugging Face 的工程师马修·卡里根前未几在 X 平台展现了运转完全 DeepSeek-R1 模子，Q8 量化，无蒸馏的硬件 + 软件设置，本钱大概为 6000 美元。附上完全设置链接：https://x.com/carrigmat/status/1884244369907278106言归正传，以是咱们真的须要当地安排一个蒸馏版的 DeepSeek R1 吗？我的倡议是不要将这多少款 R1 蒸馏小模子设想成特斯拉，它充其量更像是五菱宏光，能跑是能跑，但要么机能表示相去甚远，要么缺胳膊少腿。在当地安排最常用的自界说常识库才能的休会中，后果就不尽善尽美。面临详细成绩时，它无奈正确「按图索骥」，或许罗唆胡编乱造，正确率堪忧。对绝年夜少数用户来说，老诚实适用官方版或许应用第三方平台才是现在最优解，它不须要投入昂贵的硬件本钱，也不必担忧机能受限。乃至折腾了半天，你会发明与其投入大批时光、精神跟款项去折腾当地安排这些小模子，不如放工后吃顿好的。而对企业用户、开辟者或对数据隐衷有特别需要的用户，当地安排仍然是一个值得斟酌的抉择，但条件是你明白本人为什么须要它，以及它存在的种种范围性。附上小白 QA 问答：‍问: 我能在一般的电脑上安排 DeepSeek 吗？答: DeepSeek 的完全版对电脑请求较高，然而，假如你只是想用它停止简略的操纵，能够抉择一些蒸馏小模子，不外仍需实事求是。问：什么是 DeepSeek R1 的蒸馏版模子？答: 蒸馏版模子是 DeepSeek R1 的简化版本，硬件请求更低，运转起来速率也更快。问: 我能在不收集的情形下应用 DeepSeek 吗？答: 假如你抉择当地安排 DeepSeek，那么在不互联网的情形下也能应用它。假如你经由过程云端或第三方平台应用，就须要收集衔接才干拜访。问: 应用 DeepSeek 时，我的团体数据能否保险？答: 假如你抉择当地安排 DeepSeek，那么你的数据不会上传到云端，愈加保险。假如应用在线版本，确保抉择可托的效劳平台，维护团体隐衷。