引子 今天早上连看了三篇水文都是因为之前关注了公众号，系统推送给我的。这几位也写很棒的文，但可能是立下了日更或者周更几篇的 flag，实际上又不可能频繁产出高质量的文章，就出现明显凑数的情况。 反思 为什么会这样，这么做的动因到底是什么？ 目标 究竟日更多满足了谁的需求？很可能是平台的需求，平台可能会因为鼓励频繁发文而给你分配更多的曝光量，这也是收入的来源。 但不一定是读者的需求。比如坚持一年日更，如果内容跟不上，只是凑数，咱先不说对世界有什么意义，对自己有什么意义。针对读者，日更也不一定吸粉的行为。回想咱们自己关注的日更公众号，对日更文章的打开比例是多少？ 我们也接收 RSS，但是我们会收录日更吗？尤其是个人每天更新好几篇的？显然不会。个人不可能长期保持高质量的频繁输出，而且推送过多可能导致信息过载。你还需要自己过滤这些信息，反而给自己找麻烦。 我觉得写文可以分为以下几种类型： 有感而发，而这种感肯定不能定期发生，大概也不能以此谋生。 量产，这种就像生产产品一样。与经验丰富的团队相比，个人很难达到类似的效果。 科技与狠活，利用各种技巧和方法，如自动生成、扩展、总结、翻译和转写等。对 ...

1 引言 本文将介绍 ollama+llama3 的最基本的安装和使用方法。只要你的 GPU 和 Docker 环境可用，基本上只需不超过五行的命令就能完成（实际上可能只需要一行）。使用 ollama 安装 llama3 比预期中要方便得多。 项目地址：https://github.com/ollama/ollama 65.5K Star 2 Docker 安装 1$ docker pull ollama/ollama 镜像大小约 438M，不包含 Python&Torch 环境，所以很省空间。 123$ docker run --rm -d -e OLLAMA_ORIGINS="app://obsidian.md*" --gpus=all -v /exports/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama$ docker exec -it ollama bash$ ollama run llama3 在初次使用时，会下载模型，大约需要 4.7G 的存储空间，这可能是量化版本 ...

TTS 已看 阿里的 CosyVoice pass 论文阅读_语音合成_CosyVoice ChatTTS pass 开源项目_语音合成_ChatTTS FishTTS pass 字节 Seed-TTS 论文阅读_语音合成_Seed TTS 其它 ToucanTTS 支持多达7000种语言 github.com/DigitalPhonetics/IMS-Toucan 官网：toucantts.com 评价：中文比较机器声 音频神级开源工具AudioCraft 音频工具集 MARS5-TTS https://github.com/camb-ai/mars5-tts 2.2K Star 140+ languages 主打声音克隆 可用 docker 部署 试用：https://6b1a3a8e53ae.ngrok.app/ 我在 demo 界面，试了下中文，提示不能识别字符，没部署 未看 OpenVoice 最近，由于深度学习在语音特征提取方面的应用，以及大型语言模型对语义理解的加强，许多语音合成技术已经达到了以假乱真的效果。 使用场景 语音合成常在以下几种 ...

123456789英文名称: MemGPT: Towards LLMs as Operating Systems中文名称: MemGPT：将LLMs打造成操作系统链接: https://arxiv.org/abs/2310.08560代码: https://github.com/cpacker/MemGPT作者: Charles Packer, Sarah Wooders, Kevin Lin, Vivian Fang, Shishir G. Patil, Ion Stoica, Joseph E. Gonzalez机构: 加州大学伯克利分校日期: 2023-10-12引用次数: 37 1 摘要 目的：解决大型语言模型在处理长对话和文档分析等任务时受到有限上下文窗口限制的问题。 方法：提出了一种名为虚拟上下文管理的新技术，该技术受到了传统操作系统中分层内存系统的启发，通过在物理内存和硬盘之间进行分页，提供了扩展虚拟内存的假象。 结果：在文档分析和多次会话聊天这两个领域，证明了设计的有效性，MemGPT 能够分析远超过 LLM 上下文窗口的大型文档，并能创建能够记忆、反思并通过与用户的 ...

1234567英文名称: T-RAG: LESSONS FROM THE LLM TRENCHES中文名称: T-RAG：来自LLM战壕的经验教训链接: https://arxiv.org/abs/2402.07483作者: Masoomali Fatehkia, Ji Kim Lucas, Sanjay Chawla机构: 卡塔尔计算研究所, 哈马德·本·哈利法大学日期: 2024-02-12引用次数: 0 1 摘要 目标：开发一个可以安全、高效地回答私有企业文档问题的大型语言模型（LLM）应用程序，主要考虑数据安全性、有限的计算资源以及需要健壮的应用程序来正确响应查询。 方法：应用程序结合了检索增强生成（RAG）和微调的开源 LLM，将其称之为 Tree-RAG（T-RAG）。T-RAG 使用树结构来表示组织内的实体层次结构，用于生成文本描述，以增强对组织层次结构内的实体进行查询时的上下文。 结果：我们的评估显示，这种结合表现优于简单的 RAG 或微调实现。最后，根据构建实际应用的 LLM 的经验，分享了一些获得的教训。 2 读后感 这篇文章的创新点逻辑比较简单：除了基本的 R ...

1234567英文名称: LARGE LANGUAGE MODELS AS OPTIMIZERS中文名称: 大型语言模型作为优化器链接: http://arxiv.org/abs/2309.03409v3代码: https://github.com/google-deepmind/opro作者: Chengrun Yang, Xuezhi Wang, Yifeng Lu, Hanxiao Liu, Quoc V. Le, Denny Zhou, Xinyun Chen机构: 谷歌, Google DeepMind日期: 2023-09-07 摘要 目标：提出一种名为 OPRO 的优化方法，利用大型语言模型作为优化器，通过自然语言描述优化任务。 方法：在每个优化步骤中，LLM 从包含先前生成的解及其值的提示中生成新解，然后评估并将新解添加到下一个优化步骤的提示中。 结论：OPRO 在线性回归和旅行推销员问题上展示了其效果，最终在任务准确性最大化方面优于人工设计的提示。在 GSM8K 上，OPRO 优化的最佳提示比人工设计的提示提高了高达 8%，在 Big-Bench Hard 任务上提 ...

12345678英文名称: TAKE A STEP BACK: EVOKING REASONING VIA ABSTRACTION IN LARGE LANGUAGE MODELS中文名称: 退一步：通过抽象激发大型语言模型中的推理链接: http://arxiv.org/abs/2310.06117v2代码: https://github.com/langchain-ai/langchain/blob/master/cookbook/stepback-qa.ipynb作者: Huaixiu Steven Zheng∗, Swaroop Mishra∗, Xinyun Chen, Heng-Tze Cheng, Ed H. Chi, Quoc V Le, Denny Zhou机构: Google DeepMind日期: 2023-10-09引用次数: 12 摘要 目标：提出一种简单提示技术 Step-Back Prompting，鼓励模型在处理问题之前先进行抽象化，即从具体实例中提取出高层次的概念和原则，然后再用这些概念和原则来指导后续的推理过程。 方法：主要分为两个步骤，抽象：提出 ...

12345678英文名称: AgentKit: Flow Engineering with Graphs, not Coding中文名称: AgentKit：使用图而非编码进行流程工程链接: https://arxiv.org/pdf/2404.11483.pdf代码: https://github.com/holmeswww/AgentKit作者: Yue Wu, Yewen Fan, So Yeon Min, Shrimai Prabhumoye, Stephen McAleer, Yonatan Bisk, Ruslan Salakhutdinov, Yuanzhi Li, Tom Mitchell机构: 卡内基梅隆大学, NVIDIA, 微软, 波士顿大学日期: 2024-04-17引用次数: 80 1 摘要 目标：提出了 LLM 提示框架 AgentKit，用于构建能通过自然语言提示进行复杂“思考过程”的多功能代理。 方法：AgentKit 使用节点作为基本构建块，每个节点包含一个特定子任务的自然语言提示。用户可以将这些节点像乐高积木一样堆叠起来，形成一个复杂的思考过程。 ...

1234567英文名称: Position Paper: Agent AI Towards a Holistic Intelligence中文名称: 立场论文：Agent人工智能走向整体智能链接: http://arxiv.org/abs/2403.00833v1代码: 作者: Qiuyuan Huang, Naoki Wake, Bidipta Sarkar, Zane Durante, Ran Gong, Rohan Taori, Yusuke Noda, Demetri Terzopoulos, Noboru Kuno, Ade Famoti, Ashley Llorens, John Langford, Hoi Vo, Li Fei-Fei, Katsu Ikeuchi, Jianfeng Gao机构: 微软研究核心,雷德蒙德,微软应用机器人研究,雷德蒙德,斯坦福大学,加州大学洛杉矶分校,微软游戏美国,MSR加速器,MSR人工智能前沿,纽约日期: 2024-02-28 读后感 这是一篇立场论文（Position Paper），主要阐述作者对某个问题的观点和立场，并提出充分的理由 ...

1 大海捞针测试 NeedleInAHaystack 项目地址：https://github.com/gkamradt/LLMTest_NeedleInAHaystack 功能：测试长上下文 LLMs 的上下文检索能力。 中文介绍：https://www.zhihu.com/question/624512303 2 原理 将一个随机的事实或陈述（“针”）放在一个长上下文窗口（“大海捞针”）的中间 要求模型检索此语句 遍历各种文档深度（指针放置位置）和上下文长度以衡量性能 3 多针检索加推理测试 评测需要检索多个事实并在此基础上进行推理的应用。 主要结果： 当要求模型检索更多的事实时，其性能会下降。 当模型需要对检索到的事实进行推理时，性能也会下降。 随着提供给模型的上下文信息量的增加，性能也会下降；随着上下文长度的增加，模型在文档开头的检索失败。 |500