avatar
Articles
834
Tags
257
Categories
173

Yan 的杂物志_个人主页分享
Search
数据库_mongoDB
Created2023-12-13|2_Note0_Technic3_编程数据库
1 介绍 MongoDB 是一种 NoSQL 数据库,它将每个数据存储为一个文档,这里的文档类似于 JSON/BSON 对象,具体数据结构由键值(key/value)对组成。字段值可以包含其他文档,数组及文档数组。其数据结构非常松散,常用于存储比较复杂灵活的数据结构。 MongoDB 基于分布式文件存储,介于关系数据库和非关系数据库之间;是非关系数据库当中功能最丰富,最像关系数据库的。 2 基本概念 数据库:数据库用于保存一组相关数据,由集合组成;相当于关系数据库中的库。 集合:集合用来表示一个实体,如学生集合;集合由文档组成,相当于关系数据库中的表。 文档:文档表示一条记录,比如一位同学可以是一个文档,相当于关系数据库中的记录。 3 用法 123456$ docker pull mongo:5.0.18$ docker run --rm -d -p 27017:27017 -v /宿主机目录:/data/db \ -e MONGO_INITDB_ROOT_USERNAME=adminUser \ -e MONGO_INITDB_ROOT_PASSWORD=adminPassw ...
GPT应用_FastGPT
Created2023-12-13|2_Note0_Technic0_工具GPT应用增强工具
1 功能 1.1 整体功能,想解决什么问题 官方说明:FastGPT 是一个基于 LLM 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排,从而实现复杂的问答场景! 个人体会:在不用编程的情况下,快速建立简单的本地知识库。 1.2 当前解决了什么问题,哪些问题解决不了 作者团队可能是觉得大模型本身太单薄了,希望通过结合其它工具,做一个中间层的方案,用大模型解决更多问题。 向下接入了多个大模型:GPT、Claude、Spark、ChatGLM 等;向上除了提供 很好用的 Web 工具,还提供了类似 OpenAI 的 API 供其它程序接入其功能,如:微信,飞书……;针对本地知识库,实现了数据的解析,存储,问答功能,并做了一些优化(评价本地知识库效果是一个非常复杂的问题,不在此讨论)。 提供了工作流 Flow,个人感觉对于想开箱即用的人来说有些复杂;对于深度使用者略显单薄。 计算 Embedding 以及答案的合成都需要连网使用。 1.3 提供哪些功能点,其中哪些是刚需 基本的与大模型聊天问答功能 本地知识库支持, ...
项目包管理工具_poetry
Created2023-12-11|2_Note0_Technic3_编程Python工具
1 介绍 Poetry 是一个用于 Python 项目的包管理工具,它相对于传统的 pip 和 requirements.txt 的优势在于:使得项目依赖管理更加方便,且结合了更多新工具,还提供命令行进一步配置。 当在同一系统或在同一个 docker 中,使用多个 Python 程序时,可能由于工具链冲突无法同时安装,poetry 将每个项目所需要的资源都安装在它自己的虚拟环境中,很好地解决了冲突问题。 使用此方法,可以把库挂在系统之外,也不需要总是重打 docker image 了。 2 用法 2.1 配置文件 设置文件是:pyproject.toml,其中包含包及对应版本,可配置选项等等。 2.2 安装 python 包 Poetry 默认会将 Python 包安装在项目的虚拟环境中,而虚拟环境通常会创建在项目根目录的.venv 文件夹内。 查看安装信息: 1$ poetry env info 安装包 1$ peotry install
openstack插件
Created2023-12-08|2_Note0_Technic3_编程其它编程
1 OpenStack 1.1 功能和原理 OpenStack 是一组可用于扩展和增强的云计算平台功能的组件或模块的集合。包括计算、存储、网络、认证、镜像等。具有高度的可扩展性、灵活性和定制性,广泛应用于公有云、私有云、混合云等各种场景。 OpenStack 可以在任何地方快速部署和管理基础架构,而无需依赖云服务提供商。OpenStack 模块被设计为可插拔的插件。 1.2 架构 用户层:用户可以通过各种方式访问 OpenStack 云环境,如 Web 界面、API、CLI 等。 应用层:应用层是 OpenStack 云环境中运行的应用程序和服务,例如虚拟机、存储、网络、数据库等。 控制层:控制层是 OpenStack 云环境中的核心组件,用于管理和协调应用层的资源。 1.3 我的理解 (不一定对) OpenStack 提供了一个框架,来构建云服务,包含整个系统的组织架构,设计各个组件之间的通讯协议,整体的控制管理等等。 2 插件 2.1 功能 扩展功能通常被设计为可插拔的组件,允许用户根据其需求选择性地添加或拓展功能。 2.2 语言 OpenStack 生态系统中 Python ...
论文阅读_反思模型_Reflexion
Created2023-12-08|2_Note0_Technic2_算法7_模型增强AgentLLM_RL
123456英文名称: Reflexion: Language Agents with Verbal Reinforcement Learning中文名称: 反思:具有言语强化学习的语言智能体文章: http://arxiv.org/abs/2303.11366代码: https://github.com/noahshinn/reflexion作者: Noah Shinn (Northeastern University)日期: 2023-05-20 v1 1 读后感 论文提出了一种强化学习方法。传统的调优主要是通过训练调整网络参数,而文中提出的方法则是“分析”错误,形成反思的“文字”并保存,在之后的决策中,将其作为上下文以帮助决策。 它利用大模型及其周边方法构造了角色的行为、对结果的评价、当不能达成目标时,利用大模型来反思执行过程中具体哪一步出了问题,并将其作为反思存储。这样就构造了基于当前环境的短期存储,和基于反思的长期存储,结合二者使模型在未来做出更好的决策。 可将其视为把之前在棋类游戏中的强化学习扩展到了角色扮演游戏之中。之前的虚拟世界是棋盘,而现在的智能体置身于一个游戏世界 ...
GPT应用_ChatGPT-Next-Web
Created2023-12-05|2_Note0_Technic0_工具GPT应用增强工具
1 用后感 这个工具,我也是用了好长时间,就是感觉如果不点亮一颗星,自己就不是人了的那种。 一开始在国内用 ChatGPT 非常麻烦,就买了一个套壳的服务,他使用的界面就是 ChatGPT-Next-Web,我和朋友们都觉得这个界面是真心好看真心好用。 项目地址:https://github.com/Yidadaa/ChatGPT-Next-Web/ 2 使用方法 1234567docker pull yidadaa/chatgpt-next-webdocker run -d -p 3000:3000 \ -e OPENAI_API_KEY=sk-xxxx \ -e CODE=页面访问密码 \ --net=host \ -e PROXY_URL=http://127.0.0.1:7890 \ yidadaa/chatgpt-next-web image 大小只有 198M,非常完美的一键部署。 3 功能 3.1 整体功能,核心是想解决什么问题 通过它能很好地解决国内使用 ChatGPT 的问题;比如我买一个或者搭一个服务,我这边解决了科学上网和费用的问题;朋友、同 ...
GPT应用_WeChatMsg_下载微信聊天记录
Created2023-12-05|2_Note0_Technic0_工具GPT应用增强工具
1 方法 下载软件的 release 版本 exe https://github.com/LC044/WeChatMsg 把 Windows 端微信更新到最新版本 将手机聊天记录迁移到电脑 手机微信 ->我的 ->设置 ->聊天 ->聊天记录迁移与备份 ->迁移 如果电脑端使用虚拟机,注意千万用桥接网络,不要用 NAT,否则报错:不在同一网络无法迁移;另外,如果一次选择太多内容,也可能出现该报错,分几次迁移就好了。 使用 WeChatMsg 导出 运行 exe,第一次运行时,先解密 2 使用感受 尽管界面目前还不是很完美,但是可用。因为开源,我们可以选择其中的一部分来运行,可以拆开用,可以调。 其核心技术是从微信数据存储目录中提取信息,另外使用 Python Qt 实现了用户界面。 3 参考 解决微信手机与电脑在同一网络却无法互联传输的问题
GPT应用_chatgpt-on-wechat
Created2023-12-05|2_Note0_Technic0_工具GPT应用增强工具
1 用后感 简单地说,chatgpt-on-wechat 是把 ChatGPT 做成一个微信的机器人好友。项目主要是 Python 编写的,所以上手很快;一键部署也很简单,半个小时以内就能搞定。 项目地址:https://github.com/zhayujie/chatgpt-on-wechat 2 功能 2.1 整体功能,核心是想解决什么问题 核心功能是把大模型做成了微信中的聊天机器人。从底层看,它支持多个大模型:GPT-3.5, GPT-4, claude, 文心一言, 讯飞星火等;从上层看,它支持多种终端,如个人微信、微信公众号、企业微信、飞书等。 2.2 当前解决了什么问题,哪些问题解决不了 我觉得它解决了 LLM 接入微信 90% 以上的问题,作为独立软件的完整性很好;同时可作为二创的完美 baseline。 2.3 提供哪些功能点,其中哪些是刚需 整体代码和功能分为两部分:接入模型和接入终端。得用终端的接入,我们可以通过微信提供很多服务,不仅限于大模型。接模型这块做得也比较全,包含了图像和语音的支持,而且支持不同公司模型和对工具的调用。 尽管可选模型很多,终端支持也不少;但 ...
计量token数
Created2023-12-02|2_Note0_Technic3_编程大模型
1234import tiktokenenc = tiktoken.encoding_for_model("gpt-4")print(len(enc.encode("你好呀")))print(len(enc.encode("hello world")))
Redis远程字典服务
Created2023-12-01|2_Note0_Technic3_编程数据库
1 介绍 Redis(Remote Dictionary Server)是一个开源的内存数据存储系统,可以用作数据库、缓存和消息中间件。它支持多种数据结构,包括字符串(strings)、哈希表(hashes)、列表(lists)、集合(sets)、有序集合(sorted sets)等。 2 使用场景 相对于使用数据库,它读取更方便,时间更短 相对于存储在硬盘上,它可供不同机器上的不同客户端读取。 3 使用方法 3.1 安装运行 12$ docker pull redis$ docker run --rm -d --net host redis 默认端口是 6379 3.2 Python 客户端 12345678910111213import redisredis_client = redis.StrictRedis(host='localhost', port=6379, decode_responses=True)# 尝试从缓存中获取结果cached_result = redis_client.get(f'test:01')if cache ...
1…272829…84
avatar
Yan.xie
顺流而下还是逆流而上?
Articles
834
Tags
257
Categories
173
Follow Me
Announcement
This is my Blog
Recent Post
优化阅读过程2025-07-14
对谈_250706_关系中的尊严2025-07-14
稳定币2025-07-14
MCP_实用场景讨论2025-07-14
国内外云主机价格对比2025-07-12
Categories
  • 0_IMO78
    • 工作1
    • 方法1
      • 工作1
    • 说给一个人听76
      • 01_自我建构29
        • 实修3
        • 思考与觉悟14
Tags
代码生成 开源项目 数据管理 父母教育 社交 心理 深度学习/模型结构 自然语言处理/统计方法 股票预测 认知建构 社会关系 区块链 技术 反思 笔记工具 职场 自然语言处理/大模型 公众号 模型优化 移动开发 插件开发 开源社区 文化 模型增强 情绪表达 视频处理 艺术 Ubuntu API 抑郁 讽刺 机器学习/XGBoost 卡片 权力结构 价值观 模型工具 工具 关系反转 现实认知 自我剖析
Archives
  • July 202528
  • June 202539
  • May 202530
  • April 202516
  • March 20259
  • February 20252
  • January 20256
  • December 20242
Info
Article :
834
Total Count :
1154.1k
UV :
PV :
Last Push :
©2020 - 2025 By Yan.xie
Framework Hexo|Theme Butterfly
京公网安备11010802043346号
京ICP备2023029600号-1
Search
Loading the Database