服务器文件传输指令速查
写这个post的起因是主包试图从github上拉一个数据集到服务器，拷打gemini用git lfs结果频频失败，最后发现github上的数据集就是损坏的。决定来都来了，干脆学一下拉取文件的方法。（其实前后文并无关系） Linux 服务器文件传输与拉取速查 (SCP, Wget, Git LFS)1. SCP (Secure Copy) —— 局域网/远程传输场景：本地电脑（Windows/Mac）已经下好了数据集，需要“推”送到服务器。核心逻辑：基于 SSH 协议的加密传输。(Secure Shell，远程服务器用的一种传输/登录的协议；然后提供了一些基于这个安全隧道的工具比如scp、sftp方便像控制本地电脑一样控制远程服务器) 常用命令123456789# 1. 从本地上传到服务器 (在本地终端执行)# -P 为端口号，注意是大写scp -P [端口] "[本地路径]" [用户名]@[IP]:[服务器目标路径]# 示例：将下载好的 zip 传到服务器指定目录scp -P 22 "C:\Users\Lenovo\Do...
RAG、向量数据库与实战
大模型应用开发必知必会：RAG、向量数据库与实战 本文整理自我和ai的对话，大概介绍了RAG、向量数据库的原理与选型，并附上Chroma和Milvus的详细代码示例，让我好快速上手（） 1. RAG：检索增强生成1.1 前世今生：为什么需要RAG？大语言模型（LLM）虽然强大，但有三个固有缺陷： 知识截止日期：模型训练完成后便无法获取新知识。 幻觉问题：对于不确定的问题，模型可能会”编造”答案。 无法访问私有数据：企业内部文档、实时数据等不在训练集中。 为了解决这些问题，RAG（Retrieval-Augmented Generation，检索增强生成） 应运而生。它的核心思想是：在LLM回答问题之前，先从外部知识库中检索出相关文档，然后将文档与问题一起交给LLM生成答案。这样既保证了答案的时效性和准确性，又无需频繁重新训练模型。 RAG最早由Facebook AI在2020年的论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》中提出，随后迅速成为大模型落地的主流范式。如今，几乎所有的A...
大模型专有名词速查手册
按类别整理的大模型领域常用术语，方便快速检索。每个词给出中文解释和一句话定义。 目录 目录 一、基础概念 二、模型架构 三、训练方法 四、Prompt 工程 五、RAG 与知识库 六、Agent 与工具调用 七、推理与部署优化 八、评估与基准 九、安全与对齐 十、多模态 一、基础概念 术语 全称 / 中文名 一句话解释 LLM Large Language Model，大语言模型 用海量文本训练出来、能理解和生成自然语言的神经网络模型，如 GPT-4、Claude、Llama。 Token 词元 模型处理文本的最小单位，不等于一个字或一个词。英文大约 1 token ≈ 0.75 个单词；中文大约 1 个汉字 ≈ 1.5~2 个 token。 Tokenizer 分词器 将原始文本切分成 token 序列的工具，不同模型使用不同的 tokenizer（如 BPE、WordPiece）。 Context Window 上下文窗口 模型单次能”看到”的最大 token 数量，超出则自动截断。GPT-4 支持 128K，Claude 3 支持 ...
FastAPI入门笔记
1. 快速上手@app.get 是一个装饰器，当用户访问根路径 “/“ 且请求方法是 GET 时，执行下面的函数 1234567891011# practice.pyfrom fastapi import FastAPIapp = FastAPI()@app.get("/")def welcome(): return {"message": "Hello!"}# uvicorn practice:app --reload 以运行服务器# 这里的app是实例名 2.获取参数1.路径参数123@app.get("/item_id/{item_id}")def item(item_id: int): # 指定int类型 return {"item_id": item_id, "description": f"这是第{item_id}个商品"} ...
常用链接/参考
这一篇用来放置一些常用的链接和一些教程（） 博客相关域名域名比价 https://zh-hans.tld-list.com 域名托管 https://www.cloudflare.com/ Hexohexo指令 https://hexo.io/zh-cn/docs/commands 博客格式参考butterfly https://butterfly.js.org/ hexo主题库 https://hexo.io/themes/ 开发相关前端页面审美积累 https://dribbble.com/图片压缩 https://tinypng.com 或 https://squoosh.app 大模型相关平台硅基流动 https://www.siliconflow.cn/ 编程colab https://colab.research.google.com/ 学习相关编程语言菜鸟教程 https://www.runoob.com/ 算法题leetcode https://leetcode.cn/ 实用工具绘图坚果云 https://www.jianguoyun.com/ 配色参考 http...
java入门笔记1——基础语法速记
大概记录一下java基础语法ww 1. 数据类型与变量8大基本数据类型 类型 描述 大小 示例 byte 字节 8-bit byte b = 100; short 短整型 16-bit short s = 1000; int 整型 32-bit int i = 123; long 长整型 64-bit long l = 123L; (末尾加L) float 单精度 32-bit float f = 10.5f; (末尾加f) double 双精度 64-bit double d = 20.5; char 字符 16-bit char c = 'A'; (单引号) boolean 布尔 1-bit boolean flag = true; 引用类型123String str = "Hello"; // 字符串对象Integer num = 10; // 包装类 (自动装箱)int[] arr = {1, 2}; // 数组 2. 运算符 (Operators) 算术: +...
Hexo 博客 + GitHub Actions + Cloudflare Pages 自动部署
Hexo 博客 + GitHub Actions + Cloudflare Pages 自动部署刚刚做了一下博客的自动部署和关联我之前买的域名，差点给我折腾4，写一篇教程好了。 本文档记录了如何将本地 Hexo 博客源码托管在 GitHub，并通过 GitHub Actions 自动构建并推送到 Cloudflare Pages (Direct Upload 模式) 的完整流程。 1. 准备工作 本地已安装 Node.js 和 Hexo 和 git 和 cnpm。可以用node -v hexo -v git –version cnpm - v查看有没有安装（没有安就npm install -g cnpm全局安装） 拥有一个 GitHub 账号。 拥有一个 Cloudflare 账号。 2. 本地 Hexo 与 GitHub 仓库关联2.1 初始化与主题修复如果你使用了第三方主题（如 Butterfly）并是通过 git clone 下载的，必须删除主题内的 .git 文件夹，否则会导致子模块冲突，Cloudflare 无法拉取主题文件。 12345678910111213# 1...
我的第一篇博客
这是我的第一篇博客，这里大概会更新一些已经做好的项目/在做的项目/新坑记录ww
