一个全栈程序员的编程笔记

服务器部署dify

# 服务器部署dify 使用宿主反向代理转发，先删除docker目录中的nginx文件夹，和docker-compose.yaml中的nginx项，并添加web和api的端口暴露端口 docker-compose.yaml ```ini services: api: ports: - "5001:5001" web: ports: - "3000:3000" plugin_daemon:

# 文本转语音 ## CosyVoice，长文本很慢 https://github.com/FunAudioLLM/CosyVoice ### 安装项目,建议使用git下载 `git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git` `cd CosyVoice` `git config --global --add safe.directory /home/

langchai-chatchat

# langchai-chatchat 这是一将多个项目整合的项目，因此每个项目有各自的虚拟环境需要创建几个目录，并在每个目录下创建虚拟环境，以及在每个目录下激活环境来安装： xinference 存放模型部署引擎 chatchat 存放langchain-chatchat ## langchain-chatchat项目下载和安装 `git clone https://github.com/chatchat-space/Langc

LLaMA-Factory微调工具

# LLaMA-Factory微调工具 https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md https://llamafactory.readthedocs.io/zh-cn/latest/ 安装时确保python在虚拟环境中 ```shell git clone --depth 1 https://github.com/hiyouga/LLaMA-Fact

chatGLM微调和部署

# chatGLM微调和部署 ## 常用版本 https://github.com/THUDM/ChatGLM-6B https://modelscope.cn/models/ZhipuAI/chatglm3-6b https://modelscope.cn/models/ZhipuAI/chatglm2-6b-int4 https://modelscope.cn/models/ZhipuAI/chatglm-6b-int4-qe

unsloth微调DeepSeek

# unsloth微调DeepSeek https://github.com/unslothai/unsloth https://kq4b3vgg5b.feishu.cn/wiki/WWzZwHVNei8zsWkieJ3cyHzWnFe ## 安装库首先确保已在项目目录中，并已激活虚拟环境 `pip install --upgrade pip` 升级pip `pip install "unsloth[cu124-torch250]

vllm 运行DeepSeek-R1-7B

# vllm 运行DeepSeek-R1-7B 本示范使用vllm，只支持linux环境 ## 创建python环境 `sudo mkdir -p /home/deepseek` 创建目录 `sudo chown -R $USER:$USER /home/deepseek` 修改目录权限，防止后续权限不够，因为python虚拟环境需要写权限 `cd /home/deepseek` 打开目录 `sudo apt install -y

llm常见显存推理和微调硬件方案

# 模型微调知识 ## 微调配置与显存要求对照表(上下浮动) | 模型大小 | 配置类型 | 显存需求 | 推荐GPU硬件 | |----------|-----------------|------------|-------------------------| | 7B | Freeze (FP16) | 20GB | RTX 4090

flask websocket

# flask websocket websocket使用自定义标识连接(服务端客户端使用相同标识) 通常发送和接收，使用两个不同信道，不然会触发无线循环 send #简单文本发送 emit #复杂数据发送 \_\_init\_\_.py: ```python #这里是初始化设置，包括创建app实例，注册蓝图，配置app，配置peewee from flask import Flask from config import Con

python进阶

# python八股文 [toc] ## 保留字段 ```python def # 用于定义一个函数 if # 条件语句，用于根据条件执行代码块 elif # “else if”的简写，多个条件分支中的一个 and # 逻辑与操作符，两个操作数都为真时，结果才为真 not # 逻辑非操作符，将布尔值取反 or # 逻辑或操作符，只要任一操作数为真，结果就为真 assert # 调试工具，用于验证条件，如果条件为假，触发异常

大木编程