相关文章
SGlang 推理模型优化(PD架构分离)
一、技术背景
随着大型语言模型(LLM)广泛应用于搜索、内容生成、AI助手等领域,对模型推理服务的并发能力、响应延迟和资源利用效率提出了前所未有的高要求。与模型训练相比,推理是一个持续进行、资源消耗巨大的任务,尤…
编程日记
2025/5/29 17:32:34
RV1126的VI模块讲解
一.本章节介绍:
本章节主要是介绍视觉项目的VI视频输入模块的讲解,VI视频模块是所有摄像头数据的入口。VI模块的配置在源文件rkmedia_module_function.cpp里面。
二.VI模块思维导图 上面思维导图主要是描述VI模块设置的大致流程,首先对RV11…
编程日记
2025/5/30 2:43:56
Ubantu安装 Jenkins LTS
https://www.jenkins.io/doc/book/installing/linux/#debianubuntu 这是官网的安装步骤,写个帖子记录一下 1、先执行如下命令 安装Jenkins
sudo wget -O /etc/apt/keyrings/jenkins-keyring.asc \https://pkg.jenkins.io/debian-stable/jenkins.io-2023.key
echo &…
编程日记
2025/5/27 5:36:33
阿里云API RAG全流程实战:从模型调用到多模态应用的完整技术链路
一、引言
在企业级智能应用开发中,如何让大模型高效利用动态数据并生成准确回答,是构建智能问答系统的核心挑战。阿里云提供的API RAG(检索增强生成)流程,通过整合通义千问大模型、百炼智能体平台与知识库管理体系&am…
编程日记
2025/5/24 20:51:57
HUAWEI华为MateBook D 14 2021款i5,i7集显非触屏(NBD-WXX9,NbD-WFH9)原装出厂Win10系统
适用型号:NbD-WFH9、NbD-WFE9A、NbD-WDH9B、NbD-WFE9、
链接:https://pan.baidu.com/s/1qTCbaQQa8xqLR-4Ooe3ytg?pwdvr7t 提取码:vr7t
华为原厂WIN系统自带所有驱动、出厂主题壁纸、系统属性联机支持标志、系统属性专属LOGO标志、Office…
编程日记
2025/6/3 15:43:17
PyTorch的dataloader制作自定义数据集
PyTorch的dataloader是用于读取训练数据的工具,它可以自动将数据分割成小batch,并在训练过程中进行数据预处理。以下是制作PyTorch的dataloader的简单步骤: 导入必要的库
import torch
from torch.utils.data import DataLoader, Dataset定…
编程日记
2025/5/29 7:26:08
【Linux部署Java服务的那些事】
Linux部署Java服务的那些事 安装JDKJAVA_HOME环境设置开放端口 安装JDK
Open-JDK下载地址 [https://jdk.java.net/java-se-ri/22],然后使用FileZilla上传JDK各个版本 一般我会新建一个新的用户,
useradd -m username
passwd username参数 -m 代表在主目…
编程日记
2025/5/29 6:19:51