https://rd163.visword.com/tags/vllm/VLLM - 标签 - 研发日志 · R&D LogHugo -- gohugo.iozh-CNwhutluohui@gmail.com (小智晖)whutluohui@gmail.com (小智晖)本作品采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可。Fri, 07 Feb 2025 00:00:00 +0800https://rd163.visword.com/posts/deepseek-deployment/Fri, 07 Feb 2025 00:00:00 +0800小智晖https://rd163.visword.com/posts/deepseek-deployment/<p>DeepSeek 是近期非常火爆的开源大模型，国产大模型 DeepSeek 凭借其优异的性能和对硬件资源的友好性，受到了众多开发者的关注。</p> <p>无奈在使用时，DeepSeek 官方总是提示「服务器繁忙，请稍后再试」，这可怎么办？</p>https://rd163.visword.com/posts/vllm/Sun, 12 Jan 2025 00:00:00 +0800小智晖https://rd163.visword.com/posts/vllm/vLLM 是一个高吞吐、低显存占用的库，用于大语言模型（LLM）的推理（inference）与服务（serving），由加州大学伯克利分校 Sky Computing Lab 开源，与 HuggingFace 生态无缝集成。它最初作为 SOSP 2023 论文 Efficient Memory Management for Large Language Model Serving with PagedAttention 的配套工程实现发布，目前是社区中最主流的 GPU 推理框架之一。

]]>