使用docker集成vllm实现模型推理加速,并使用Tools(工具)增强模型的能力和准确性
56 0 2个月前
list底层就是一个双向循环链表。forward_list底层是单链表,用法都差不多一样。下面我们可以看到,返回了最后的那个位置的元素。删除尾部的数据,可以看到把7删除了。
52 0 2个月前
DockerUI是一个docker容器镜像的可视化图形化管理工具。DockerUI可以用来轻松构建、管理和维护docker环境。它是完全开源且免费的。基于容器安装方式,部署方便高效,浏览和维护docker单节点或集群节点worker和manager。DockerUI具有易于使用的界面。它不需要记住 docker 指令。只需下载镜像即可立即加入并完成部署。使用DockerUI并结合cpolar内网穿透可以更加轻松的管理docker和swarm,实现后台公网访问并管理,视觉性更加直观,后台开发更加便利。
62 0 2个月前
本文旨在帮助想要入门深度学习的小白进行深度学习的环境配置,总结了一台电脑从零开始配置到调用Pytorch使用GPU进行深度学习计算的全过程环境搭建,并包含了Anaconda搭配Pycharm的环境搭建以及一些基本使用方法。
48 0 2个月前
通过docker方式实现Qwen2.5-7B-Instruct集成vllm,流式输出
47 0 2个月前
实现深度学习环境配置包括Pycharm,anaconda,torch,TensorFlow等
66 0 2个月前
安装完毕后,其实对这些软件之间的关系有一些感觉了,我们有必要了解一下我们安装这些软件和它们之间的关系,这样以后安装就不用看教程了。注意,如果自己的显卡驱动已经更新过了,可以跳过这一节,检查驱动版本方法:Win+r打开cmd,输入nvidia-smi。注意,这里如果是之前一直打开的cmd窗口,输入nvcc -V可能报错,这里要新开一个cmd窗口验证。),选择下载之前的版本,然后先搁置这个网页,我们先来用Anaconda创建一个虚拟环境。注意,CUDA的版本小于等于12.6即可,这里我们就安装12.0的吧。
47 0 2个月前
在大数据与 AI 的时代,向量数据库在高效搜索与相似度检索场景中扮演了至关重要的角色。Faiss(Facebook AI Similarity Search)作为一款强大的开源向量数据库,以其优越的性能和灵活的配置选项,成为处理高维向量检索的理想选择。本文将探讨 Faiss 的基本特点与核心技术原理、基础维护,以及基本使用,从而帮助用户搭建出高效的向量数据库解决方案。
96 0 2个月前
学校已经买了知网数据库,在使用知网研学时,可以通过IP获取全文,也可自动绑定学校机构账号,实现在知网研学就能免费在线阅读
288 0 2个月前