最近想学习一下大模型微调，记录一下llama-factory的部署过程及遇到的一些问题。
LLaMa-Factory官方地址：hiyouga/LLaMA-Factory: Unified Efficient Fine-Tuning of 100+ LLMs (ACL 2024)
部署部分参考如下：
【喂饭教程】20分钟学会微调大模型Llama3，环境配置+模型微调+模型部署+效果展示详细教程！草履虫都能学会~_哔哩哔哩_bilibili
LLaMA-Factory：手把手教你从零微调大模型！_llamafactory-CSDN博客
目录
LLaMa-Factory服务器部署
1、获取LLaMA-Factory
2、创建虚拟环境
3.环境配置
4.启动Web UI
解决方案：将链接转为公共链接。
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
conda create -n llama python=3.11.1
conda activate llama
pip install -e ".[torch,metrics]"
安装过程中出现了超时错误（ReadTimeoutError），这通常意味着在尝试从 Python 包索引（PyPI）或其他源下载包时，连接超时了。
加上清华镜像源重新执行即可。
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e ".[torch,metrics]"
安装完成后检查是否安装成功，在终端执行：
llamafactory-cli version
结果输出如下：
启用命令：
export USE_MODELSCOPE_HUB=1 && llamafactory-cli webui
这将启动一个本地Web服务器，可以通过访问http://0.0.0.0:7860来使用Web UI。
今天在这个地方卡了很久，直接打开弹出的链接一直处于加载中的空白页面，复制链接在浏览器打开显示无法访问，下面是解决方法。
这部分主要参考：服务器使用llama-factory 无法在本地打开webui问题处理_llamafactory 本地访问-CSDN博客
llamafactory-cli webui执行之后会出来一行信息：
Running on local URL: http://0.0.0.0:7860
To create a public link, set `share=True` in `launch()`.
转为公共链接，将launch（）中的share参数改为True即可。
打开interface.py文件，路径为：LLaMA-Factory-main/src/llamafactory/webui/interface.py
将share参数修改为True
再次执行：
llamafactory-cli webui
这个时候还是私有链接，需要再进行一些修改。
Please check your internet connection. This can happen if your antivirus software blocks the download of this file. You can install manually by following these steps:
1. Download this file: https://cdn-media.huggingface.co/frpc-gradio-0.2/frpc_linux_amd64
2. Rename the downloaded file to: frpc_linux_amd64_v0.2
3. Move the file to this location:/home/miniconda3/envs/llama/lib/python3.11/site-packages/gradio
按照提示的步骤操作即可。
mv /LLaMA-Factory-main/frpc_linux_amd64_v0.2 /home/miniconda3/envs/llama/lib/python3.11/site-packages/gradio/
注：第一个路径为文件当前路径，第二个为目标路径。
最后，转到移动后的路径，设定权限
cd /home/miniconda3/envs/llama/lib/python3.11/site-packages/gradio/
chmod +x frpc_linux_amd64_v0.2
再次执行命令：
llamafactory-cli webui
结果如下：
成功打开！
提示：请勿发布广告垃圾评论，否则封号处理！！