AMD Hello-ROCm 学习活动笔记-第一天部署和运行Gemma4大模型

题记在Datawhale微信公众号上看到6月有关大模型专题学习其中AMD中文教程Hello-ROCm正好近来空闲时间比较多可以利用这个机会深入实操有关大模型的微调相关的事宜深入理解数据处理、训练、效果对比。第一天部署和运行Gemma4大模型实操记录第一天属于入门体验。没有什么特别的内容主要是环境的部署和Gemma4的运行。基本上是按照教程一路走下来。现在在云上部署确实方便很多。云环境简介这次的Datawhale组织的AMD Hello-ROCm组队学习环境是AMD 云环境平台的算力资源魔搭需要注册这2网站的账号登陆后可以兑换100小时的算力。自己的实操记录由于是按照教程照猫画虎一步一步操作下来的没有什么特别的。简单记录一下自己的操作结果。1、检查当前 GPU 是否可用在终端执行amd-smi命令。环境执行结果2、确认 PyTorch 能识别 AMD GPU在终端执行python -c import torch; print(PyTorch:, torch.__version__); print(ROCm available:, torch.cuda.is_available()); print(Device:, torch.cuda.get_device_name(0) if torch.cuda.is_available() else N/A)执行结果如下3、下载 Gemma4 模型3.1 提升国内环境下的依赖下载速度先把 pip 源切换到腾讯云镜像在终端执行pip config set global.index-url https://mirrors.cloud.tencent.com/pypi/simple/执行结果如下3.2 安装魔搭ModelScope在终端执行pip install modelscope执行结果如下3.3 下载 Gemma4 模型到当前目录在终端执行modelscope download --model google/gemma-4-E4B-it --cache_dir ./models执行结果如下需要注意的是实际执行的结果和教程给示例有出入不一定会在终端看到**100%**的字样只要能看到终端的命令行提示符就代表安装成功。3.4 确认 Gemma4 模型模型文件完整下载成功在终端执行ls -lh ./models/google/gemma-4-E4B-it/执行结果如下启动 vLLM 服务4.1 在终端执行uv pip uninstall torchvision# 经测试在该云环境中需卸载重新安装这个库才能正常使用uv pipinstallvllm torchvision\--no-cache\--index-url https://mirrors.aliyun.com/pypi/simple/\--extra-index-url https://wheels.vllm.ai/rocm/\-U执行结果如下4.2 启动vllm在终端执行vllm serve ./models/google/gemma-4-E4B-it/ --served-model-name gemma-4-E4B-it执行结果如下4.3 打开新终端进行对话测试在终端执行vllm chat--urlhttp://localhost:8000/v1--modelgemma-4-E4B-it执行结果如下注意事项1、实验完成后记得关闭云环境的实例不然后一直计算算力。