AMD SmolLM-135M-Instruct_rai_1.7.1_npu_4K模型API参考与集成示例

AMD SmolLM-135M-Instruct_rai_1.7.1_npu_4K模型API参考与集成示例【免费下载链接】SmolLM-135M-Instruct_rai_1.7.1_npu_4K项目地址: https://ai.gitcode.com/hf_mirrors/amd/SmolLM-135M-Instruct_rai_1.7.1_npu_4KAMD SmolLM-135M-Instruct_rai_1.7.1_npu_4K是一款专为NPU部署优化的轻量级语言模型采用Quark Quantization技术和Full Fusion 4K上下文处理非常适合在AMD Ryzen AI平台上实现高效的文本生成任务。模型核心特性解析技术架构概览该模型基于Llama架构构建关键参数配置如下上下文长度4096 tokens通过Hybrid优化实现隐藏层维度576注意力头数量9含3个键值头量化策略AWQ / Group 128 / 非对称量化采用BFP16激活值和UINT4权重部署优化亮点模型通过以下技术实现NPU高效运行全融合4K上下文处理技术混合优化token后端NPU加速ONNX Runtime-GenAI支持配置文件见genai_config.json快速集成指南环境准备克隆模型仓库git clone https://gitcode.com/hf_mirrors/amd/SmolLM-135M-Instruct_rai_1.7.1_npu_4K安装依赖需Ryzen AI环境支持pip install onnxruntime-genai ryzen-aiAPI调用示例基础文本生成import onnxruntime_genai as og # 加载模型配置 model og.Model(full.onnx, genai_config.json) tokenizer og.Tokenizer(model) # 输入提示词 input_text 请解释什么是人工智能 input_ids tokenizer.encode(input_text) # 生成配置 params og.GeneratorParams(model) params.set_search_options(max_length512, temperature0.7, top_p0.9) params.input_ids input_ids # 执行生成 generator og.Generator(model, params) output generator.generate() # 输出结果 print(tokenizer.decode(output[0]))流式输出实现# 流式生成配置 params.set_search_options(streamTrue, max_length1024) generator og.Generator(model, params) # 逐token输出 for output in generator: if output.token_id model.eos_token_id: break print(tokenizer.decode([output.token_id]), end, flushTrue)配置参数详解模型配置参数主要配置位于genai_config.json关键参数说明参数类型描述context_lengthint最大上下文长度hidden_sizeint隐藏层维度num_attention_headsint注意力头数量RyzenAI.hybrid_opt_max_seq_lengthstr混合优化最大序列长度生成参数调优常用生成参数及建议值temperature: 0.7-1.0值越高输出越随机top_p: 0.9控制采样多样性max_length: 512-4096根据任务需求调整常见问题解决NPU设备检测失败确保已安装最新Ryzen AI驱动并验证设备可用性ryzenai-check模型加载内存不足尝试使用模型优化版本model og.Model(optimized_model.onnx, genai_config.json)许可证信息本模型基于MIT许可证发布详细条款见项目根目录LICENSE文件。Modifications copyright(c) 2025 Advanced Micro Devices, Inc. All rights reserved.【免费下载链接】SmolLM-135M-Instruct_rai_1.7.1_npu_4K项目地址: https://ai.gitcode.com/hf_mirrors/amd/SmolLM-135M-Instruct_rai_1.7.1_npu_4K创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考