Skywork-OR1：革命性开源强化学习框架如何训练数学和代码推理模型

Skywork-OR1革命性开源强化学习框架如何训练数学和代码推理模型【免费下载链接】Skywork-OR1Unleashing the Power of Reinforcement Learning for Math and Code Reasoners项目地址: https://gitcode.com/gh_mirrors/sk/Skywork-OR1Skywork-OR1Open Reasoner 1是一个强大的开源强化学习框架专注于训练数学和代码推理模型。该框架通过大规模基于规则的强化学习结合精心设计的数据集和训练方案赋能开发者构建高性能的推理模型包括7B和32B两种规模的通用推理模型。 为什么选择Skywork-OR1Skywork-OR1框架在数学和代码推理任务中展现出卓越性能尤其在AIME数学竞赛和LiveCodeBench代码评估中表现突出。其核心优势包括多阶段训练 pipeline通过分阶段优化策略有效缓解熵崩溃现象提升模型稳定性AvgK评估指标相比传统Pass1指标更能反映模型的推理一致性和稳定性灵活的部署选项支持Docker和Conda环境兼容单节点和多节点训练Skywork-OR1-32B在多阶段训练过程中AIME24和AIME25分数随训练步数的变化曲线 惊人的性能表现Skywork-OR1系列模型在多个权威基准测试中表现优异超越了同规模的其他开源模型32B模型性能对比Skywork-OR1-32B与DeepSeek-R1、QwQ-32B等模型在AIME24、AIME25和LiveCodeBench上的准确率对比Skywork-OR1-32B在AIME24Avg32上达到82.2%的准确率超过DeepSeek-R179.8%和Qwen3-32B81.4%在AIME25上以73.3%的成绩领先所有对比模型。7B轻量级模型优势Skywork-OR1-7B与同规模模型在各项任务上的准确率对比即使是7B轻量级模型也展现出强大竞争力在AIME24上达到70.2%的准确率远超DeepSeek-R1-Distill-Qwen-7B55.5%和Light-R1-7B-DS59.1%。 多阶段训练的秘密Skywork-OR1采用创新的多阶段训练策略通过动态调整训练参数和数据分布实现模型性能的持续提升。以Skywork-OR1-Math-7B为例其在AIME24任务上的性能随训练阶段逐步优化Skywork-OR1-Math-7B在AIME24任务上的多阶段训练性能曲线展示了8K、16K和32K序列长度下的准确率提升️ 快速开始指南环境准备Skywork-OR1支持Docker和Conda两种安装方式满足不同用户需求Docker环境docker pull whatcanyousee/verl:vemlp-th2.4.0-cu124-vllm0.6.3-ray2.10-te2.0-megatron0.11.0-v0.0.6 docker run --runtimenvidia -it --rm --shm-size10g --cap-addSYS_ADMIN -v image:tag git clone https://gitcode.com/gh_mirrors/sk/Skywork-OR1.git cd Skywork-OR1 pip3 install -e .Conda环境conda create -n verl python3.10 conda activate verl pip3 install torch2.4.0 --index-url https://download.pytorch.org/whl/cu124 pip3 install flash-attn --no-build-isolation git clone https://gitcode.com/gh_mirrors/sk/Skywork-OR1.git cd Skywork-OR1 pip3 install -e .数据准备训练数据可通过官方提供的脚本自动下载和过滤model_size32b # 可选 1p5b, 7b python ./or1_scripts/data_preprocess/download_and_filter_data_${model_size}.py --local_dir ./or1_data/train启动训练根据模型规模和序列长度选择合适的训练脚本model_size7b # 或 32b train_seq_len8 # 或 16, 32 export CODE_PATH./ export MODEL_PATH模型路径 bash ./or1_scripts/train/${model_size}_${train_seq_len}k.sh分布式训练对于大规模训练需求Skywork-OR1支持基于Ray的多节点训练# 在主节点启动Ray ray start --head --dashboard-host0.0.0.0 # 在其他节点连接到主节点 ray start --address主节点IP:6379 评估模型性能Skywork-OR1提供了便捷的评估脚本支持AIME和LiveCodeBench等多个基准测试# 评估7B模型 bash ./or1_scripts/eval/eval_7b.sh # 评估32B模型 bash ./or1_scripts/eval/eval_32b.sh评估结果将自动保存至outputs/evalation/pass.csv文件。 学习资源官方文档项目提供了全面的文档涵盖从安装到高级配置的所有内容示例代码examples/目录包含多种场景的使用示例包括数据预处理、模型训练和推理技术报告Skywork Open Reasoner 1技术报告详细介绍了训练流程、熵崩溃现象的研究与缓解以及大量分析和消融实验 致谢Skywork-OR1基于以下项目开发感谢这些开源社区的贡献模型训练基于DeepSeek-R1-Distill-Qwen系列模型训练框架基于verl项目的定制分支开发 引用如果您在研究中使用了Skywork-OR1请引用以下文献article{he2025skywork, title{Skywork Open Reasoner 1 Technical Report}, author{He, Jujie and Liu, Jiacai and Liu, Chris Yuhao and Yan, Rui and Wang, Chaojie and Cheng, Peng and Zhang, Xiaoyu and Zhang, Fuxiang and Xu, Jiacheng and Shen, Wei and Li, Siyuan and Zeng, Liang and Wei, Tianwen and Cheng, Cheng and An, Bo and Liu, Yang and Zhou, Yahui}, journal{arXiv preprint arXiv:2505.22312}, year{2025} }Skywork-OR1为开源社区提供了一个强大而灵活的强化学习框架无论是学术研究还是工业应用都能帮助开发者构建更强大的数学和代码推理模型。立即开始探索释放AI推理的无限可能【免费下载链接】Skywork-OR1Unleashing the Power of Reinforcement Learning for Math and Code Reasoners项目地址: https://gitcode.com/gh_mirrors/sk/Skywork-OR1创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考