Hacker-job 的 AI 解析引擎：如何用 LLM 将非结构化文本转换为结构化职位数据

Hacker-job 的 AI 解析引擎如何用 LLM 将非结构化文本转换为结构化职位数据【免费下载链接】hacker-jobPlay with hackernews who is hiring项目地址: https://gitcode.com/gh_mirrors/ha/hacker-job你是否曾经在 Hacker News 的 Who is Hiring? 帖子中寻找工作机会却被海量的非结构化文本淹没 传统的手动筛选既耗时又容易遗漏重要信息。现在Hacker-job 项目通过创新的 AI 解析引擎使用大型语言模型LLM自动将这些自由文本职位描述转换为结构化数据让求职者和招聘者都能轻松搜索和分析。本文将深入解析这个强大的 AI 解析引擎如何工作以及它如何改变了技术职位搜索的游戏规则。 Hacker-job 项目简介Hacker-job 是一个开源项目专门处理 Hacker News 每月发布的 Ask HN: Who is Hiring? 帖子。每个月这些帖子都会包含数百个自由格式的职位评论——这些文本原本难以搜索、过滤或进行时间序列分析。Hacker-job 通过 AI 解析引擎将这些非结构化文本转换为标准化的结构化数据并提供一个现代化的 React 应用界面进行浏览和搜索。项目的核心数据存储在data/jobs/目录下的 JSONL 文件中每个月份对应一个文件如data/jobs/2024-12.json。这些文件包含了 AI 解析后的结构化职位信息包括公司名称、职位角色、地点、薪资范围、技术栈等关键字段。 AI 解析引擎的工作原理1. 数据提取流程Hacker-job 的 AI 解析引擎采用了两步式数据处理流程数据获取阶段首先从 Hacker News API 抓取原始的职位帖子存储在data/pending.jsonl队列中AI 解析阶段使用 LLM 分析每个帖子提取结构化字段并将结果合并到相应的月份文件中这个分离的设计使得数据获取廉价操作和 AI 解析计算密集型操作可以独立进行提高了系统的灵活性和容错性。2. LLM 提示工程在scripts/extract.ts中项目定义了一个精心设计的提示模板指导 LLM 从原始文本中提取结构化信息const PROMPT Extract structured job info from this HN job post. Return JSON only: { company: string, roles: string[], location: string | null, remote_type: remote | onsite | hybrid | null, remote_regions: string[] | null, salary_min: number | null, salary_max: number | null, salary_currency: USD | EUR | GBP | null, tech_stack: string[], job_type: full-time | part-time | contract | intern | null, visa: boolean | null } Job post: ;这个提示模板明确指定了输出格式和每个字段的类型确保 LLM 返回标准化的 JSON 结构。项目使用 OpenAI 兼容的 API默认配置为本地 LM Studio 服务器但也支持通过环境变量配置为任何兼容的 LLM 服务。3. 结构化输出验证为了确保数据质量项目使用了 JSON Schema 验证机制response_format: { type: json_schema, json_schema: { name: job_info, strict: true, schema: { type: object, additionalProperties: false, properties: { company: { type: string }, roles: { type: array, items: { type: string } }, // ... 其他字段定义 }, required: [ company, roles, location, remote_type, remote_regions, salary_min, salary_max, salary_currency, tech_stack, job_type, visa, ], }, }, }这种严格的结构化输出确保了所有提取的字段都符合预定义的格式即使某些字段可能为 null 值。 从非结构化到结构化的转换示例让我们看一个实际的转换示例。原始 Hacker News 帖子可能是这样的Tesla | Staff Machine Learning Engineer, Autobidder | Palo Alto, CA Were hiring a Staff Machine Learning Engineer for Autobidder, Teslas industry leading platform for trading batteries in electricity markets. The role involves building scalable ML pipelines and models to forecast electricity price... Location: Palo Alto, CA More details: https://www.tesla.com/careers/search/job/staff-machine-learning-engineer-autobidder-229296经过 AI 解析引擎处理后这个帖子被转换为以下结构化数据{ id: 42384022, author: teslaautobidder, ts: 1733883621, company: Tesla, roles: [Staff Machine Learning Engineer], location: Palo Alto, CA, remote_type: null, remote_regions: [], salary_min: null, salary_max: null, salary_currency: null, tech_stack: [Python], job_type: full-time, visa: null, text: Tesla | Staff Machine Learning Engineer, Autobidder | Palo Alto, CA\n\nWere hiring a Staff Machine Learning Engineer for Autobidder, Teslas industry leading platform for trading batteries in electricity markets... }这种转换使得原本难以处理的自由文本变成了可以轻松搜索、过滤和分析的结构化数据。 技术架构与实现细节1. 模块化设计Hacker-job 的代码库采用了清晰的模块化设计scripts/extract.ts核心的 AI 解析逻辑包含 LLM 调用和结构化提取scripts/analyzeJobs.ts批量处理队列中的帖子管理解析任务scripts/store.ts数据存储和读取接口frontend/src/data.ts前端数据访问层从/data/*端点获取结构化数据2. 容错处理机制AI 解析引擎包含了完善的错误处理机制解析失败的帖子会保留在队列中等待下一次重试每个帖子都有唯一的 ID 标识便于追踪和调试前端提供了数据问题报告功能用户可以标记 AI 提取错误3. 并发处理优化在scripts/analyzeJobs.ts中项目使用p-limit库控制并发请求数量const limit pLimit(concurrency); await Promise.all(raws.map((r) limit(async () { try { const job await analyzePost(r); if (job) jobs.push(job); else { failedIds.add(r.id); console.warn( post ${r.id}: no company extracted); } } catch (err) { failedIds.add(r.id); // 临时失败 - 下次运行重试 } })));这种设计平衡了处理速度和 API 限制确保大规模数据处理时的稳定性。 前端数据展示与交互解析后的结构化数据在前端应用中得到了充分利用。在frontend/src/pages/Jobs.tsx中用户可以通过多种方式筛选和浏览职位1. 智能筛选功能关键词搜索支持多关键词搜索覆盖公司、职位、地点、技术栈等所有字段远程类型过滤精确筛选远程、现场或混合工作模式薪资范围过滤按最低薪资要求筛选职位地点过滤根据地理位置进行筛选签证支持过滤专门筛选提供签证支持的职位实习职位过滤快速找到实习机会2. 数据可视化展示每个职位卡片都清晰展示了 AI 提取的关键信息Depict (YC S20) | Tech Director | Stockholm, Sweden or Remote | Full-time Roles: Tech Director Location: Stockholm, Sweden Remote: hybrid Tech Stack: React, Typescript这种标准化的展示方式让用户能够快速扫描和比较不同职位的关键信息。 趋势分析与数据洞察除了基本的职位浏览功能Hacker-job 还提供了趋势分析功能。通过scripts/derive.ts生成data/trends.json文件系统可以追踪薪资趋势不同技术栈、地点和职位的薪资变化技术栈流行度各种编程语言和框架的需求变化远程工作趋势远程、混合和现场工作模式的比例变化地理分布热门招聘地点和区域变化这些洞察对于求职者了解市场趋势和招聘者制定策略都具有重要价值。 自动化工作流与持续集成Hacker-job 实现了完全自动化的数据处理流程1. 每日自动更新通过 GitHub Actions 工作流.github/workflows/update.yml项目每天自动获取最新的 Hacker News 职位帖子使用 AI 解析新帖子将结构化数据提交到仓库2. 数据派生流程当核心数据发生变化时派生工作流.github/workflows/derive.yml会自动重新生成趋势数据更新索引文件触发前端部署3. 无数据库架构项目采用了一种创新的无数据库架构月份文件data/jobs/month.json本身就是数据集。这种设计简化了部署和维护同时保持了数据版本控制和可追溯性。 实际应用场景与价值1. 求职者视角高效搜索不再需要手动浏览数百条评论通过结构化字段快速找到匹配的职位薪资比较轻松比较不同公司、地点和职位的薪资水平趋势洞察了解哪些技术栈最热门哪些地区需求最大个性化提醒可以基于特定技术栈或薪资要求设置提醒2. 招聘者视角竞争分析了解市场薪资水平和竞争对手的招聘策略人才分布分析技术人才的地理分布和偏好职位优化根据市场反馈优化职位描述和福利待遇3. 研究者视角劳动力市场研究追踪技术就业市场的长期趋势技能需求分析识别新兴技术和过时技能地理经济分析研究技术中心的地理迁移模式️ 部署与自定义配置Hacker-job 支持灵活的部署选项1. LLM 配置项目默认使用本地 LM Studio 服务器但也支持配置为任何 OpenAI 兼容的 API# 环境变量配置 LLM_BASE_URLhttps://api.openai.com/v1 LLM_API_KEYyour-api-key LLM_MODELgpt-42. 本地开发开发者可以轻松地在本地运行整个系统git clone https://gitcode.com/gh_mirrors/ha/hacker-job cd frontend npm install npm run dev3. 自定义解析开发者可以根据需要修改scripts/extract.ts中的提示模板添加或调整提取的字段以适应特定的分析需求。 总结与展望Hacker-job 的 AI 解析引擎展示了如何将现代 LLM 技术应用于实际问题解决。通过将非结构化的文本数据转换为结构化信息项目不仅提供了实用的工具还创建了一个可扩展的数据处理框架。这个项目的成功证明了几个关键点LLM 的实用性大型语言模型不仅限于聊天和创作在数据提取和结构化方面同样强大开源协作的价值通过开源项目社区可以共同改进数据质量和解析准确性简单架构的力量无数据库、基于文件的设计降低了维护成本提高了可移植性随着 AI 技术的不断发展类似 Hacker-job 的项目将在更多领域发挥作用帮助我们从海量非结构化数据中提取有价值的信息。无论是求职者寻找理想工作还是研究者分析市场趋势这种 AI 驱动的数据转换工具都将变得越来越重要。如果你对技术职位市场感兴趣或者想要了解如何利用 AI 处理非结构化数据Hacker-job 项目提供了一个绝佳的起点和学习案例。通过探索其源代码和实现细节你可以深入了解现代 AI 应用开发的最佳实践。【免费下载链接】hacker-jobPlay with hackernews who is hiring项目地址: https://gitcode.com/gh_mirrors/ha/hacker-job创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考