LLaVA 系列多维度对比

LLaVA 系列多维度对比一、先用大白话理解：LLaVA 到底是什么？LLaVA 的全称是Large Language and Vision Assistant（大型语言与视觉助手）。你可以把它理解成一个“能看图、能聊天” 的 AI，学名叫多模态大模型（VLM / LMM，Vision-Language / Large Multimodal Model）。它解决的核心问题是：2023 年之前，大语言模型（如 LLaMA、GPT）只能读文字，看不懂图片。LLaVA 把"眼睛"接到了语言模型上。它的身体由三部分拼成图片 (Image) │ ▼ ┌──────────────┐ │ 视觉编码器 │ ViT（Vision Transformer） │ (眼睛) │ 把图片压成一串"视觉特征向量" └──────────────┘ │ 特征向量 ▼ ┌──────────────┐ │ 投影器/连接器 │ Projector（常是一个小 MLP 或 Q-Former） │ (翻译官) │ 把"视觉语言"翻译成"文字模型能懂的语言" └──────────────┘ │ 对齐后的向量 ▼