DeepEyes

DeepEyes是一款由小红书与西安交通大学联合研发的多模态视觉-语言模型，旨在实现“用图思考”的能力。该模型通过端到端的强化学习训练，使模型能够在推理过程中动态调用图像信息，增强对细节的感知与理解，从而提升多模态推理能力。

🚀 怎么使用？

用户可以通过以下方式使用 DeepEyes：

1. 访问在线演示平台：通过官方提供的在线 DEMO 页面，体验模型的多模态推理能力。

2. 调用 API 接口：开发者可以申请 API 调用权限，将 DeepEyes 集成到自己的应用中。

3. 本地部署：对于有数据安全需求的企业或机构，可以选择将模型私有化部署。

✨ 主要功能

• 用图思考：模型能够在推理过程中动态调用图像信息，增强对细节的感知与理解。

• 视觉搜索：在高分辨率图像中快速定位小物体或模糊区域，提升搜索准确率。

• 幻觉缓解：通过聚焦图像细节，减少模型在生成回答时可能出现的幻觉现象，提升回答的准确性和可靠性。

• 多模态推理：实现视觉和文本推理之间的无缝融合，提升模型在复杂任务中的推理能力。

• 动态工具调用：模型能自主决定何时调用图像工具，如裁剪、缩放等，无需外部工具支持，实现更高效、更准确的推理。

⚙️ 技术原理

• 端到端强化学习：DeepEyes 使用端到端的强化学习方法训练模型，无需冷启动监督微调（SFT），基于奖励信号直接优化模型的行为。

• 交错多模态思维链（iMCoT）：引入交错多模态思维链，支持模型在推理过程中动态地交替使用视觉和文本信息。

• 工具使用导向的数据选择：训练数据经过精心筛选，确保样本有效促进模型的工具调用能力，提升模型的泛化能力。

🛠 应用场景

🔗 项目地址

• GitHub 项目地址：https://github.com/Visual-Agent/DeepEyes

• 官方演示平台：https://ai-bot.cn/deepeyes/

❓ 常见问题（FAQ）

1. DeepEyes 是否开源？
是的，DeepEyes 的代码已在 GitHub 上开源，开发者可以自由使用和修改。

2. 如何训练自己的模型？
可以参考官方提供的训练脚本和文档，使用自己的数据集进行模型训练和微调。

3. 是否支持多语言？
目前主要支持中文，未来可能会扩展到其他语言。

4. 对硬件有何要求？
建议使用具备较强计算能力的 GPU 服务器，以满足模型的训练和推理需求。

5. 是否适合商业应用？
DeepEyes 具有强大的多模态推理能力，适合在教育、医疗、制造等多个领域的商业应用。