Qwen2.5-VL-32B：更智能、更轻

Posted on 2025-03-25

Qwen2.5-VL-32B：更智能、更轻

今天来自中国的第二个大型公开权重 LLM 发布 – 第一个是DeepSeek v3-0324 。

Qwen之前的视觉型号是Qwen2.5 VL，于1月份发布，有3B、7B和72B尺寸。

今天的 Apache 2.0 许可版本是 32B 模型，它很快成为我个人最喜欢的模型大小 – 大到足以拥有 GPT-4 级功能，但又足够小，在我的 64GB Mack 上仍然有足够的 RAM 来运行其他需要大量内存的应用程序，如 Firefox 和 VS Code。

Qwen 声称，新模型（与之前的 2.5 VL 系列相比）可以“更符合人类偏好”，更擅长“数学推理”，并“在图像解析、内容识别和视觉逻辑推导等任务中提供更高的准确性和详细分析”。

他们还提供了一些可能经过精心挑选的基准测试结果，显示其性能优于 Gemma 3-27B、Mistral Small 3.1 24B 和 GPT-4o-0513（自那之后又发布了两个最新的 GPT-4o 版本，即 2024 年 8 月 16 日和 2024 年 11 月 20 日）。

与往常一样，Prince Canuma 在发布后数小时内就推出了 MLX 版本的模型，包括4 位、 6 位、 8 位和bf16变体。

我使用uv和 Prince 的mlx-vlm运行 4 位版本（18GB 模型下载），如下所示：

 uv run --with ' numpy<2 ' --with mlx-vlm \   python -m mlx_vlm.generate \     --model mlx-community/Qwen2.5-VL-32B-Instruct-4bit \     --最大令牌 1000 \     --温度0.0 \     --prompt “描述这个图像。 ” \     --image Mpaboundrycdfw-1.png

这是图片：

地图图像，如下所述

这是最终的描述，我发现它非常令人印象深刻：

该图像似乎是一张地图，根据地理特征和地名突出显示了海岸线沿线的特定区域（可能位于加利福尼亚州）。以下是该图像的详细描述：

  1. 地理特征：

    • 地图显示了一段海岸线，右侧是陆地，左侧是海洋。
    • 如右上角所示，土地面积包括圣马特奥县的部分地区。
    • 海岸线上有多个命名地点，包括：
      • 蒙塔拉角
      • 支柱点
      • 国王摇滚
      • 文森特溪
      • 丹尼斯顿溪
      • 州立海滩

  2. 重点领域：

    • 该地图包含两个用不同颜色标记的不同区域：
      • 红色区域（顶部）
        • 标记为“MONTARA”和“MONTARA MR”（可能指“海洋保护区”或类似保护区）。
        • 该区域以深红色为标志，从海岸线向内陆延伸。
      • 蓝色区域（底部）
        • 标记为“PILLAR”和“PILLAR POINT”以及“SMCA”（特别管理区域）。
        • 该区域用蓝色标记，靠近海岸线，包括“望后石”周围的区域。

  3. 深度轮廓：

    • 该地图包括海洋中的深度标记，指示测深特征：
      • 20噚 (fm) 线标记在海面的左上方。
      • 10 噚 (fm) 线标记为更靠近海岸线。
      • 30噚 (fm) 线标记在离海更远的地方。

  4. 其他特点：

    • 州立海滩：标记在右上角附近，表示受保护的休闲区。
    • 国王岩：海岸线附近的一个显着特征，可能是岩石露头。
    • 溪流：地图显示了几条流入大海的溪流，包括VicenteCreek和DennistonCreek 。

  5. 保护区：

    • 该地图突出显示了特定的保护区：
      • 海洋保护区：
        • 红色“MONTARA MR”（海洋保护区）。
      • 特别管理区 (SMCA)
        • 蓝色的“PILLAR POINT”，表示特别管理区。

  6. 网格和坐标：

    • 该地图包括带有纬度和经度标记的网格：
      • 纬度范围约为北纬 37°25′ 至北纬 37°35’。
      • 经度范围约为西经 122°22.5′ 至西经 122°35.5’。

  7. 地形：

    • 土地区域显示地形特征，包括海拔和植被，绿色区域表示海拔较高或有植被的土地。

  8. 其他标签：

    • “SMR” ：可能代表“国家管理储备”。
    • “SMCA” ：可能代表“特殊管理控制区”。

总之，这张地图突出显示了海岸线沿线的特定保护区，包括红色的“海洋保护区”区域和“望后石”附近的蓝色“特别管理区域”。该地图还包括深度标记、地理特征和地名，提供了该地区自然和保护区的详细视图。

它包括以下运行时统计信息：

 Prompt: 1051 tokens, 111.985 tokens-per-sec Generation: 760 tokens, 17.328 tokens-per-sec Peak memory: 21.110 GB

标签：视觉 LLMS 、 LLM 发布、生成 AI 、 AI 、 qwen 、 LLMS 、 UV 、 MLX 、 Prince-canuma

原文： https://simonwillison.net/2025/Mar/24/qwen25-vl-32b/#atom-everything