Open Weight Bench

Diagram → SVG

Photo of a hand-drawn diagram (architecture, flowchart, sequence, quadrant) → model emits inline SVG. Original and render sit side-by-side; an LLM judge rates visual fidelity.

Task & test logic in detail
Task: Photo of a hand-drawn diagram (architecture, sequence, quadrant matrix) → model must produce an inline-SVG representation of the same diagram. Two score signals: (1) Deterministic — SVG is parseable, has an <svg> root, enough elements and at least one <text>; all expected terms (boxes, labels) appear in the text content. Validity and term coverage each count for 15% of the final score. (2) Qualitative — the `diagram-svg-judge` skill screenshots the SVG and visually compares it to the original along fixed axes (completeness, connections, arrow direction, grouping, layout readability, diagram-type fidelity, aesthetics). The judge counts 70%; aesthetics is double-weighted within the judge. Why models fail: SVG generation requires spatial reasoning (positioning boxes, computing paths, setting viewBox) — noticeably harder than declarative Mermaid syntax. Weak VLMs often produce only an empty <svg> or an element salad without topology.
Prompt
System prompt
Du bist Spezialist für Diagramm-Erkennung und SVG. Du gibst sauberes, parsbares SVG zurück, das jeder Browser ohne externe Ressourcen rendern kann.
Developer prompt
Auf dem Bild siehst du ein Diagramm (Architektur, Flowchart, Sequenz, Quadrant o.ä.). Erstelle eine SVG-Repräsentation des Diagramms.

Anforderungen:
- Antworte ausschließlich mit dem rohen SVG-Code, beginnend mit <svg ...> und endend mit </svg>. Keine Erklärungen, keine Markdown-Fences.
- Setze ein viewBox-Attribut (z.B. viewBox="0 0 1200 800"), damit das Bild skaliert.
- Nur Inline-Inhalt, keine externen Referenzen (kein <image href>, kein @import, kein xlink:href auf URLs).
- Alle im Diagramm sichtbaren Beschriftungen müssen als <text>-Elemente vorhanden und lesbar (Font-Size ≥ 12) sein.
- Verbindungen als <line>, <polyline> oder <path> mit deutlichem stroke. Pfeilspitzen via <marker>.
- Gruppiere zusammengehörige Teile mit <g>-Tags und sinnvollen id-Attributen.
- Wähle ausreichend Kontrast: dunkler Stroke auf weißem/hellem Hintergrund.
- Vermeide Überlappungen — plane das Layout so, dass Boxen nicht über Pfeilen liegen und Texte nicht aus ihren Boxen herausragen.
- Behalte die Struktur des Originals bei: Anzahl der Boxen, ihre Verbindungen und ihre Anordnung sollen vergleichbar sein.

Wall-time vs. quality

X = wall-time for this bench · Y = score (0–100 %) in this bench. Optimum is top-left — fast and good. RAM estimate for 64k context: 4 GB system + model weights + max(2 GB, 40% of weights) for KV cache.

Colour = vendor · Number = total parameters (B) dense MoE

0% 25% 50% 75% 100% 0s 180s 360s 540s 720s Wall-time (s) → Score 27 35 26 31 35 26 9 9 35 9 8 8 30 12 122 5 27 5 14 4 9 30 30 4 8 4 2
Models in this bench
27 visible
  1. 1. qwen3.6-27b gguf 4bit 91% · 689s · 21 t/s · 27 GB
  2. 2. qwen3.5-35b-a3b gguf 4bit 87% · 261s · 77 t/s · 33 GB
  3. 3. gemma-4-26b-a4b gguf 8bit 87% · 265s · 72 t/s · 41 GB
  4. 4. gemma-4-31b gguf 4bit 84% · 710s · 20 t/s · 30 GB
  5. 5. qwen3.6-35b-a3b gguf 8bit 84% · 236s · 67 t/s · 53 GB
  6. 6. gemma-4-26b-a4b gguf 4bit 82% · 172s · 89 t/s · 27 GB
  7. 7. qwen3.5-9b gguf 4bit 82% · 246s · 58 t/s · 13 GB
  8. 8. qwen3.5-9b gguf 8bit 81% · 295s · 44 t/s · 18 GB
  9. 9. qwen3.6-35b-a3b gguf 4bit 80% · 187s · 80 t/s · 33 GB
  10. 10. qwen3.5-9b-mlx mlx 4bit 75% · 216s · 83 t/s · 12 GB
  11. 11. qwen3-vl-8b mlx 4bit 75% · 122s · 76 t/s · 12 GB
  12. 12. gemma-4-e4b gguf 8bit 74% · 154s · 67 t/s · 16 GB
  13. 13. nemotron-3-nano-omni gguf 8bit 64% · 313s · 76 t/s · 50 GB
  14. 14. gemma-3-12b mlx 4bit 61% · 101s · 56 t/s · 15 GB
  15. 15. qwen3.5-122b-a10b gguf 4bit 60% · 563s · 39 t/s · 102 GB
  16. 16. gemma-4-e2b gguf 8bit 59% · 67s · 110 t/s · 12 GB
  17. 17. gemma-3-27b mlx 4bit 57% · 188s · 27 t/s · 26 GB
  18. 18. gemma-4-e2b gguf 4bit 55% · 74s · 129 t/s · 10 GB
  19. 19. ministral-3-14b-reasoning gguf 4bit 49% · 136s · 47 t/s · 16 GB
  20. 20. qwen3.5-4b gguf 4bit 49% · 180s · 85 t/s · 9 GB
  21. 21. glm-4.6v-flash mlx 4bit 47% · 288s · 62 t/s · 13 GB
  22. 22. qwen3-vl-30b mlx 4bit 46% · 247s · 74 t/s · 28 GB
  23. 23. nemotron-3-nano-omni gguf 4bit 46% · 370s · 84 t/s · 38 GB
  24. 24. gemma-3-4b mlx 4bit 41% · 42s · 140 t/s · 9 GB
  25. 25. gemma-4-e4b gguf 4bit 22% · 127s · 88 t/s · 12 GB
  26. 26. gemma-3n-e4b mlx 4bit 21% · 69s · 79 t/s · 12 GB
  27. 27. qwen3.5-2b gguf 4bit 0% · 232s · 160 t/s · 8 GB
Model Vendor Quant Ctx Released RAM tok/s Tokens Wall Score
qwen3.6-27b qwen gguf 4bit 256k 2026-04-21 16.3 GB 21 14143 689.4 s 91%
qwen3.5-35b-a3b qwen gguf 4bit 256k 2026-02-24 20.6 GB 77 19545 261.3 s 87%
gemma-4-26b-a4b google gguf 8bit 256k 2026-03-12 26.1 GB 72 18770 264.8 s 87%
gemma-4-31b google gguf 4bit 256k 2026-03-12 18.5 GB 20 14194 709.7 s 84%
qwen3.6-35b-a3b qwen gguf 8bit 256k 2026-04-15 35.2 GB 67 15351 236.3 s 84%
gemma-4-26b-a4b google gguf 4bit 256k 2026-03-12 16.8 GB 89 12516 171.7 s 82%
qwen3.5-9b qwen gguf 4bit 256k 2026-02-27 6.1 GB 58 13623 245.6 s 82%
qwen3.5-9b qwen gguf 8bit 256k 2026-02-27 9.7 GB 44 12468 295.1 s 81%
qwen3.6-35b-a3b qwen gguf 4bit 256k 2026-04-15 20.6 GB 80 14263 186.9 s 80%
qwen3.5-9b-mlx mlx-community mlx 4bit 256k 2026-02-27 5.6 GB 83 16980 215.7 s 75%
qwen3-vl-8b qwen mlx 4bit 256k 2025-10-11 5.4 GB 76 7617 122.5 s 75%
gemma-4-e4b google gguf 8bit 128k 2026-03-02 8.4 GB 67 10182 154.1 s 74%
nemotron-3-nano-omni nvidia gguf 8bit 256k 2026-04-20 32.8 GB 76 23586 313.2 s 64%
gemma-3-12b google mlx 4bit 128k 2025-03-01 7.5 GB 56 5295 101.3 s 61%
qwen3.5-122b-a10b lmstudio-community gguf 4bit 256k 2026-02-24 70.0 GB 39 20840 563.3 s 60%
gemma-4-e2b google gguf 8bit 128k 2026-03-02 5.5 GB 110 7252 67.1 s 59%
gemma-3-27b google mlx 4bit 128k 2025-03-01 15.7 GB 27 4775 187.7 s 57%
gemma-4-e2b google gguf 4bit 128k 2026-03-02 4.1 GB 129 9445 74.5 s 55%
ministral-3-14b-reasoning mistralai gguf 4bit 256k 2025-10-31 8.5 GB 47 5985 136.5 s 49%
qwen3.5-4b lmstudio-community gguf 4bit 256k 2026-03-02 3.2 GB 85 14725 179.9 s 49%
glm-4.6v-flash zai-org mlx 4bit 128k 2025-12-07 6.6 GB 62 16422 287.9 s 47%
qwen3-vl-30b qwen mlx 4bit 256k 2025-10-04 17.0 GB 74 17043 246.8 s 46%
nemotron-3-nano-omni nvidia gguf 4bit 256k 2026-04-20 24.3 GB 84 30982 370.2 s 46%
gemma-3-4b google mlx 4bit 128k 2025-02-20 2.8 GB 140 5359 42.0 s 41%
gemma-4-e4b google gguf 4bit 128k 2026-03-02 5.9 GB 88 10954 126.5 s 22%
gemma-3n-e4b google mlx 4bit 32k 2025-06-03 5.5 GB 79 5251 68.6 s 21%
qwen3.5-2b lmstudio-community gguf 4bit 256k 2026-03-02 1.8 GB 160 36000 232.2 s 0% preliminary
gemma-4-31b google gguf 8bit 256k 2026-03-12 — 0 — 0.0 s —
qwen3.6-27b qwen gguf 8bit 256k 2026-04-21 — 0 — 0.0 s —

Click a row to open the model detail page. Hover shows available render previews. Column headers are sortable.