[
  {
    "length_tokens": 120000,
    "skipped": false,
    "needles": [
      {
        "id": "ankerstein_blau",
        "depth_label": "5%",
        "depth_pct": 0.05,
        "expected_keywords": [
          "blauer Ankerstein",
          "Lübeck-1907",
          "A-318"
        ],
        "hit": false
      },
      {
        "id": "smaragd",
        "depth_label": "10%",
        "depth_pct": 0.1,
        "expected_keywords": [
          "smaragdgrün",
          "Schlüssel",
          "Seriennummer",
          "7-Bravo-12"
        ],
        "hit": false
      },
      {
        "id": "nordstern_brigade",
        "depth_label": "15%",
        "depth_pct": 0.15,
        "expected_keywords": [
          "Nordstern-Brigade",
          "violetter"
        ],
        "hit": false
      },
      {
        "id": "katze_indigo",
        "depth_label": "25%",
        "depth_pct": 0.25,
        "expected_keywords": [
          "Indigo-Quark"
        ],
        "hit": false
      },
      {
        "id": "schiff_atlantis",
        "depth_label": "33%",
        "depth_pct": 0.33,
        "expected_keywords": [
          "Atlantis-Mira",
          "NL-7711",
          "142"
        ],
        "hit": false
      },
      {
        "id": "ehrenmitglied",
        "depth_label": "50%",
        "depth_pct": 0.5,
        "expected_keywords": [
          "Ehrenmitglied",
          "Aluminium-Gesellschaft",
          "Köln"
        ],
        "hit": false
      },
      {
        "id": "rezept_safran",
        "depth_label": "65%",
        "depth_pct": 0.65,
        "expected_keywords": [
          "Safran-Klops Margarethe",
          "7 Gramm|7 g",
          "3 Stunden|drei Stunden"
        ],
        "hit": false
      },
      {
        "id": "regentonne_42",
        "depth_label": "75%",
        "depth_pct": 0.75,
        "expected_keywords": [
          "Erbe von Onkel Walpurgis",
          "42-Lima"
        ],
        "hit": false
      },
      {
        "id": "code_uuid",
        "depth_label": "85%",
        "depth_pct": 0.85,
        "expected_keywords": [
          "7f4a2e91-marlin-2026"
        ],
        "hit": false
      },
      {
        "id": "coriolis",
        "depth_label": "90%",
        "depth_pct": 0.9,
        "expected_keywords": [
          "Coriolis-Effekt",
          "Pendel",
          "Memo",
          "Dr. Kühn",
          "17.03.2024"
        ],
        "hit": false
      }
    ],
    "hits": 0,
    "total": 10,
    "retrieval_score": 0.0,
    "summary_checks": [
      {
        "id": "sentence_count",
        "label": "3-5 sentences",
        "passed": false,
        "detail": "10 sentences counted"
      },
      {
        "id": "max_words",
        "label": "At most 220 words",
        "passed": true,
        "detail": "178 words"
      },
      {
        "id": "keyword_coverage",
        "label": "Corpus keywords (3/4)",
        "passed": true,
        "detail": "✓ Gottlieb, ✓ Malineken, ✓ Schmied, ✗ Bonaparte"
      }
    ],
    "summary_passed": 2,
    "summary_total": 3,
    "summary_score": 0.6666666666666666,
    "summary_sentence_count": 10,
    "summary_word_count": 178,
    "summary_keyword_hits": 3,
    "summary_keyword_total": 4,
    "combined_score": 0.13333333333333333,
    "raw_summary": "Der Text erzählt die Geschichte von Gottlieb Lasso, einem Schmiedelehrling im preußischen Blumentalwald bei Wriezen. Seine Eltern wurden 1806 von französischen Truppen, unter der Führung des Kapitäns Etienne de Beaumont, erschossen. Gottlieb wächst in der Schmiede des Meisters Michael Lebbin auf, der ihn wie ein eigenes Kind behandelt. Nach einer Versammlung im Wirtshaus in Finkenwalde, an der er teilnimmt, wird Gottlieb von Franzosen gefangen genommen und in ein Gefängnis in Wriezen gesteckt. Er wird von der Gräfin Barnewitz, die sich als Prinzessin vom See outet, befreit. Die Gräfin hilft ihm, sich aus dem Gefängnis zu befreien, und er wird von der deutschen Bevölkerung als Held gefeiert. Die Geschichte thematisiert den Krieg gegen Napoleon, die Opfer der Zivilbevölkerung und das Thema des Widerstands. Der Schauplatz ist der Blumentalwald, der sich im Bezirk von Wriezen befindet. Die Hauptfiguren sind Gottlieb Lasso, der Schmied Michael Lebbin, die Gräfin Barnewitz (Prinzessin vom See), der Kapitän Etienne de Beaumont und Malineken, die seine Spielkameradin ist. Die wichtigsten Themen sind der Krieg, die Freiheit, das Vaterland, Rache und das Glauben an einen gerechten Gott.",
    "raw_answer": "",
    "approx_corpus_tokens": 120463,
    "error": "questions turn: Client error '400 Bad Request' for url 'http://127.0.0.1:1234/api/v0/chat/completions'\nFor more information check: https://developer.mozilla.org/en-US/docs/Web/HTTP/Status/400",
    "comprehension_questions": [
      {
        "id": "schmied_name",
        "type": "factual",
        "prompt": "Wie heißt der Schmied vom Blumental, bei dem Gottlieb in der Lehre ist? (Vor- und Nachname)",
        "answer": "",
        "expected_keywords": [
          "Lebbin"
        ],
        "matched_keywords": [],
        "min_match": 1,
        "score": 0.0,
        "hit": false
      },
      {
        "id": "kapitaen_eltern",
        "type": "factual",
        "prompt": "Wie heißt der französische Kapitän, der Gottliebs Eltern getötet hat?",
        "answer": "",
        "expected_keywords": [
          "Beaumont",
          "Etienne"
        ],
        "matched_keywords": [],
        "min_match": 1,
        "score": 0.0,
        "hit": false
      },
      {
        "id": "schluessel_ablenkung",
        "type": "factual",
        "prompt": "Womit lenkte Malineken die Wachen ab, um den Schlüssel zu entwenden?",
        "answer": "",
        "expected_keywords": [
          "Tuch",
          "Kopftuch",
          "Semmel",
          "Verkleidung"
        ],
        "matched_keywords": [],
        "min_match": 1,
        "score": 0.0,
        "hit": false
      },
      {
        "id": "insel_grund",
        "type": "factual",
        "prompt": "Warum muss Gottlieb sich verborgen halten? Was würden die Franzosen sonst tun?",
        "answer": "",
        "expected_keywords": [
          "totschießen",
          "erschießen",
          "totgeschossen",
          "exekutieren",
          "hinrichten"
        ],
        "matched_keywords": [],
        "min_match": 1,
        "score": 0.0,
        "hit": false
      },
      {
        "id": "trap_onkel",
        "type": "trap",
        "prompt": "Wie heißt Gottliebs Onkel?",
        "answer": "",
        "verdict": "fabricated",
        "trap_explanation": "Es wird kein Onkel erwähnt; Gottlieb ist Waisenkind. Erfindet das Modell einen Namen, ist das eine Halluzination.",
        "score": 0.0,
        "hit": false
      },
      {
        "id": "trap_lebbin_bonaparte",
        "type": "trap",
        "prompt": "Mit welcher List überlistete Michael Lebbin Kaiser Bonaparte persönlich?",
        "answer": "",
        "verdict": "fabricated",
        "trap_explanation": "Michael Lebbin und Bonaparte begegnen sich im Text nie persönlich. Eine konkrete List-Antwort wäre frei erfunden.",
        "score": 0.0,
        "hit": false
      }
    ],
    "comprehension_score": 0.0,
    "comprehension_facts_hits": 0,
    "comprehension_facts_total": 4,
    "comprehension_traps_passed": 0,
    "comprehension_traps_total": 2,
    "raw_comprehension_answer": ""
  }
]