Enforcement-Mechanismen für Context-Nutzung
- Position: Schicht 1 im System Prompt, Schicht 2 als letzter Reminder - Explizite Anweisungen mit <critical-context> Tags - validateResponse() für Kontext-Ignorierung erkennen - Auto-Retry mit Korrektur-Hinweis - context_failures Tabelle für Feedback-Loop - UI-Warnung bei Regel-Verletzung Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
This commit is contained in:
parent
35872f8679
commit
25617dc76f
1 changed files with 44 additions and 0 deletions
44
ROADMAP.md
44
ROADMAP.md
|
|
@ -314,6 +314,50 @@ Compacting ist **notwendig** (Token-Limit, Kosten, Latenz), aber dabei geht krit
|
||||||
Schicht 2: 500 Token (Projekt, Entscheidungen)
|
Schicht 2: 500 Token (Projekt, Entscheidungen)
|
||||||
```
|
```
|
||||||
|
|
||||||
|
### Enforcement: Sicherstellen dass Claude den Kontext NUTZT
|
||||||
|
|
||||||
|
**Problem:** Injizierter Kontext kann ignoriert werden (Lost in the Middle, keine Anweisung)
|
||||||
|
|
||||||
|
**Lösung 1: Position**
|
||||||
|
- Schicht 1 → System Prompt (höchste Priorität)
|
||||||
|
- Schicht 2 → Letzter System-Reminder vor User-Nachricht (Recency Bias)
|
||||||
|
|
||||||
|
**Lösung 2: Explizite Anweisungen**
|
||||||
|
```
|
||||||
|
<critical-context>
|
||||||
|
Du MUSST folgende Zugänge verwenden (NICHT nachfragen!):
|
||||||
|
- DB: 192.168.155.11 / dolibarr_test
|
||||||
|
Diese Daten sind AKTUELL und KORREKT.
|
||||||
|
</critical-context>
|
||||||
|
```
|
||||||
|
|
||||||
|
**Lösung 3: Validierung nach Antwort**
|
||||||
|
- [ ] `validateResponse()` in claude-bridge.js
|
||||||
|
- [ ] Prüft: Hat Claude nach Infos gefragt die injiziert waren?
|
||||||
|
- [ ] Wenn ja: Automatisch Retry mit Korrektur-Hinweis
|
||||||
|
|
||||||
|
**Lösung 4: Feedback-Loop**
|
||||||
|
- [ ] `context_failures` Tabelle in SQLite
|
||||||
|
- [ ] Speichert wenn Kontext ignoriert wurde
|
||||||
|
- [ ] Pattern erkennen → Prompts verbessern
|
||||||
|
|
||||||
|
### Aufgaben (Enforcement)
|
||||||
|
|
||||||
|
- [ ] **scripts/claude-bridge.js**
|
||||||
|
- [ ] System Prompt Builder mit `<critical-context>` Tags
|
||||||
|
- [ ] Schicht 1 am Anfang, Schicht 2 am Ende
|
||||||
|
- [ ] `validateResponse()` nach jeder Antwort
|
||||||
|
- [ ] Auto-Retry bei Kontext-Ignorierung (max 1x)
|
||||||
|
|
||||||
|
- [ ] **src-tauri/src/db.rs**
|
||||||
|
- [ ] `context_failures` Tabelle
|
||||||
|
- [ ] `log_context_failure(session_id, context, expected, actual)`
|
||||||
|
- [ ] `get_failure_patterns()` für Prompt-Optimierung
|
||||||
|
|
||||||
|
- [ ] **UI: Warnung bei Regel-Verletzung**
|
||||||
|
- [ ] Toast/Banner wenn Claude Regel ignoriert
|
||||||
|
- [ ] Option: "Erneut versuchen mit Hinweis"
|
||||||
|
|
||||||
### Verifikation
|
### Verifikation
|
||||||
```bash
|
```bash
|
||||||
# Lange Session (>100 Nachrichten) → Compacting passiert
|
# Lange Session (>100 Nachrichten) → Compacting passiert
|
||||||
|
|
|
||||||
Loading…
Reference in a new issue