Оптимизация промптов
Пишет, чинит или переносит системные промпты и промпты агентов по небольшому набору тестов: сравнивает варианты на одних случаях и проверяет лучший на отложенных. Для случаев, когда промпт ненадёжен, переезжает на другую модель или ему нужны тесты.
prompt-optimizer- Автор
- Sentry
- Источник
- getsentry/skills/skills/prompt-optimizer @ a582c51
- Лицензия
- Apache-2.0 · Copyright 2025 Functional Software, Inc. dba Sentry
Об этом скилле
Что делает
Скилл пишет, переписывает или переносит на другую модель промпт — системный, агентский или шаблонный, а также описания инструментов — и оценивает каждую правку на небольшом наборе тестовых случаев, а не на глаз. Сначала он фиксирует контракт: модель, слои промпта и их владельцев, цель, формат ответа, критерии успеха, случаи провала, жёсткие ограничения. Нет критериев или примеров — собирает набор случаев. Если дело на самом деле в модели, поиске контекста, схеме инструмента или в отсутствии тестов, говорит об этом до переписывания.
Файлы репозитория вроде AGENTS.md он указывает точными путями, а не вставляет. Устойчивые правила уходят в системные или developer-сообщения, данные задачи — в пользовательскую часть, у каждого правила один владелец. Цепочку рассуждений у модели скилл не просит никогда.
Оптимизация идёт циклом: базовый прогон на фиксированной выборке, группировка провалов по причинам, конкретные замечания к правке и два-четыре кандидата (минимальная починка, перестройка, вариант с упором на примеры, адаптер под провайдера). Кандидатов сравнивают на одних и тех же случаях, каждый раунд записывают в журнал, победителя проверяют на отложенных случаях, а цикл останавливают, когда рост кончился или началась подгонка под выборку. На выходе восемь частей: цель, критерии успеха, внешний контекст, сам промпт, заметки по адаптерам, набор случаев, журнал, остаточные риски.
Справочники подгружаются по задаче: core-patterns.md (слои, разметка, таблица «симптом — исправление»), meta-optimization-loop.md (сам цикл, пять-десять случаев плюс отложенный), model-family-notes.md (OpenAI, Claude, Gemini) и transformed-examples.md (три промпта «до» и «после»). В SOURCES.md — документация и статьи, на которых он построен, в SPEC.md — контракт для мейнтейнеров. Скриптов нет: кандидатов агент прогоняет своими инструментами.
Когда включать и когда не надо
Когда промпт в проде нестабилен, переезжает на другое семейство моделей или будет нужен другим.
Для разового вопроса это слишком тяжело. Написание скиллов и подбор одних параметров генерации в его задачи не входят.
Как поставить и вызвать
Команда установки ниже скачивает папку. Агент сам подхватывает скилл по описанию. Вызвать вручную:
- Claude Code:
/prompt-optimizerили попросить скилл по имени. - Codex:
$prompt-optimizer. - Cursor: наберите
/в чате Agent и выберитеprompt-optimizer.
Пример: /prompt-optimizer Промпт бота поддержки в одном ответе из пяти игнорирует правила возврата. Вот 8 диалогов — почини.
Чем отличается от похожих
Экономия на LLM из нашего каталога тоже сокращает промпты, но ради счёта. Выбор модели нужен там, где этот скилл лишь ставит диагноз: когда дело в самой модели. Тексты для агентов: скиллы и AGENTS.md и Скиллы по спецификации Agent Skills отвечают за скиллы и файлы AGENTS.md.
Установка
Выполните одну команду — она сохранит SKILL.md и файлы, которые он использует, в папку скиллов агента. Claude Code и Codex подхватывают новый скилл без перезапуска; если скилл не появился, перезапустите агента.
Скилл написан на английском — агент поймёт его и ответит вам по-русски.
curl -fsSL --create-dirs -o ~/.claude/skills/prompt-optimizer/SKILL.md https://anymodel.org/en/skills/sentry/prompt-optimizer/SKILL.md -o ~/.claude/skills/prompt-optimizer/LICENSE https://anymodel.org/en/skills/sentry/prompt-optimizer/LICENSE -o ~/.claude/skills/prompt-optimizer/SOURCES.md https://anymodel.org/en/skills/sentry/prompt-optimizer/SOURCES.md -o ~/.claude/skills/prompt-optimizer/SPEC.md https://anymodel.org/en/skills/sentry/prompt-optimizer/SPEC.md -o ~/.claude/skills/prompt-optimizer/references/core-patterns.md https://anymodel.org/en/skills/sentry/prompt-optimizer/references/core-patterns.md -o ~/.claude/skills/prompt-optimizer/references/meta-optimization-loop.md https://anymodel.org/en/skills/sentry/prompt-optimizer/references/meta-optimization-loop.md -o ~/.claude/skills/prompt-optimizer/references/model-family-notes.md https://anymodel.org/en/skills/sentry/prompt-optimizer/references/model-family-notes.md -o ~/.claude/skills/prompt-optimizer/references/transformed-examples.md https://anymodel.org/en/skills/sentry/prompt-optimizer/references/transformed-examples.md
curl -fsSL --create-dirs -o ~/.agents/skills/prompt-optimizer/SKILL.md https://anymodel.org/en/skills/sentry/prompt-optimizer/SKILL.md -o ~/.agents/skills/prompt-optimizer/LICENSE https://anymodel.org/en/skills/sentry/prompt-optimizer/LICENSE -o ~/.agents/skills/prompt-optimizer/SOURCES.md https://anymodel.org/en/skills/sentry/prompt-optimizer/SOURCES.md -o ~/.agents/skills/prompt-optimizer/SPEC.md https://anymodel.org/en/skills/sentry/prompt-optimizer/SPEC.md -o ~/.agents/skills/prompt-optimizer/references/core-patterns.md https://anymodel.org/en/skills/sentry/prompt-optimizer/references/core-patterns.md -o ~/.agents/skills/prompt-optimizer/references/meta-optimization-loop.md https://anymodel.org/en/skills/sentry/prompt-optimizer/references/meta-optimization-loop.md -o ~/.agents/skills/prompt-optimizer/references/model-family-notes.md https://anymodel.org/en/skills/sentry/prompt-optimizer/references/model-family-notes.md -o ~/.agents/skills/prompt-optimizer/references/transformed-examples.md https://anymodel.org/en/skills/sentry/prompt-optimizer/references/transformed-examples.md
foreach ($f in 'SKILL.md','LICENSE','SOURCES.md','SPEC.md','references/core-patterns.md','references/meta-optimization-loop.md','references/model-family-notes.md','references/transformed-examples.md') { $p = Join-Path "$HOME\.claude\skills\prompt-optimizer" $f; New-Item -ItemType Directory -Force (Split-Path $p) | Out-Null; Invoke-WebRequest "https://anymodel.org/en/skills/sentry/prompt-optimizer/$f" -UseBasicParsing -OutFile $p }foreach ($f in 'SKILL.md','LICENSE','SOURCES.md','SPEC.md','references/core-patterns.md','references/meta-optimization-loop.md','references/model-family-notes.md','references/transformed-examples.md') { $p = Join-Path "$HOME\.agents\skills\prompt-optimizer" $f; New-Item -ItemType Directory -Force (Split-Path $p) | Out-Null; Invoke-WebRequest "https://anymodel.org/en/skills/sentry/prompt-optimizer/$f" -UseBasicParsing -OutFile $p }Другой агент: сохраните файл в его папку скиллов или дайте ему ссылку на файл: https://anymodel.org/en/skills/sentry/prompt-optimizer/SKILL.md
SKILL.md
Prompt Optimizer
Optimize prompts with evals. Keep every instruction, example, and external context reference causal.
Load Only What You Need
| Need | Read |
|---|---|
| New prompt | references/core-patterns.md, references/model-family-notes.md, references/transformed-examples.md |
| Existing prompt | references/meta-optimization-loop.md, references/core-patterns.md, references/model-family-notes.md |
| Model-family port | references/model-family-notes.md, references/core-patterns.md |
| Repeated failures | references/meta-optimization-loop.md, references/core-patterns.md |
| Weak or ambiguous draft | references/transformed-examples.md |
| Provenance | SOURCES.md |
Step 1: Capture Contract
Record before editing:
- task type: new, refine, port, or debug
- target model family and snapshot, if known
- prompt surface:
system,developer,user, tool descriptions, examples, schemas - layer owners: platform, deployer/persona, retrieved context, user payload
- objective and non-goals
- inputs, tools, and external files available
- required output shape
- success criteria and failure cases
- hard constraints: latency, verbosity, safety, budget, tool use, style
If success criteria or examples are missing, create a small eval set first. If the bottleneck is model choice, retrieval, tool schema, or missing evals, say so before rewriting.
Step 2: Inventory External Context
For repo or agent prompts, list stable context by exact path:
| Context type | Examples |
|---|---|
| Agent rules | AGENTS.md, CLAUDE.md |
| Specs | specs/*.md, docs/api.md |
| Policies | SECURITY.md, docs/releasing.md |
| Examples | examples/, tests/fixtures/ |
Rules:
- Reference stable files by repo-relative path instead of copying them.
- Paste only excerpts needed for the prompt or eval case.
- Mark whether a file is
loaded,referenced, orout of scope. - Avoid vague context pointers such as "read the docs".
Step 3: Choose Model Strategy
Read references/model-family-notes.md.
- Known family: optimize for that family.
- Unknown family: write a portable base plus short adapter notes.
- Snapshot changes: rerun evals.
- Cross-family divergence: specialize only the failing layer.
Step 4: Shape Prompt
Read references/core-patterns.md.
- Put stable policy in
systemordeveloper. - Put task-local facts, retrieved context, and variables in user-facing sections.
- Keep one owner per behavior rule.
- Use headings or tags only to separate content types.
- Put tool policy in prompt text; keep schemas in provider-native tools.
- Keep persona light unless it changes behavior.
- Use the shortest wording that preserves the constraint.
- Cut filler, repeated reminders, dead examples, and rationale that does not affect evals.
Step 5: Optimize
Read references/meta-optimization-loop.md for refinements.
- Baseline the current prompt on the same eval slice.
- Cluster failures by root cause.
- Write concrete edit criticisms.
- Generate two to four candidates:
- minimal-diff repair
- structure-first rewrite
- examples-first or tool-rule variant
- provider adapter when needed
- Compare candidates on the same cases.
- Keep a short optimization log.
- Validate the winner on holdout cases.
- Stop on plateau, oscillation, overfit, excessive cost, or non-prompt bottleneck.
Step 6: Return Package
Return:
TargetSuccess CriteriaExternal ContextOptimized PromptAdapter NotesEval SetOptimization LogResidual Risks
For existing prompts, include a concise diff-style note of the main behavioral changes.
Failure Modes
- editing before defining the eval target
- mixing policy, examples, and raw context without boundaries
- duplicating rules across layers
- putting durable policy in user payloads
- asking for chain-of-thought
- keeping contradictory legacy instructions
- overfitting to one or two examples
- retaining examples that no longer improve evals
- fixing tool-use failures only in prompt text when tool descriptions or schemas are weak
- adding markup that does not reduce ambiguity
- using persona as a substitute for behavior rules
Подключить через AnyModel API
Скилл работает на той модели, которую использует агент. Подключите Claude Code, Codex или Cursor к AnyModel и запускайте его на Claude, GPT, Gemini и других моделях по одному ключу — оплата за токены, без подписки.
AnyModel