Оптимизация промптов

Пишет, чинит или переносит системные промпты и промпты агентов по небольшому набору тестов: сравнивает варианты на одних случаях и проверяет лучший на отложенных. Для случаев, когда промпт ненадёжен, переезжает на другую модель или ему нужны тесты.

Модели и APIПак: Скиллы Sentry122 строкиprompt-optimizer
Автор
Источник
getsentry/skills/skills/prompt-optimizer @ a582c51
Лицензия
Apache-2.0 · Copyright 2025 Functional Software, Inc. dba Sentry

Об этом скилле

Что делает

Скилл пишет, переписывает или переносит на другую модель промпт — системный, агентский или шаблонный, а также описания инструментов — и оценивает каждую правку на небольшом наборе тестовых случаев, а не на глаз. Сначала он фиксирует контракт: модель, слои промпта и их владельцев, цель, формат ответа, критерии успеха, случаи провала, жёсткие ограничения. Нет критериев или примеров — собирает набор случаев. Если дело на самом деле в модели, поиске контекста, схеме инструмента или в отсутствии тестов, говорит об этом до переписывания.

Файлы репозитория вроде AGENTS.md он указывает точными путями, а не вставляет. Устойчивые правила уходят в системные или developer-сообщения, данные задачи — в пользовательскую часть, у каждого правила один владелец. Цепочку рассуждений у модели скилл не просит никогда.

Оптимизация идёт циклом: базовый прогон на фиксированной выборке, группировка провалов по причинам, конкретные замечания к правке и два-четыре кандидата (минимальная починка, перестройка, вариант с упором на примеры, адаптер под провайдера). Кандидатов сравнивают на одних и тех же случаях, каждый раунд записывают в журнал, победителя проверяют на отложенных случаях, а цикл останавливают, когда рост кончился или началась подгонка под выборку. На выходе восемь частей: цель, критерии успеха, внешний контекст, сам промпт, заметки по адаптерам, набор случаев, журнал, остаточные риски.

Справочники подгружаются по задаче: core-patterns.md (слои, разметка, таблица «симптом — исправление»), meta-optimization-loop.md (сам цикл, пять-десять случаев плюс отложенный), model-family-notes.md (OpenAI, Claude, Gemini) и transformed-examples.md (три промпта «до» и «после»). В SOURCES.md — документация и статьи, на которых он построен, в SPEC.md — контракт для мейнтейнеров. Скриптов нет: кандидатов агент прогоняет своими инструментами.

Когда включать и когда не надо

Когда промпт в проде нестабилен, переезжает на другое семейство моделей или будет нужен другим.

Для разового вопроса это слишком тяжело. Написание скиллов и подбор одних параметров генерации в его задачи не входят.

Как поставить и вызвать

Команда установки ниже скачивает папку. Агент сам подхватывает скилл по описанию. Вызвать вручную:

  • Claude Code: /prompt-optimizer или попросить скилл по имени.
  • Codex: $prompt-optimizer.
  • Cursor: наберите / в чате Agent и выберите prompt-optimizer.

Пример: /prompt-optimizer Промпт бота поддержки в одном ответе из пяти игнорирует правила возврата. Вот 8 диалогов — почини.

Чем отличается от похожих

Экономия на LLM из нашего каталога тоже сокращает промпты, но ради счёта. Выбор модели нужен там, где этот скилл лишь ставит диагноз: когда дело в самой модели. Тексты для агентов: скиллы и AGENTS.md и Скиллы по спецификации Agent Skills отвечают за скиллы и файлы AGENTS.md.

Установка

Выполните одну команду — она сохранит SKILL.md и файлы, которые он использует, в папку скиллов агента. Claude Code и Codex подхватывают новый скилл без перезапуска; если скилл не появился, перезапустите агента.

Скилл написан на английском — агент поймёт его и ответит вам по-русски.

Claude Code — macOS, Linux
curl -fsSL --create-dirs -o ~/.claude/skills/prompt-optimizer/SKILL.md https://anymodel.org/en/skills/sentry/prompt-optimizer/SKILL.md -o ~/.claude/skills/prompt-optimizer/LICENSE https://anymodel.org/en/skills/sentry/prompt-optimizer/LICENSE -o ~/.claude/skills/prompt-optimizer/SOURCES.md https://anymodel.org/en/skills/sentry/prompt-optimizer/SOURCES.md -o ~/.claude/skills/prompt-optimizer/SPEC.md https://anymodel.org/en/skills/sentry/prompt-optimizer/SPEC.md -o ~/.claude/skills/prompt-optimizer/references/core-patterns.md https://anymodel.org/en/skills/sentry/prompt-optimizer/references/core-patterns.md -o ~/.claude/skills/prompt-optimizer/references/meta-optimization-loop.md https://anymodel.org/en/skills/sentry/prompt-optimizer/references/meta-optimization-loop.md -o ~/.claude/skills/prompt-optimizer/references/model-family-notes.md https://anymodel.org/en/skills/sentry/prompt-optimizer/references/model-family-notes.md -o ~/.claude/skills/prompt-optimizer/references/transformed-examples.md https://anymodel.org/en/skills/sentry/prompt-optimizer/references/transformed-examples.md
Codex, Cursor — macOS, Linux
curl -fsSL --create-dirs -o ~/.agents/skills/prompt-optimizer/SKILL.md https://anymodel.org/en/skills/sentry/prompt-optimizer/SKILL.md -o ~/.agents/skills/prompt-optimizer/LICENSE https://anymodel.org/en/skills/sentry/prompt-optimizer/LICENSE -o ~/.agents/skills/prompt-optimizer/SOURCES.md https://anymodel.org/en/skills/sentry/prompt-optimizer/SOURCES.md -o ~/.agents/skills/prompt-optimizer/SPEC.md https://anymodel.org/en/skills/sentry/prompt-optimizer/SPEC.md -o ~/.agents/skills/prompt-optimizer/references/core-patterns.md https://anymodel.org/en/skills/sentry/prompt-optimizer/references/core-patterns.md -o ~/.agents/skills/prompt-optimizer/references/meta-optimization-loop.md https://anymodel.org/en/skills/sentry/prompt-optimizer/references/meta-optimization-loop.md -o ~/.agents/skills/prompt-optimizer/references/model-family-notes.md https://anymodel.org/en/skills/sentry/prompt-optimizer/references/model-family-notes.md -o ~/.agents/skills/prompt-optimizer/references/transformed-examples.md https://anymodel.org/en/skills/sentry/prompt-optimizer/references/transformed-examples.md
Claude Code — Windows PowerShell
foreach ($f in 'SKILL.md','LICENSE','SOURCES.md','SPEC.md','references/core-patterns.md','references/meta-optimization-loop.md','references/model-family-notes.md','references/transformed-examples.md') { $p = Join-Path "$HOME\.claude\skills\prompt-optimizer" $f; New-Item -ItemType Directory -Force (Split-Path $p) | Out-Null; Invoke-WebRequest "https://anymodel.org/en/skills/sentry/prompt-optimizer/$f" -UseBasicParsing -OutFile $p }
Codex, Cursor — Windows PowerShell
foreach ($f in 'SKILL.md','LICENSE','SOURCES.md','SPEC.md','references/core-patterns.md','references/meta-optimization-loop.md','references/model-family-notes.md','references/transformed-examples.md') { $p = Join-Path "$HOME\.agents\skills\prompt-optimizer" $f; New-Item -ItemType Directory -Force (Split-Path $p) | Out-Null; Invoke-WebRequest "https://anymodel.org/en/skills/sentry/prompt-optimizer/$f" -UseBasicParsing -OutFile $p }

Другой агент: сохраните файл в его папку скиллов или дайте ему ссылку на файл: https://anymodel.org/en/skills/sentry/prompt-optimizer/SKILL.md

SKILL.md

Исходник

Prompt Optimizer

Optimize prompts with evals. Keep every instruction, example, and external context reference causal.

Load Only What You Need

Need Read
New prompt references/core-patterns.md, references/model-family-notes.md, references/transformed-examples.md
Existing prompt references/meta-optimization-loop.md, references/core-patterns.md, references/model-family-notes.md
Model-family port references/model-family-notes.md, references/core-patterns.md
Repeated failures references/meta-optimization-loop.md, references/core-patterns.md
Weak or ambiguous draft references/transformed-examples.md
Provenance SOURCES.md

Step 1: Capture Contract

Record before editing:

  • task type: new, refine, port, or debug
  • target model family and snapshot, if known
  • prompt surface: system, developer, user, tool descriptions, examples, schemas
  • layer owners: platform, deployer/persona, retrieved context, user payload
  • objective and non-goals
  • inputs, tools, and external files available
  • required output shape
  • success criteria and failure cases
  • hard constraints: latency, verbosity, safety, budget, tool use, style

If success criteria or examples are missing, create a small eval set first. If the bottleneck is model choice, retrieval, tool schema, or missing evals, say so before rewriting.

Step 2: Inventory External Context

For repo or agent prompts, list stable context by exact path:

Context type Examples
Agent rules AGENTS.md, CLAUDE.md
Specs specs/*.md, docs/api.md
Policies SECURITY.md, docs/releasing.md
Examples examples/, tests/fixtures/

Rules:

  • Reference stable files by repo-relative path instead of copying them.
  • Paste only excerpts needed for the prompt or eval case.
  • Mark whether a file is loaded, referenced, or out of scope.
  • Avoid vague context pointers such as "read the docs".

Step 3: Choose Model Strategy

Read references/model-family-notes.md.

  • Known family: optimize for that family.
  • Unknown family: write a portable base plus short adapter notes.
  • Snapshot changes: rerun evals.
  • Cross-family divergence: specialize only the failing layer.

Step 4: Shape Prompt

Read references/core-patterns.md.

  • Put stable policy in system or developer.
  • Put task-local facts, retrieved context, and variables in user-facing sections.
  • Keep one owner per behavior rule.
  • Use headings or tags only to separate content types.
  • Put tool policy in prompt text; keep schemas in provider-native tools.
  • Keep persona light unless it changes behavior.
  • Use the shortest wording that preserves the constraint.
  • Cut filler, repeated reminders, dead examples, and rationale that does not affect evals.

Step 5: Optimize

Read references/meta-optimization-loop.md for refinements.

  1. Baseline the current prompt on the same eval slice.
  2. Cluster failures by root cause.
  3. Write concrete edit criticisms.
  4. Generate two to four candidates:
    • minimal-diff repair
    • structure-first rewrite
    • examples-first or tool-rule variant
    • provider adapter when needed
  5. Compare candidates on the same cases.
  6. Keep a short optimization log.
  7. Validate the winner on holdout cases.
  8. Stop on plateau, oscillation, overfit, excessive cost, or non-prompt bottleneck.

Step 6: Return Package

Return:

  1. Target
  2. Success Criteria
  3. External Context
  4. Optimized Prompt
  5. Adapter Notes
  6. Eval Set
  7. Optimization Log
  8. Residual Risks

For existing prompts, include a concise diff-style note of the main behavioral changes.

Failure Modes

  • editing before defining the eval target
  • mixing policy, examples, and raw context without boundaries
  • duplicating rules across layers
  • putting durable policy in user payloads
  • asking for chain-of-thought
  • keeping contradictory legacy instructions
  • overfitting to one or two examples
  • retaining examples that no longer improve evals
  • fixing tool-use failures only in prompt text when tool descriptions or schemas are weak
  • adding markup that does not reduce ambiguity
  • using persona as a substitute for behavior rules

Подключить через AnyModel API

Скилл работает на той модели, которую использует агент. Подключите Claude Code, Codex или Cursor к AnyModel и запускайте его на Claude, GPT, Gemini и других моделях по одному ключу — оплата за токены, без подписки.

Ещё из пака Скиллы Sentry

AGENTS.md и CLAUDE.md для проекта

Делает короткий AGENTS.md до 60 строк: команды, соглашения и ссылки на документы репозитория, с проверкой путей, а CLAUDE.md превращает в ссылку на него. Для случаев, когда агенту нужны инструкции по проекту или старый файл разросся и устарел.

Аудит настроек Claude Code

Делает список разрешений для settings.json в Claude Code: по стеку репозитория подбирает только читающие команды нужных инструментов, домены документации и MCP Sentry или Linear. Для случаев, когда настраиваете или проверяете разрешения Claude Code.

Код-ревью по практикам Sentry

Делает ревью изменения по правилам Sentry: ошибки выполнения, производительность и N+1, побочные эффекты, совместимость, безопасность, архитектура и тесты, с вежливым тоном и одобрением при мелочах. Для случаев, когда нужно отревьюить PR или ветку.

Упрощение и выравнивание кода

Делает недавно изменённый код проще, не меняя поведения: меньше вложенности, без вложенных тернарников, понятные имена, без лишних абстракций, по соглашениям из CLAUDE.md. Для случаев, когда код работает, но читается тяжелее, чем нужно.

Коммиты в формате Conventional Commits

Делает коммиты в стиле Sentry по Conventional Commits: ветка вместо main, тема с типом до 70 символов с заглавной буквы, подвал Fixes или Refs, без персональных данных. Для случаев, когда нужно закоммитить или составить сообщение коммита.

Ревью доступа в Django

Делает ревью контроля доступа в Django и DRF: разбирает модель авторизации, прослеживает каждый эндпоинт от ID до запроса и сообщает только подтверждённые дыры с исправлением в коде. Для случаев, когда проверяете IDOR, права или изоляцию тенантов.

Поиск багов в изменениях ветки

Проверяет коммиты текущей ветки на дыры в безопасности, баги и проблемы качества по чек-листу из одиннадцати пунктов и выдаёт подтверждённые находки с файлом, строкой, уровнем и исправлением, не трогая код. Для случаев, когда нужен проход перед PR.

Ревью безопасности GitHub Actions

Ищет в воркфлоу GitHub Actions атаки, доступные постороннему без прав на запись: pwn request, инъекции через выражения, команды из комментариев, кражу токенов, подмену конфигов агентов. Для случаев, когда проверяют безопасность CI или меняют воркфлоу.

Доводка PR до зелёного CI

Доводит открытый PR до зелёного: чинит упавший CI и важные замечания ревью, проверяет локально, коммитит, пушит и повторяет, а на одобрении человека или черновике останавливается. Для случаев, когда PR красный или ждёт разбора комментариев.

Заголовок и описание PR

Пишет или обновляет заголовок PR в формате Sentry и короткое описание для ревьюеров без шаблонных разделов и логов тестов, затем открывает черновик или правит PR. Для случаев, когда открывают PR или новые коммиты поменяли его объём.

Утечки секретов через сериализацию

Находит секреты, которые утекают, когда секретное поле в dataclass, модели pydantic или объекте JS встречает код, пишущий объекты целиком в логи или спаны; вторую половину ищет по всему репозиторию. Для случаев, когда изменение добавляет такое поле или код.

SECURITY_MODEL.md для инструментов ревью

Делает SECURITY_MODEL.md: описывает для инструментов ревью безопасности доступность системы, инварианты, классы находок и подтверждённые владельцем исключения. Для случаев, когда репозиторий готовят к автоматическому ревью безопасности.

Проверка скиллов на угрозы

Проверяет скилл до установки: статический скан на промпт-инъекции, скрытые символы, секреты, опасные скрипты и ловушки в структуре, затем разбор намерений и прав с вердиктом. Для случаев, когда скилл взят из чужого источника.

Скиллы по спецификации Agent Skills

Пишет и дорабатывает скиллы по процессу Sentry: источники с происхождением, самая простая форма исполнения, SPEC.md и SOURCES.md, проверка точности после правок и структурный валидатор. Для случаев, когда скилл будет поддерживать команда.

Ревью безопасности от Sentry

Ищет в файле, диффе или компоненте эксплуатируемые уязвимости по справочникам OWASP, изучает кодовую базу до вывода и сообщает только о находках с входом от атакующего. Для случаев, когда нужно ревью безопасности без шума.

Ревью производительности Django

Ищет в коде на Django и DRF N+1-запросы, неограниченные querysets, недостающие индексы и запись в цикле, проверяя объём таблиц и горячие пути. Для случаев, когда тормозит view или эндпоинт либо правка касается больших таблиц.