AI студия Владимира Ломтева
УСЛУГИПРОЕКТЫСТАТЬИБАЗА ЗНАНИЙМаркетплейсОбучениеПолезные сервисы

Оставьте заявку,
чтобы обсудить проект

Напишите ваш вопрос, не забудьте указать телефон. Мы перезвоним и все расскажем.

Контакты

Москва

Работаем по всей России
и миру (онлайн)

+7 (999) 760-24-41

Ежедневно с 9:00 до 21:00

v.lomtev@airassvet.ru

По вопросам сотрудничества

TelegramWhatsApp

Есть предложение?

Напишите нам в мессенджеры

© 2025 AI студия Владимира Ломтева

Политика конфиденциальностиУсловия использованияСогласие на обработку ПДн|ИНН 623412173261
    Agent Eval — Скилл для ИИ-агентов | AI Рассвет

    Agent Eval

    Benchmark CodeGraph retrieval quality on a real codebase by comparing agent behavior with vs without CodeGraph. Use when the user runs /agent eval or asks to test, benchmark, audit, or validate a codegraph version (the local dev build or a published npm version) against a language's repo.

    Скиллы для разработки#GitHub#colbymchenry/codegraph#skills.sh
    Скачивания
    1
    В избранном
    0
    Комментарии
    0
    Просмотры
    2

    Установить скилл

    Добавьте инструмент одной командой или скачайте проверенный архив версии.

    npx skills add colbymchenry/codegraph --skill agent-eval
    Скачать ZIP
    Версия
    1.0.0+f72c9d2efb14
    Автор
    Владимир Ломтев
    Репозиторий
    colbymchenry/codegraph
    GitHub: colbymchenry/codegraph

    Как установить

    1. 1Скопируйте команду из блока установки.
    2. 2Запустите её в терминале из каталога проекта.

    Документация

    CodeGraph Quality Audit

    Measures how much CodeGraph helps an agent versus plain grep/read, for a chosen codegraph version on a chosen real-world repo. Drives the harness in scripts/agent-eval/.

    Prerequisites

    • tmux 3+, a logged-in claude CLI, node, git (macOS/Linux).
    • Run from the codegraph repo root.

    Workflow

    Copy this checklist:

    - [ ] 1. Pick version (local or npm)
    - [ ] 2. Pick language
    - [ ] 3. Pick repo by size
    - [ ] 4. Pick harness (headless / tmux / both)
    - [ ] 5. Run audit.sh in the background
    - [ ] 6. Report results
    

    Step 1 — version. Ask with AskUserQuestion: which codegraph version to test. Offer "Local dev build" and "Latest published"; the free-text "Other" lets the user type a specific version (e.g. 0.7.10). Map the answer to a VERSION token:

    • "Local dev build" → local
    • "Latest published" → latest
    • a typed version → that string (e.g. 0.7.10)

    Step 2 — language. Read .claude/skills/agent-eval/corpus.json. Ask with AskUserQuestion which language to test, listing the languages that have entries.

    Step 3 — repo. From the chosen language's entries, ask which repo. Label each option with its size and file count, e.g. excalidraw — Medium (~600 files). Each entry carries the repo URL and a representative question.

    Step 4 — harness. Ask with AskUserQuestion which harness to run, and map the answer to a MODE token:

    • "Headless" → headless — claude -p with stream-json: exact tokens/cost and a clean tool sequence (2 runs, fast, no TTY).
    • "Interactive (tmux)" → tmux — drives the real Claude TUI in tmux: faithful Explore-subagent behavior, metrics from session logs (2 runs, slower).
    • "Both" → all — headless + interactive (4 runs).

    Step 5 — run. Launch in the background (sets the version, clones if missing, wipes + re-indexes, runs the chosen arms — several minutes):

    scripts/agent-eval/audit.sh <VERSION> <repo-name> <repo-url> "<question>" <MODE>
    

    Step 6 — report. When the job finishes, read the log and report per arm:

    • Headless (parse-run.mjs): total tool calls, file Reads, Grep/Bash, codegraph-tool calls, duration, total cost.
    • Interactive (parse-session.mjs): the VERDICT: codegraph_explore used Nx | Read N | Grep/Bash N and TOKENS: lines.
    • Both paths also print the three feedback metrics — residual context occupancy, explore sufficiency, allocation efficiency — and a headless A/B ends with a side-by-side ARM COMPARISON table. Report that table, and check its contamination row first: CLI calls that RETURNED output > 0 means the arm reached codegraph through Bash and its numbers are void. How to read the rest: docs/benchmarks/agent-eval-feedback-metrics.md.

    Lead with cost + tool/Read counts — they are the reliable signals; raw token in/out are confounded by subagent delegation and prompt caching. State whether codegraph reduced effort and whether both arms reached a correct answer.

    Notes

    • The index is rebuilt every run (audit.sh wipes .codegraph) — different versions extract differently, so an index must be served by the same binary that built it.
    • audit.sh temporarily mutates the global codegraph install for the test, then restores your dev link via local-install.sh.
    • Corpus repos are cloned to /tmp/codegraph-corpus (reused if already present).
    • Add or edit repos in corpus.json (fields: name, repo, size, files, question).

    Требования и возможности

    Источник пакета
    https://github.com/colbymchenry/codegraph/tree/f72c9d2efb14454ff4f9fd7b8460abd82f19a287/.claude/skills/agent-eval

    Файлы версии

    ПутьРазмерSHA256
    SKILL.md384026c1bba3df4e19d1...
    corpus.json222555213fc0f9c08b822...

    Частые вопросы

    Как установить Agent Eval?
    Используйте команду npx skills add colbymchenry/codegraph --skill agent-eval или скачайте ZIP-архив.
    Можно ли скачать Agent Eval бесплатно?
    Да, опубликованную версию можно скачать из маркетплейса бесплатно.

    Похожие инструменты

    Смотреть все
    2ГИС: Статическая карта 2ГИССформировать PNG-карту с точками, линиями или полигонами.2ГИС: Пешеходный маршрут 2ГИСПостроить пешеходный маршрут между точками.2ГИС: Обратное геокодирование 2ГИСНайти адрес и объекты рядом с заданными координатами.2ГИС: Карточка организации 2ГИСПолучить подробные данные объекта по идентификатору.
    Комментарии

    Войдите, чтобы оставить комментарий.

    Комментариев пока нет.

    Установить скилл

    Добавьте инструмент одной командой или скачайте проверенный архив версии.

    npx skills add colbymchenry/codegraph --skill agent-eval
    Скачать ZIP
    Версия
    1.0.0+f72c9d2efb14
    Автор
    Владимир Ломтев
    Репозиторий
    colbymchenry/codegraph
    GitHub: colbymchenry/codegraph