Согласие разметчиков: чек-лист расчёта каппы Коэна

согласие разметчиков
каппа Коэна
матрица согласия разметчиков
разметка обращений для ИИ
Согласие разметчиков: чек-лист расчёта каппы Коэна

По двум независимым выгрузкам разметки сначала сопоставьте обращения по ID. Затем посчитайте долю совпадений, каппу Коэна и матрицу меток. Матрица показывает, какие категории расходятся и какие обращения отправить на разбор. При 95 совпадениях из 100 проверенных обращений каппа может составить всего 0,26. Такое сочетание возможно, если оба специалиста почти всегда выбирают одну и ту же преобладающую категорию.

Чек-лист рассчитан на руководителя поддержки или аналитика, который готовит эталон для ИИ-классификатора. На входе две таблицы с одной номинальной меткой на обращение от каждого специалиста. На выходе сводка покрытия, таблица совпадений и список конкретных ID для редактора инструкции. Материал подготовила AI студия Владимира Ломтева. Если выгрузки ещё предстоит собрать, начните с настройки проекта разметки. Инструкция для Label Studio.

1. Сверьте общий список обращений

Возьмите плановый список ticket_id и обе выгрузки с колонками ticket_id,label. Используйте одинаковую версию инструкции и одинаковый набор сообщений по каждому ID. Если одному специалисту показали переписку целиком, а другому только первое сообщение, расхождение может объясняться разным контекстом.

Сохраните ID как строки. Например, 0042 и 42 могут быть разными ключами. Сопоставьте записи по ключу и отдельно проверьте число пропусков в каждой выгрузке. Дубликат ID у одного специалиста требует выяснить, какая запись относится к пилоту. Иначе соединение может размножить обращения и изменить знаменатель.

Дополнительно сверьте ID вне планового списка. Одинаковые выгрузки могут совместно пропустить одно и то же обращение. Без планового списка результат относится к общим ID двух файлов, а полнота исходной партии остаётся неизвестной.

Готово, когда известны размер плановой партии, число пар с двумя метками и списки отсутствующих, лишних и повторных ID. Пример ниже рассчитан на полную пару выгрузок и останавливается при несовпадении ID между ними. Сверку с плановым списком сделайте до запуска примера.

2. Проверьте состав меток

Зафиксируйте один словарь, например delivery для доставки и return для возврата. Если коды в двух системах разные, согласуйте явное соответствие. Исправление регистра или лишнего пробела допустимо по заранее установленному правилу. Объединение двух категорий меняет задачу и требует пересчёта на исходных парах с описанием этого изменения.

Пустая ячейка означает, что метки нет. Если инструкция допускает ответ «Недостаточно данных», присвойте ему отдельный код и применяйте его как полноценную категорию. Тогда можно заметить, например, что один специалист регулярно ставит эту метку там, где второй угадывает вид обращения.

Готово, когда в каждой паре есть два известных кода, а остаток партии и причины неполноты видны отдельно. Для обращений с несколькими одновременными метками этот расчёт по одному классу на человека неприменим. Обзор методов и предпосылок опубликован в Computational Linguistics. Artstein и Poesio, Inter-Coder Agreement for Computational Linguistics.

3. Постройте матрицу и посчитайте каппу

Выбирайте строки по меткам специалиста А, столбцы по меткам специалиста Б. В диагонали лежат совпадения, вне диагонали — разные решения по одним и тем же обращениям. Направление нужно для разбора. Ячейка «А: доставка, Б: возврат» отвечает за другие обращения, чем обратная ячейка. Такое чтение строк и столбцов соответствует порядку аргументов матричного расчёта. Документация scikit-learn о confusion_matrix.

Вымышленная партия из 100 обращений даёт следующую матрицу.

Специалист А ↓ / специалист Б → Доставка Возврат Всего
Доставка 94 3 97
Возврат 2 1 3
Всего 96 4 100

Наблюдаемая доля совпадений p_o = (94 + 1) / 100 = 0,95. Ожидаемая доля p_e = 0,97 × 0,96 + 0,03 × 0,04 = 0,9324. Второе число — расчётная доля совпадений при независимом назначении меток с сохранением частот каждого специалиста. Невзвешенная каппа Коэна равна (p_o − p_e) / (1 − p_e), в примере около 0,260. При p_e = 1 знаменатель равен нулю. Покажите, что каппа не определена, и сохраните исходные частоты. Документация scikit-learn о cohen_kappa_score.

Готово, когда сумма клеток равна числу пар, сумма диагонали совпадает с числителем простой доли, а в отчёте показаны обе метрики и частоты двух специалистов. Каппа около 0,26 сама по себе не указывает, какое решение правильно.

4. Воспроизведите расчёт на двух CSV

Сохраните код как agreement.py, положите рядом файлы a.csv и b.csv и запустите python agreement.py из этой папки. Нужен Python 3. Пример читает CSV с запятой, заголовком ticket_id,label и кодировкой UTF-8, допускает BOM и принимает две категории из примера. Для своего классификатора замените LABELS согласованным словарём. CSV из редактора с разделителем «точка с запятой» следует экспортировать в указанном формате или явно настроить разделитель в DictReader. Документация Python о модуле csv.

Версия кода из статьи запускалась 18 ноября 2026 года в Python 3.14.3 на искусственных CSV. Для матрицы выше она выдала 100 пар, долю совпадений 0,9500 и каппу 0,2604. Проверены также перестановка строк второй выгрузки, дубликат, пропущенный ID, незнакомая метка и случай, когда оба выбрали одну категорию для всей партии. Реальные обращения, работа сотрудников и качество ИИ-классификатора в этом запуске не проверялись.

import csv
from collections import Counter

LABELS = ("delivery", "return")


def read_labels(path):
    labels_by_id = {}
    with open(path, encoding="utf-8-sig", newline="") as file:
        rows = csv.DictReader(file)
        if rows.fieldnames != ["ticket_id", "label"]:
            raise ValueError(f"{path}: нужен заголовок ticket_id,label")
        for row in rows:
            ticket = row["ticket_id"]
            label = row["label"]
            if not ticket or None in row or label not in LABELS:
                raise ValueError(f"{path}: неверная строка {rows.line_num}")
            if ticket in labels_by_id:
                raise ValueError(f"{path}: повторный ID {ticket}")
            labels_by_id[ticket] = label
    return labels_by_id


a = read_labels("a.csv")
b = read_labels("b.csv")
if not a or a.keys() != b.keys():
    raise ValueError("Нужны непустые выгрузки с одинаковыми ID")

pairs = Counter((a[ticket], b[ticket]) for ticket in a)
counts_a = Counter(a.values())
counts_b = Counter(b.values())
n = len(a)
matches = sum(pairs[label, label] for label in LABELS)
expected_count = sum(counts_a[label] * counts_b[label] for label in LABELS)
denominator = n * n - expected_count

print(f"Пар: {n}, доля совпадений: {matches / n:.4f}")
if denominator:
    kappa = (matches * n - expected_count) / denominator
    print(f"Каппа Коэна: {kappa:.4f}")
else:
    print("Каппа Коэна не определена")

print("Столбцы Б:", *LABELS)
for left in LABELS:
    print("Строка А:", left, *(pairs[left, right] for right in LABELS))

for ticket in sorted(a):
    if a[ticket] != b[ticket]:
        print(ticket, a[ticket], b[ticket])

Готово, когда для ваших файлов получены две строки матрицы в порядке LABELS и список ID за пределами диагонали. При добавлении категорий число строк будет равно длине LABELS. Вывод лучше хранить рядом с выгрузками с тем же ограничением доступа: ID может связывать результат с внутренним обращением.

5. Выпишите пары категорий и разберите примеры

Из пяти расхождений в учебной партии три идут от «Доставка» у А к «Возврату» у Б, ещё два — в обратную сторону. При этом только одно обращение оба отнесли к возвратам. Среди четырёх обращений, которые Б пометил как возврат, А дал такую же метку одному. Это описание согласия на выбранном подмножестве. Объявить остальные случаи ошибками А можно только после экспертного разбора.

Для редактора инструкции достаточно короткой строки на спорный случай. Сохраняйте обе исходные метки, даже если после обсуждения появится третье поле с итоговой меткой.

Поле Пример для разбора
ID и фрагмент T-095, «Курьер привёз не тот товар, хочу вернуть»
Независимые метки А — доставка, Б — возврат
Вопрос к инструкции Приоритет у причины обращения или у явно запрошенного действия?
Предлагаемое решение Если главная метка задаёт маршрут, класть явный запрос на возврат в очередь возвратов. Сбой доставки хранить в отдельном поле причины, если оно предусмотрено.

Попросите владельца очередей подтвердить, какая команда действительно обрабатывает такой запрос. После решения добавьте в инструкцию пример с явным запросом и соседний пример без него: «Курьер привёз не тот товар, когда доставят правильный?». При предложенном правиле второй текст пойдёт по маршруту доставки или замены согласно вашей схеме. Разные операционные маршруты важнее внешнего сходства формулировок.

Готово, когда для каждого выбранного расхождения есть причина и решение. Например, правило изменилось, контекст не дошёл до одного человека или в справочнике отсутствует необходимая категория.

6. Повторите замер после правки правила

Дайте двум специалистам новую независимую подборку, где есть обычные обращения и примеры на уточнённую границу. Заранее определите, какую ошибку важно уменьшить. В примере с возвратами это спорные маршруты для запросов, где клиент явно просит вернуть товар. Оставьте в отчёте число таких случаев и направление разногласий.

Если для проверки вы намеренно собрали больше возвратов, чем бывает в рабочей очереди, отметьте это. Изменение состава партии меняет частоты меток и ожидаемое согласие. Поэтому общие каппы двух подборок с разным составом трудно интерпретировать как изменение качества инструкции. Для сравнения фиксируйте способ отбора и показывайте объёмы по категориям. Для редкой метки без наблюдений согласие по ней остаётся неизвестным.

Готово, когда новая подборка показывает, как применяют уточнённое правило, а назначенные после разбора итоговые метки хранятся отдельно от исходных независимых ответов. Если спор исчезает только после совместного обсуждения, этот результат описывает итоговый эталон. Повторное независимое согласие измеряется на новых парах.

Как студия помогает подготовить данные для классификатора

AI студия Владимира Ломтева помогает подготовить данные и встроить ИИ-классификацию в рабочий процесс. В такой задаче можно согласовать схему категорий с владельцем очередей, связать выгрузки разметки по ID и настроить передачу утверждённых меток в набор для проверки классификатора. Для начала подойдут одна очередь обращений, действующий словарь меток, пара выгрузок и пример спорного маршрута. Обсудить задачу.

Что сохранить после проверки

Сохраните плановый список ID, исходные метки обоих специалистов, правила сопоставления, матрицу с частотами и список расхождений. Добавьте версию инструкции и решение по спорной паре категорий. По такому пакету аналитик сможет пересчитать каппу, а владелец очереди увидит, какое правило нужно уточнить перед следующей разметкой.

Оставить заявку

Заполните форму и мы свяжемся с вами

← Все статьи

Комментарии (0)

Пока нет комментариев. Будьте первым!

Оставить комментарий
Регистрация не требуется