Точность Индекса: как мы проверяем себя
КороткоИндекс Делоскопа — оценка признаков риска по открытым данным. Оценку мало опубликовать — её нужно проверять. Здесь правила, по которым мы будем сравнивать баллы с тем, что потом случилось с компаниями. Правила публикуем до результатов, чтобы их нельзя было подогнать.
Что считаем событием
За 12 месяцев после даты оценки с компанией случилось одно из:
- Исключена из ЕГРЮЛЕГРЮЛ, ФНС
- Начато банкротствоФедресурс, ЕФРСБ
- Появилась запись ФНС о недостоверности сведенийЕГРЮЛ, ФНС
- Попала в реестр недобросовестных поставщиковЕИС «Закупки» (после подключения реестра)
У каждого события — источник и дата. Добровольную ликвидацию и реорганизацию событием не считаем — так записано в методике Индекса.
Как проверяем
- Берём оценки на прошлую дату — только по тем данным, что были известны в тот день.
- Через 12 месяцев смотрим, у кого случилось событие.
- Считаем по каждой из 10 групп балла (1–10, 11–20 … 90–99) и по уровням «Без серьёзных сигналов / Есть вопросы / Есть серьёзные сигналы / Много признаков риска»: у скольких компаний было событие.
- Публикуем и промахи: компании «без серьёзных сигналов», с которыми случилось событие, и компании с многими признаками риска, с которыми не случилось ничего.
Когда скажем «шанс», а когда нет
Пока проверка не покажет, что баллы хорошо разделяют компании, мы не переводим балл в вероятность. Правило методики: слова о вероятности — только если качество разделения (AUC) не ниже 0,75, расхождение прогноза и факта в каждой группе — не больше 20% и в выборке не меньше 200 событий.
0,75AUC не ниже: 0,5 — подбрасывание монетки, 1 — безошибочный прогноз
20%наибольшее расхождение прогноза и факта в группе
200событий в выборке — не меньше
Что в отчёте будет всегда
- Дата оценки и срок наблюдения.
- Сколько компаний и как отбирали.
- Версия методики.
- Частота событий по группам и уровням.
- Что не вошло и почему: ИП не оцениваем; компании без данных — отдельно.
Первый отчёт
Появится здесь, когда выборка наберётся по правилам выше. До этого Индекс — оценка признаков, не прогноз.
| Уровень | Баллы | Компаний с событием |
|---|---|---|
| Без серьёзных сигналов | 70–99 | ждём выборку |
| Есть вопросы | 50–69 | ждём выборку |
| Есть серьёзные сигналы | 30–49 | ждём выборку |
| Много признаков риска | 1–29 | ждём выборку |
Так будет выглядеть первая таблица отчёта; по 10 группам балла — так же.