Dashboard Leadmlyn — які метрики показує і як їх читати
Розбір dashboard Leadmlyn: які метрики показуються, як їх інтерпретувати і як помітити проблему бота через аномалії в аналітиці.
Продукт
Dashboard Leadmlyn — які метрики показує і як їх читати
Уявіть звичайний понеділок. Ви заходите в Leadmlyn вранці і бачите цифри за минулий тиждень. Що вони говорять? Чи треба щось робити прямо зараз? Чи все в нормі і можна пити каву далі?
Аналітика у продукті — це не звіт заради звіту. Це інструмент для двох речей: розуміти стан бота і помічати проблеми до того, як клієнти починають скаржитись. Тут розберу що зараз є в dashboard, як читати кожну метрику і де шукати сигнали.
Що показує dashboard Leadmlyn зараз
Dashboard побудований навколо трьох блоків: стан акаунту, активність розмов і витрати.
Стан акаунту:
- Поточний баланс wallet — скільки залишилось на рахунку
- Кількість активних ботів — скільки ботів зараз підключені і обробляють запити
- Прогноз залишку — на скільки днів вистачить поточного балансу при поточному темпі витрат
Активність розмов:
- Загальна кількість розмов за обраний період (день / тиждень / місяць)
- Кількість нових унікальних користувачів — скільки нових людей написало боту вперше
- Кількість повернень — скільки людей написало повторно
Витрати:
- Витрачені токени за період — input і output окремо
- Витрачено коштів за період — у доларах і гривнях
- Середня вартість розмови — агрегований показник для вашого конкретного бота
Ці дані оновлюються в реальному часі. Немає затримки «вчорашнього дня» — якщо бот провів розмову 10 хвилин тому, вона вже врахована в цифрах.
Як читати кожну метрику і що вона означає
Кількість розмов — базовий пульс активності. Але важливий контекст: що вважається «розмовою»? У Leadmlyn — це окрема сесія спілкування з одним користувачем. Якщо клієнт написав «привіт» і отримав відповідь — це одна розмова. Якщо через 3 дні написав знову — нова розмова. Тривалість розмови (кількість повідомлень у ній) впливає на витрати токенів, але не на лічильник розмов.
Нормальний діапазон залежить від бізнесу. Квест-кімната з 2-3 сеансами на день може мати 60-90 розмов на місяць. Фітнес-студія з онлайн-записом — 400-600. Якщо ваша цифра системно нижча за очікувану — перевірте чи бот правильно підключений і чи є посилання на нього у ваших комунікаціях з клієнтами.
Нові користувачі vs повернення. Співвідношення говорить про те, для чого клієнти використовують бота. Якщо 80% розмов — нові користувачі, бот працює переважно для першого контакту і відповідей на базові питання. Якщо 40-50% — повернення, клієнти використовують бота регулярно для бронювань і уточнень. Обидва сценарії нормальні, просто різні профілі бізнесу.
Баланс wallet і прогноз. Прогноз розраховується просто: поточний темп витрат за останні 7 днів × залишок балансу. Якщо прогноз показує «5 днів» — це сигнал поповнити wallet до кінця тижня. Коли баланс опускається нижче встановленого вами порогу, Leadmlyn надсилає сповіщення. Бот не зупиняється різко — є невеликий буфер — але краще не доводити до нього.
Середня вартість розмови — корисна для відстеження тренду. Якщо вона рівна — KB і промпт стабільні. Якщо раптово зросла (наприклад з $0.002 до $0.008 за розмову) — щось змінилось. Або розмови стали довшими, або KB повертає набагато більше контексту ніж раніше. Детальніше про те, як рахуються токени в одній розмові — в окремій статті.
Як помітити проблему через аномалії
Dashboard — це не тільки звіт. Це перша лінія діагностики. Ось сценарії які варто знати.
Різке падіння кількості розмов. Вчора було 15 розмов, сьогодні — 0. Майже завжди це одна з трьох причин: Telegram недоступний (перевірте статус); бот відключений від акаунту (перевірте налаштування підключення в Leadmlyn); посилання на бота перестало працювати. Рідше — зникла органічна активність, але тоді падіння плавне, а не обривисте.
Різке зростання витрат токенів без зростання розмов. Це більш тривожний сигнал. Якщо кількість розмов стабільна, але токенів витрачається вдвічі більше — можлива петля: бот входить у довгий цикл повторних запитів до LLM в рамках однієї розмови. Або у KB з'явились дуже довгі чанки що підтягуються до кожного запиту. Перевірте логи конкретних дорогих розмов — там видно input/output breakdown.
Зростання кількості «коротких» розмов. Якщо помічаєте, що все більше розмов складається з 1-2 повідомлень і закриваються, — клієнти не отримують того що шукали. Ймовірно KB не покриває якусь категорію питань, або бот відповідає так що клієнт іде. Це сигнал переглянути KB і, якщо є можливість, подивитись в логах на текст цих коротких розмов.
Аномалії у час доби. Якщо розмови концентруються у незвичний час (наприклад різкий spike о 3 ночі) — перевірте чи не тестує хтось бота ботом, або чи немає зовнішньої реклами що веде до бота і яку ви не очікували.
Чого ще немає в dashboard (чесно)
Кілька функцій, які регулярно запитують і яких зараз немає:
Тематична класифікація розмов. Було б корисно бачити: 40% розмов — питання про ціни, 30% — бронювання, 15% — зміна або скасування, 15% — інше. Зараз цього немає. Є логи конкретних розмов, але без агрегованої класифікації по інтентах.
Конверсія в бронювання. Скільки розмов закінчились реальним бронюванням — проти тих що перервались. Для цього потрібна інтеграція з вашою системою бронювань або явна подія «бронювання підтверджено» в діалозі. Зараз dashboard не знає про фінальний результат розмови.
Порівняння по тижнях / місяцях. Графік «цей тиждень vs минулий» зараз не реалізований. Є абсолютні цифри за вибраний період, але не накладені в часі.
Сентимент або тон розмов. Чи клієнти задоволені відповідями? Це складна задача навіть для зрілих продуктів. Наразі не реалізовано.
Все це є в планах. Без конкретних дат — але напрямок зрозумілий. Аналітика має ставати детальнішою у міру зростання продукту.
Як використовувати аналітику для щотижневого огляду
П'ять хвилин у понеділок вранці:
- Баланс wallet. Вистачить на тиждень? Якщо ні — поповнити прямо зараз.
- Кількість розмов за минулий тиждень. Вище або нижче очікуваного? Різке відхилення — шукаємо причину.
- Середня вартість розмови. Змінилась порівняно з позаминулим тижнем? Якщо так — чому?
- Логи 2-3 розмов. Не всіх, просто вибірково. Відчуйте якість відповідей бота очима клієнта.
- Нові vs повернення. Тренд за останні 3-4 тижні — зростає частка повернень? Добрий знак що бот корисний, а не тільки для першого контакту.
Це не аудит — це гігієна. Більшість проблем помітні ще до того, як клієнт напише скаргу, якщо ви дивитесь на цифри раз на тиждень.
Детальніше про KPI що насправді мають значення для leisure-бізнесу — в окремій статті про метрики. Dashboard Leadmlyn показує вам частину з них; решта залишається у вашій голові і вашій CRM.
Засновник Leadmlyn. Будую AI-менеджерів для leisure-бізнесу в Україні.