Три системы в продакшене: чему они научили про ИИ
Ни витрины, ни списка инструментов. Три работающие системы, их логи сборки и то, что видно, только когда открываешь готовый документ, а не зелёный прогон тестов.
Автор Евгений Романов·Опубликовано
Короткий ответ
Систем в продакшене три, ИИ есть в одной, и самый полезный урок дала та, где ИИ сняли: функция отчитывалась о работе, которой не делала, а снаружи такой отказ невидим. Дальше в логах сборки идут дефекты записей, а не моделей, и дефекты, заметные только на готовом документе. Для бизнеса в США вывод денежный: ИИ ставится последним слоем, и сборка от $2 000 начинается не с него.
SHT-02От чего зависит число
Отказ, которого не видно снаружи
Начну не с того, что получилось, а с того, что пришлось снять. В системе для производителя саун было две унаследованные ИИ-функции, и убрали обе. Одна просто не работала надёжно. Вторая отчитывалась о работе, которой не делала, и это куда хуже, потому что снаружи такой отказ невидим: нет ни сообщения об ошибке, ни обращения в поддержку, ни жалобы. Есть цифра в отчёте и человек, который принял по ней решение. Отсюда проверка, которую обязана пройти любая функция, чтобы остаться в системе: не «выглядит ли результат правильным», а «заметит ли кто-нибудь результат неправильный». Большинство ИИ-функций на этой проверке и заканчивается.
Смотреть надо тот документ, который держит клиент
Второй урок дался за один день. В той же системе изменились девять поверхностей, и меньше половины из них кто-то потом открыл глазами. Когда открыли, нашлось шесть дефектов, два из них внесённые тем же днём. Три записи в логе были видны только на готовом документе: подвал второй страницы счёта печатался через линию подписи, условия оплаты присутствовали в ссылке и исчезали в скачанном файле, а карточка предпросмотра ссылки отдавала код успеха и ноль байтов на каждой настоящей смете, рисуясь при этом идеально для выдуманной. Прогон тестов был зелёный на всех трёх. Проверка это то, что видит клиент, а не удачная сборка.
Самое дорогое в этих логах к моделям отношения не имеет
У автоброкера удаление сделки отправляло данные заявителя в ночную чистку персональных данных, и номер социального страхования вместе со сканом прав уничтожался как плановое обслуживание. Там же денежная проверка выходила с кодом ошибки, ничего не печатала и ничего не проверяла, то есть сообщала об успехе, не сделав ничего. В собственной CRM студии предупреждение о дубликате клиента срабатывало по одному общему слову, так что две разные строительные компании выглядели одной, а нового клиента иногда нельзя было завести вовсе. Ни один из трёх дефектов не лечится моделью, и поверх любого из них пересказчик сообщит неверное быстрее и убедительнее человека.
Где во всём этом ИИ
Вопрос, ради которого страницу обычно и открывают, стоит здесь, а не в начале, потому что без предыдущих разделов ответ на него бесполезен. Систем в продакшене три, ИИ есть в одной: в CRM для подрядчика по обоям, которую студия построила и ведёт сама. Там голосовой ассистент, чей отчёт о разговоре проверяется и разбирается в вебхуке, движок догона из модулей под lib/followups и тринадцать директорий заданий под app/api/cron, из которых на расписании пять. У производителя саун ИИ нет вовсе. Система автоброкера это денежная модель, зашифрованные личные данные с журналом каждого просмотра и сайт, который сам заводит заявки. Один из трёх.
Самая неприятная запись в логе описывает нас
Первая строчка в логе собственного продукта студии про нас самих. На посадочной странице стояли два заголовочных показателя, примерно в восемь и в четыре раза больше настоящих, посчитанных против продакшена в тот же день. Стояли они в первом, что видел посетитель, на странице, весь аргумент которой в том, что мы описываем построенное. Их заменили формулировками, которые остаются верными по мере роста настоящих чисел, а подсчёты и дату убрали в комментарий, чтобы следующий человек перепроверил, а не догадался. Выросшее из этого правило действует и здесь: доказательные числа меряет скрипт, а непроверяемое число не заменяется правдоподобным, вместе с ним выкидывается фраза.
Когда честный ответ никакого ИИ, а иногда и ничего
Одна из трёх систем построена без ИИ намеренно, и она не самая маленькая и не самая старая. Если у тебя немного дорогих работ и их уже держит один человек, покупать надо точные записи, аккуратные документы и расписание, а доллар, ушедший вместо этого на модель, ушёл на чужую задачу. Не покупай ничего, если после запуска её хозяином внутри компании никто не станет. Не покупай в этом квартале, если не посчитал, что теряешь сейчас: потом сравнивать будет не с чем. Бесплатный аудит отдаётся в тот же день, Blueprint стоит $500 и зачитывается в сборку целиком, а перечень случаев «не покупать» лежит на отдельной странице.
SHT-03Общие примечания
Вопросы, которые задают на самом деле.
- N01Чему научили три системы в продакшене?
- Тому, что ИИ ставится последним слоем. Самое дорогое в трёх логах сборки это дефекты записей и документов: уничтоженные плановой чисткой личные данные, денежная проверка, ничего не проверявшая, предупреждение о дубликате по одному общему слову. Модель поверх таких записей ошибается быстрее и убедительнее.
- N02Как отличить дефект, который найдут, от дефекта, который никто не заметит?
- По тому, объявляет ли неверный результат о себе сам. Упавшая страница заметна всем, а функция, сообщившая о сделанной работе, которой не было, не даёт ни ошибки, ни жалобы. Вторую пришлось снять именно поэтому, и это единственный вид отказа, который стоит проверять отдельно.
- N03Почему у одной из систем ИИ нет вообще?
- Потому что обе унаследованные ИИ-функции пришлось убрать, и одна из них отчитывалась о работе, которой не делала. Там, где сделок немного и каждая дорогая, точные записи и аккуратные документы дают больше любой модели, и решение оставить систему без ИИ было принято осознанно.
- N04Что из этого я могу проверить сам, не веря на слово?
- Каждое утверждение называет файл, коммит или запись в логе сборки, а три лога опубликованы на этом сайте вместе с хешами. Проверить можно и обратное: спроси, какую функцию отсюда убрали после запуска, и сверь ответ с логом.
- N05Шесть дефектов за день это нормально для работающей системы?
- Это нормально для дня, когда изменились девять поверхностей и их наконец открыли. Ненормально было бы их не искать: два из шести внесли в тот же день, и нашлись они только потому, что кто-то пошёл смотреть глазами, а не поверил зелёному прогону тестов.
- N06Что это значит для моего бизнеса в США?
- Что первый платёж почти всегда должен уйти на записи и документы, а не на модель, и что подрядчика стоит спрашивать не про модель, а про то, как ты узнаешь об ошибке. Сборка идёт от $2 000 за 30-45 дней, и ИИ в ней последний слой.
SHT-04Доказательство
Системы, из которых этот довод взялся.
Всё выше узнано на их сборке. На каждом листе названа компания, названо правило ремесла и назван файл в репозитории, который доказывает возможность. Ни выручки клиента, ни его покупателей там нет.