Продвинутый воркшоп: освоение наблюдаемости ИИ — Даг Гатри, Braintrust

Набор из 968 примеров трассировок службы поддержки выявляет ошибки поиска заказов и сбои в эскалации вызовов. Дуг Гатри использует эти случаи, чтобы связать наблюдаемость Braintrust с работой по улучшению агента. Семинар начинается с агента поддержки на Python, созданного на основе SDK OpenAI Agents, добавляет трассировку, устанавливает базовый уровень автономной оценки и публикует пользовательские оценочные критерии. Онлайн-автоматизация оценивает входящие трассировки, а раздел «Темы» группирует шаблоны по задачам, настроению и проблемам рабочего процесса. Пользовательский фасет нацелен на сбои, которые пропускает классификация проблем по умолчанию. Гатри настраивает группировку и выборку разговоров, импортирует примеры трассировок и проверяет полученные метки и карты тем, чтобы найти случаи, заслуживающие изучения. Следующий шаг — преобразовать эти результаты в изменения. Встроенный помощник Loop запрашивает данные трассировки с помощью SQL и анализирует репрезентативные сбои. Выбранные примеры возвращаются в наборы данных для оценки, чтобы последующие изменения можно было проверить на реальных случаях сбоев. Агент по кодированию с интерфейсом командной строки Braintrust и навыком улучшения кода расширяет этот процесс на репозиторий: анализирует журналы, предлагает изменения кода и системы оценки, добавляет примеры регрессионного анализа и запускает оценки. Гатри демонстрирует автоматизацию, которая упаковывает результаты, объяснения и данные оценки в запрос на слияние для проверки. Вопросы аудитории касаются развертывания, частоты выборки, объема проекта, контроля доступа и того, как ресурсы оценки должны развиваться вместе с агентом. В заключительной демонстрации представлена интерактивная среда для оценки агента, позволяющая участникам корректировать подсказки и модели, в то время как выполнение остается на сервере оценки. Информация о докладчике: https://www.linkedin.com/in/doug-guthrie-07994a48 https://github.com/dpguthrie https://github.com/dpguthrie/mastering-ai-observability-workshop Временные метки: 0:00 - Обзор семинара и сопутствующий репозиторий 5:08 - Трассировка как основа наблюдаемости 8:00 - Связь обратной связи с производством и разработкой 9:46 - Оценщики, судьи и человеческая калибровка 15:06 - Темы и ранее неизвестные режимы отказов 18:24 - Конвейер обработки тем 22:54 - Вопросы по темам и развертыванию 32:37 - Создание организации и проекта 39:13 - Настройка репозитория и среды 42:27 - Навыки работы с CLI Braintrust и агентом кодирования 47:41 - Трассировка агента поддержки и базовые оценки 52:05 - Публикация пользовательских оценок 54:45 - Область применения онлайн-автоматизации и выборка 57:23 - Пользовательские аспекты тем и параметры обработки 63:08 - Импорт трассировок поддержки примеров 67:21 - Чтение карт тем и ошибок рабочих процессов 71:48 - Циклический и SQL-анализ данных трассировки 73:52 - Возврат ошибок в наборы данных оценки 75:40 - Автоматизация улучшения агента с помощью навыков программирования 84:15 - Вопросы развертывания и модели 87:55 - Панели мониторинга тем, выборка и составление оценок 92:47 - Область применения проекта, изменение оценок и доступ к трассировке 101:50 - Обзор изменений кода и новых случаев регрессии 104:32 - Автоматизация GitHub и просматриваемые запросы на слияние 107:01 - Предоставление удаленных оценок в песочнице