Профилирование

Логи, метрики и трейсы показывают, что произошло и сколько это длилось. Профиль показывает, почему спан длился долго: в каких методах приложение тратит процессорное время, где выделяет память и где потоки ждут блокировок.

Профили хранит Pyroscope — система непрерывного профилирования из того же набора Grafana Labs; в Docker-образе grafana/otel-lgtm он тоже уже настроен. Просматриваются профили в Grafana, в разделе Drilldown → Profiles. Параметры агента и развёртывание Pyroscope описаны в документации Pyroscope.

Подключение агента

Профили собирает Java-агент Pyroscope — JAR-файл, который JVM загружает при старте приложения по параметру -javaagent; менять код или зависимости приложения не нужно. Агент через короткие промежутки, по умолчанию каждые 10 мс, снимает стеки вызовов потоков и раз в 10 секунд отправляет собранное в Pyroscope. Подробнее — в документации Pyroscope.

Агент снимает стеки с помощью библиотеки async-profiler, а она есть только для Linux и macOS. На Windows приложение с агентом запускают в Docker-контейнере или в WSL.

Чтение профиля

Флейм-граф в Grafana строится сверху вниз: в верхней строке — всё время профиля (total), под каждым блоком — функции, которые он вызвал. Ширина блока — доля процессорного времени, которую заняла функция вместе со всем, что она вызвала. Например, в профиле процессора Petclinic за 15 минут нагрузки над кодом Jmix находятся около 170 строк кадров Tomcat, Spring и Vaadin, см. Скрытие служебных кадров. Чтобы перейти к коду Jmix, блок ServerRpcHandler.handleRpc выбирают командой Focus block, а методы Jmix подсвечивают поиском jmix. Под кадрами навигации Vaadin идут View.beforeEnter, наблюдение жизненного цикла экрана, загрузчик данных и UnconstrainedDataManagerImpl.loadList. В этой ветви навигации из 6,6 минуты процессорного времени, которые занял View.beforeEnter, 6,4 минуты пришлись на загрузку данных (UnconstrainedDataManagerImpl.loadList). Профиль собран при запуске в Docker с агентом Pyroscope.

Профиль запроса Vaadin

Действия пользователя приходят в приложение как запросы Vaadin к одному адресу и в метриках и трейсах Spring Boot не различаются, см. Наблюдения загрузки данных, экранов и действий UI.

В профиле обработка запроса Vaadin выглядит как глубокий стек: поток Tomcat, фильтры Spring Security, VaadinServlet.service, UidlRequestHandler.synchronizedHandleRequest, ServerRpcHandler.handleRpc, при навигации — AbstractNavigationStateRenderer, и только под ними — методы Jmix и код экранов приложения (io/jmix/flowui/…​, пакет приложения). Поэтому при чтении профиля интерфейса методы Jmix и приложения ищут по имени пакета, например поиском jmix во флейм-графе, или скрывают служебные кадры, см. Скрытие служебных кадров.

Скрытие служебных кадров

Над кодом Jmix в профиле запроса Vaadin несколько десятков кадров Tomcat, Spring и Vaadin. Время в них тоже может уходить, например в фильтрах Spring Security, но в большинстве случаев они мешают читать профиль. Флейм-граф Grafana не умеет скрывать кадры по имени пакета. Ближе всего к этому его кнопки:

  • Collapse all groups сворачивает цепочку кадров одинаковой ширины в одну строку с числом кадров, например (28) com/vaadin/flow/server/communication/ServerRpcHandler.handleRpc;

  • Focus block в меню блока делает этот блок корнем графа;

  • Sandwich view в меню блока показывает все вызовы функции, из каких бы стеков они ни шли, и что она вызывает.

Скрытие кадров по шаблону есть в утилите pprof. Профиль выгружают в Drilldown → Profiles: кнопка Export profile data → pprof сохраняет профиль сервиса за выбранный интервал. Затем файл открывают в веб-интерфейсе pprof с фильтрами:

go tool pprof -http=:8081 \
  -show_from='io/jmix/flowui' \
  -hide='^(java|jdk|sun|org/apache|org/springframework|com/vaadin|io/micrometer)/' \
  profile.pb.gz

Параметр -show_from отбрасывает все кадры выше первого кадра, имя которого совпадает с шаблоном, поэтому граф начинается прямо с кода Jmix UI. Для запросов REST API и сервисов вместо io/jmix/flowui указывают пакет приложения. Параметр -hide убирает кадры по шаблону из середины стеков, а их собственное время относит к ближайшей видимой вызывающей функции. Те же фильтры задаются в меню REFINE веб-интерфейса (Focus, Ignore, Hide, Show, Show from), а набор фильтров сохраняется командой CONFIG → Save as. Без установленного Go pprof запускают в контейнере:

docker run --rm -p 8081:8081 -v "$PWD:/p" golang:1.23-alpine \
  go tool pprof -no_browser -http=0.0.0.0:8081 /p/profile.pb.gz

Экспорт из Drilldown объединяет самые мелкие узлы профиля в узел other, поэтому для подробного разбора выгружают профиль за короткий интервал.

С этими фильтрами граф профиля процессора Petclinic начинается с View.beforeEnter: под ним наблюдение жизненного цикла экрана, загрузчик данных и UnconstrainedDataManagerImpl.loadList. За 4 минуты нагрузки loadList занял 94 с процессорного времени: 48 с из них — события после загрузки (AbstractDataStore.fireEvent, в основном JpaLazyLoadingListener.afterEntityLoad), 29 с — выполнение запроса (JpaDataStore.loadAll). Во флейм-графе Grafana это соотношение разбито по множеству стеков под кадрами Tomcat и Spring и не видно.

Блокировка сессии Vaadin

Vaadin обрабатывает запросы одной сессии пользователя последовательно: перед обработкой запрос захватывает блокировку сессии (VaadinService.lockSession, VaadinSession.lock). Пока один запрос сессии выполняется, остальные запросы этой сессии ждут: например, запросы из других вкладок браузера того же пользователя или запросы push-соединения.

Такое ожидание не тратит процессорное время и поэтому не видно в профиле процессора. Его показывает профиль блокировок типа block: в нём ожидающие потоки видны в стеке VaadinService.lockSession → VaadinSession.lock → ReentrantLock.lock. Например, когда четыре вкладки одной сессии одновременно и многократно открывали экран, загрузка данных которого занимает около 400 мс, за 3 минуты потоки суммарно ждали блокировку сессии около 2,6 минуты.

Долгая операция в обработчике события экрана держит блокировку сессии всё время своего выполнения. Такие операции выполняют в фоновых задачах: они работают вне блокировки сессии, и интерфейс остаётся доступным.

Связь профилей со спанами

Сам по себе профиль связан с метриками и трейсами только именем сервиса и временем: агент снимает стеки всей JVM, не различая запросы. Чтобы получить профиль конкретного запроса, к трассировке подключают обработчик спанов из библиотеки Pyroscope io.pyroscope:otel. Пока выполняется корневой спан запроса, обработчик помечает снимаемые стеки идентификатором этого спана и записывает идентификатор в атрибут спана pyroscope.profile.id.

build.gradle
implementation 'io.pyroscope:otel:2.1.4'
@Bean
public SpanProcessor pyroscopeSpanProcessor() {
    return new PyroscopeOtelSpanProcessor();
}

Spring Boot автоматически добавляет бины SpanProcessor в конфигурацию OpenTelemetry. Java-агент Pyroscope подключается так же, как описано в разделе Подключение агента.

В Grafana подробности такого спана содержат кнопку Profiles for this span и флейм-граф процессорного времени, затраченного на этот запрос. Для этого в источнике данных Tempo настраивается переход к профилям (Trace to profiles): указывается источник данных Pyroscope и тип профиля. В образе grafana/otel-lgtm этот переход не настроен, его задают в настройках источника данных Tempo, см. Configure trace to profiles.

Grafana: слева трейс запроса и подробности корневого спана с кнопкой Profiles for this span, справа флейм-граф этого спана со свёрнутыми группами кадров и выделенными методами Jmix
Figure 1. Корневой спан запроса и профиль процессора за время этого спана

Например, у корневого спана запроса длительностью 497 мс профиль процессора содержит 300 мс процессорного времени. Кнопка Collapse all groups сворачивает цепочки кадров Tomcat, Spring и Vaadin в строки с числом кадров, например (158) java/lang/Thread.run, а поиск jmix выделяет методы Jmix. Самая широкая ветвь Jmix в этом профиле — AbstractDataStore.fireEvent (130 мс), обработка загруженных сущностей.

События выделения памяти тоже помечаются идентификатором спана. Чтобы увидеть, сколько памяти выделил запрос и где, в открывшемся запросе Pyroscope тип профиля переключают на memory → alloc_in_new_tlab_bytes.

Для того же запроса профиль выделения памяти за время его корневого спана показывает, что запрос выделил 175 МиБ, из них 89 МиБ — обработка загруженных сущностей (AbstractDataStore.fireEvent и вызываемый из неё JpaLazyLoadingListener).

У связи профилей со спанами есть ограничения:

  • Переход из спана в Grafana открывает тот тип профиля, который указан в настройке перехода к профилям, например профиль процессора. Другие типы выбираются в открывшемся запросе.

  • По умолчанию идентификатор получают только корневые спаны: входящий HTTP-запрос, в том числе пришедший из другого сервиса. Дочерние спаны, например view lifecycle или load list of entities, отдельного профиля не получают, их методы входят в профиль корневого спана. Отключать это настройкой PyroscopeOtelConfiguration.Builder.setRootSpanOnly(false) не стоит: у потока одна метка, и завершившийся дочерний спан сбрасывает её, поэтому остаток работы родительского спана в его профиль уже не попадает. Долю дочерней операции в профиле корневого спана показывают Focus block или Sandwich view на её методе.

  • Метка спана привязана к потоку. Работа, которую запрос передаёт в другие потоки, например в фоновые задачи, в профиль спана не входит.

  • Спан короче интервала снятия стеков (10 мс) может не получить ни одного отсчёта.

  • Если Pyroscope отклоняет отправки агента из-за своих лимитов, вместе с ними пропадают и отсчёты спанов: кнопка Profiles for this span есть, а профиль пуст (0 samples). Лимиты описаны в разделе Настройка для промышленной эксплуатации.

Настройка для промышленной эксплуатации

Java-агент Pyroscope по умолчанию собирает только профиль процессора. Профили выделения памяти и блокировок включаются переменными окружения PYROSCOPE_PROFILER_ALLOC и PYROSCOPE_PROFILER_LOCK. Их значения определяют, как часто агент записывает события: для памяти — объём выделений между двумя записями, для блокировок — минимальная длительность ожидания, начиная с которой блокировка попадает в профиль. Для постоянной работы начинают со значений 512k и 10ms. Значение 0 записывает каждое событие и увеличивает нагрузку на приложение. См. документацию Pyroscope.

Pyroscope ограничивает размер и частоту приёма профилей. Значения по умолчанию — 4 МБ на профиль после распаковки (limits.max_profile_size_bytes) и 4 МБ/с на приём (limits.ingestion_rate_mb, запас для кратковременных всплесков — limits.ingestion_burst_size_mb). Под нагрузкой профиль, который агент отправляет раз в 10 секунд, с включёнными профилями памяти и блокировок может превысить эти лимиты. Pyroscope тогда отклоняет отправку с кодом 422, а агент записывает в лог приложения Error uploading snapshot: 422 с сообщением decompressed size exceeds maximum allowed size или push rate limit …​ exceeded. Например, при нагрузке в 30 пользователей и значениях 512k и 10ms агент получал эту ошибку при каждой отправке, раз в 10 секунд. Отклонённые профили теряются целиком, поэтому при появлении этих сообщений лимиты Pyroscope увеличивают или сокращают число собираемых событий.

Срок хранения профилей в Pyroscope задаётся параметром limits.retention_period (по умолчанию 31d), см. параметры конфигурации Pyroscope.

См. также