Клюковкин Г.К. Оптимизация гиперпараметров с использованием Grid Search, Random Search и Optuna // Science Time. 2019. № 10(70). С. 69-76.

Статья: Клюковкин Г.К. 2019-10.pdf

Полный выпуск: Science Time. Выпуск № 10 (2019).pdf

ОПТИМИЗАЦИЯ ГИПЕРПАРАМЕТРОВ

С ИСПОЛЬЗОВАНИЕМ GRID SEARCH,

RANDOM SEARCH И OPTUNA

Клюковкин Георгий Константинович,

специалист по актуарным расчётам и аналитике рисков,

Страховая компания «Капитал-Полис», г. Санкт-Петербург

E-mail: kliukovkin@gmail.com

Аннотация. В статье рассматривается сравнительный теоретический анализ трёх наиболее распространённых подходов к подбору гиперпараметров: Grid Search, Random Search и байесовской оптимизации на примере библиотеки Optuna. Grid Search обеспечивает полный перебор параметров, но ограничен высоким ресурсопотреблением. Random Search даёт больше гибкости и позволяет эффективнее исследовать пространство параметров, однако лишён адаптивности. Optuna, опирающаяся на метод Tree-structured Parzen Estimator, демонстрирует лучшие результаты при меньших затратах благодаря использованию информации о предыдущих итерациях и механизму прерывания неэффективных запусков. Результаты исследования подчеркивают перспективность Optuna в задачах с ограниченными вычислительными ресурсами и высокой размерностью пространства параметров. Сделан вывод о целесообразности применения гибридных и адаптивных стратегий в рамках AutoML и метаобучения.

Ключевые слова: оптимизация гиперпараметров, машинное обучение, Grid Search, Random Search, Optuna, байесовская оптимизация, TPE, AutoML, сравнение методов, эффективность алгоритмов.

Актуальность исследования

Актуальность исследования обусловлена стремительным развитием технологий машинного обучения, где качество построенных моделей во многом зависит от корректного подбора гиперпараметров.

Гиперпараметры – это параметры, которые не обучаются непосредственно во время тренировки модели, но определяют архитектуру модели, стратегию обучения и общую её способность к обобщению. В условиях роста сложности моделей и объёма обрабатываемых данных задача их оптимизации становится критически важной. Традиционные методы перебора, такие как Grid Search, предполагающие полный перебор комбинаций, обеспечивают детерминированность, но требуют значительных вычислительных ресурсов, особенно в высокоразмерных пространствах. Random Search, предлагающий случайный выбор конфигураций, демонстрирует большую эффективность при ограниченных ресурсах, но не использует информацию о предыдущих попытках.

В этих условиях всё большую популярность приобретает библиотека Optuna, основанная на байесовской оптимизации и модели Tree-structured Parzen Estimator (TPE), которая позволяет динамически формировать стратегию поиска, отбрасывать заведомо неэффективные направления и экономить ресурсы. Благодаря высокой гибкости, масштабируемости и возможности интеграции с современными ML-фреймворками, Optuna активно используется как в научных исследованиях, так и в прикладных проектах.

В совокупности всё это делает сравнительный анализ методов Grid Search, Random Search и Optuna крайне актуальным с точки зрения оптимизации процессов машинного обучения, повышения эффективности вычислений и улучшения качества моделей.

Цель исследования

Цель данного исследования заключается в сравнительном анализе методов оптимизации гиперпараметров: Grid Search, Random Search и Optuna.

Материалы и методы исследования

Материалы исследования включают открытые научные публикации, документацию к библиотекам машинного обучения, статьи из научных журналов и блогов.

Методологическая база строится на аналитическом сравнении алгоритмов оптимизации гиперпараметров с точки зрения их вычислительной эффективности, адаптивности, сложности реализации, масштабируемости и устойчивости к высокой размерности. В работе применялись методы теоретического анализа, систематизации и визуального моделирования.

Результаты исследования

Определение гиперпараметров чётко отделяется от параметров модели: первые задаются до тренировки и управляют структурой и поведением алгоритма, тогда как вторые изучаются в процессе обучения. От качества выбора гиперпараметров зависит обобщающая способность модели, устойчивость к переобучению и эффективность обучения.

Grid Search выполняет полный перебор возможных комбинаций. Это гарантирует нахождение лучших параметров внутри заданного дискретного пространства, но страдает от экспоненциального роста числа испытаний при увеличении числа гиперпараметров или их диапазонов – эффект «проклятия размерности».

Random Search, напротив, случайно выбирает комбинации, что позволяет исследовать непрерывные пространства более гибко и с большей вероятностью наткнуться на важные параметры. Бергстра и Бенгио доказали, что при ограниченном числе важных гиперпараметров Random Search превосходит Grid Search, позволяя быстрее найти близкие к оптимуму конфигурации [4].

Bayesian-оптимизация представляет собой теоретически более продвинутый подход. Она строит вероятностную модель (например, на основе Gaussian Process или TPE) отображения гиперпараметров в метрику качества, и с её учетом выбирает наиболее перспективные области для следующего испытания. Это обеспечивает баланс между исследованием новых областей и углублением в уже успешные. Согласно эмпирике, этот подход даёт те же или лучшие результаты при существенно меньшем числе итераций – до 7 раз быстрее, с сокращением времени в 5 раз. Особенно эффективен он на непрерывных пространствах средней размерности (< 20), где стоимость каждого запуска значительна.

Классификация методов по степени исчерпаемости пространства поиска опирается на их стратегию покрытия области:

– Grid Search – исчерпывающий: гарантированно проходит по всей решётке заданной области, но требует дискретизации и страдает от экспансивного роста вычислительных затрат с размерностью.

– Random Search – стохастический: исследует пространство более равномерно в случае непрерывных параметров, но не гарантирует покрытие, хотя позволяет дотянуться до неожиданных областей.

– Bayesian-оптимизация – адаптивный: направленно изучает пространство, использует информацию о предыдущих попытках, и постепенно уточняет модель, сводя к минимуму число неэффективных запусков.

Метод Grid Search представляет собой классический подход к оптимизации гиперпараметров, широко описанный в литературе и реализации инструментариях машинного обучения. Его суть заключается в полном переборе заранее определённой дискретной решётки значений каждого гиперпараметра: алгоритм обучается на каждой комбинации и оценивает качество по метрике (например, accuracy, F1‑score). Этот подход обеспечивает систематический охват всего пространства по заранее заданным точкам, что делает его прозрачным и детерминированным.

На рисунке 1 с точечной матрицей видно, что Grid Search создает регулярную сетку, где каждая точка – это одна конфигурация системы обучения. Такой подход гарантирует, что оптимальное значение будет найдено, если оно лежит на сетке. Однако это становится серьезным ограничением: при высокой размерности или широком диапазоне параметров число комбинаций растет экспоненциально. Вследствие чего вычислительные затраты возрастают, что делает метод непрактичным в реальных задачах с более чем 3-4 гиперпараметрами.

Рис. 1 Схема метода Grid Search в пространстве двух гиперпараметров

Кроме того, Grid Search не учитывает возможные взаимодействия между гиперпараметрами – каждая проверка независима, и адаптивности или концентрации усилий на наиболее перспективных областях нет. Это особенно актуально при нелинейной чувствительности модели к параметрам: пересечение значений может давать выигрыш, но его можно упустить из-за грубой дискретизации.

Grid Search легко масштабируется благодаря независимости запусков: его просто распараллелить, но каждый запуск требует отдельного обучения модели, что увеличивает общую нагрузку. Систематичность подхода ценится в академических задачах и при небольшой размерности, но для сложных задач его применимость ограничена.

Метод Random Search представляет собой широко признанный в научной среде стохастический подход к оптимизации гиперпараметров машинного обучения (рисунок 2).

Рис. 2 Пространство гиперпараметров,

исследуемое методом Random Search

В отличие от Grid Search, который систематически покрывает дискретную решётку, Random Search просто случайным образом выбирает точки в пространстве параметров, что значительно повышает эффективность в условиях большого числа параметров и непрерывных диапазонов.

Одной из ключевых причин успешности Random Search является низкая эффективная размерность многих задач машинного обучения: оказывается, что оптимизация часто зависит лишь от нескольких важнейших гиперпараметров, тогда как остальные оказываются менее значимыми. Алгоритм случайного перебора сочетает простоту реализации, лёгкую параллелизацию и способность включать априорное распределение для выборки, что делает его устойчивой базовой стратегией оптимизации гиперпараметров.

На практике Random Search значительно выигрывает в пространствах с десятками гиперпараметров: исследования показывают, что даже при сотне случайных проб вероятность найти «хорошую» конфигурацию превышает 95%.

Важной особенностью Random Search является возможность гибкой настройки бюджета оптимизации. Можно определить, сколько комбинаций будет проверено, без необходимости пересчитывать всю сетку, как это требуется в Grid Search. Это делает метод пригодным для итеративного подхода: сначала широкий случайный поиск, затем точечное уточнение в удачных областях.

Тем не менее, Random Search не является универсальным решением. Он не использует информацию о предыдущих запусках (нет адаптивности) и может пропустить узко локализованные оптимумы. Когда важна быстрая сходимость или сложная структура пространства, требуются более продвинутые методы, например, Bayesian Optimization или гибриды с ранним прекращением.

Библиотека Optuna – это современный фреймворк для автоматической оптимизации гиперпараметров, широко применяемый в ML‑практике и поддерживающий методы байесовской оптимизации, включая Tree‑structured Parzen Estimator (TPE), Gaussian Process (GP), а также CMA‑ES, NSGA‑II и другие [3].

По умолчанию Optuna использует TPESampler – реализацию TPE, опирающуюся на историю предыдущих испытаний. Он строит два распределения: ?(?) для лучших результатов и ?(?) для остальных, и выбирает следующий параметр, максимизируя отношение ?(?)/?(?). Это позволяет адаптивно балансировать между исследованием неизведанных областей и углублением в перспективные. Эксперименты показывают, что такой подход обеспечивает ускорение поиска оптимума при сокращении числа запусков и ресурсоёмкости, особенно в пространствах до ~20 гиперпараметров [2].

На практике Optuna демонстрирует значительные улучшения. В сравнении с Hyperopt показано, что TPE в Optuna стабильно обеспечивает чуть лучшие результаты, а при использовании pruning скорость может увеличиваться в 4 раза за те же ресурсы. Исследования AutoML-фреймворков подтверждают, что Optuna превосходит Hyperopt и другие решения по качеству и удобству, особенно в задачах CASH.

Библиотека сопровождается богатыми инструментами визуализации: параллельные координаты, контурные и slice‑графики для анализа влияния параметров, история оптимизации, важности параметров, Pareto-фронты для мультизадачного поиска. Также доступен веб‑интерфейс Optuna Dashboard с интерактивным просмотром истории и метрик [1].

Важный архитектурный аспект – легкая горизонтальная масштабируемость. Благодаря define‑by‑run API и поддержке многопроцессного и распределённого запуска (в том числе с gRPC Storage Proxy для больших кластеров), Optuna соответствует требованиям крупномасштабных проектов. Например, при 300 воркерах и 10 000 испытаний gRPC прокси позволил сократить нагрузку на RDB в 60%, оставив при этом высокую скорость.

Таблица ниже содержит систематизированное сравнение трёх популярных методов оптимизации гиперпараметров – Grid Search, Random Search и Optuna. Оценка проводится по ключевым параметрам, включая эффективность, адаптивность, ресурсоёмкость, применимость к различным задачам и поддержку дополнительных функций.

Таблица 1

Сравнительный анализ методов оптимизации

гиперпараметров: Grid Search, Random Search и Optuna

Существующие методы оптимизации гиперпараметров обладают как преимуществами, так и ограничениями.

Grid Search прост и воспроизводим, но становится неэффективным при увеличении числа параметров из-за экспоненциального роста числа комбинаций. Он не адаптивен и плохо работает в непрерывных или высокоразмерных пространствах. Перспективы его применения ограничиваются базовыми задачами и обучением.

Random Search охватывает пространство более гибко и лучше подходит для задач с большим числом параметров. Однако он не использует информацию о прошлых запусках и не может адаптировать стратегию поиска. Тем не менее, он часто используется как начальный этап в гибридных стратегиях оптимизации [5].

Optuna, основанный на байесовской оптимизации (TPE), представляет собой интеллектуальный подход с адаптивным поиском, возможностью прерывания неэффективных попыток и мощной визуализацией. Его основные ограничения – чувствительность к качеству модели и снижение эффективности в очень высокоразмерных пространствах.

Среди перспектив – интеграция с AutoML, развитие мультиобъективной оптимизации (например, точность + скорость), применение метаобучения и гибридизация методов. Важным вызовом остаётся обеспечение воспроизводимости и устойчивости найденных решений на новых данных.

Выводы

Сравнение Grid Search, Random Search и Optuna показывает, что универсального решения для всех типов задач не существует, однако современные тенденции явно указывают на преимущество адаптивных и интеллектуальных методов. Grid Search применим лишь в условиях ограниченного числа параметров и ресурсов, тогда как Random Search обеспечивает более гибкое покрытие пространства, но проигрывает в адаптивности. Оптимальные результаты показывает Optuna – современная библиотека байесовской оптимизации, способная эффективно использовать историю запусков и раннее прерывание. Особенно высока её применимость в задачах AutoML, нейросетевого моделирования и комплексной оптимизации. При этом необходимо учитывать ограничения каждого подхода – от вычислительных затрат до сложности настройки.

Будущее оптимизации гиперпараметров связано с развитием гибридных стратегий, метаобучения и мультиобъективных подходов, способных учитывать не только качество модели, но и скорость, интерпретируемость и устойчивость решений.

Литература:

1. Понимаем функцию enumerate в Python на примере кода [Электронный ресурс]. – Режим доступа: https://sky.pro/wiki/python/ponimaem-funktsiyu-enumerate-v-python-na-primere-koda/.

2. Auto-WEKA 2.0: Automatic model selection and hyperparameter optimization in WEKA [Электронный ресурс]. – Режим доступа: https://www.researchgate.net/publication/317984194_Auto-WEKA_20_Automatic_model_selection_and_hyperparameter_optimization_in_WEKA.

3. Efficient Optimization Algorithms – Optuna 4.4.0 documentation [Электронный ресурс]. – Режим доступа: https://optuna.readthedocs.io/en/stable/tutorial/10_key_features/003_efficient_optimization_algorithms.html.

4. Random Search for Hyper-Parameter Optimization | Request PDF [Электронный ресурс]. – Режим доступа: https://www.researchgate.net/publication/262395872_Random_Search_for_Hyper-Parameter_Optimization.

5. Sequential Model-Based Optimization for General Algorithm Configuration | SpringerLink [Электронный ресурс]. – Режим доступа: https://link.springer.com/chapter/10.1007/978-3-642-25566-3_40.