Меню Главная Случайная статья Настройки XGBoost Материал из https://ru.wikipedia.org XGBoost[1] (eXtreme Gradient Boosting) — это библиотека с открытым исходным кодом, используемая в машинном обучении и предоставляющая функциональность для решения задач, связанных с регуляризацией градиентного бустинга. Библиотека поддерживается языками программирования C++, Java, Python[2], R[3], Julia[4], Perl[5] и Scala. Библиотека работает под ОС Linux, Windows[6], и macOS[7]. Она работает как на одной машине, так и на системах распределенной обработки Apache Hadoop, Apache Spark и Apache Flink. В последнее время эта библиотека приобрела большую популярность и привлекла внимание как выбор многих команд-победителей соревнований по машинному обучению[8]. Содержание 1 История 2 Функционал 3 Описание алгоритма 4 Награды 5 Примечания История XGBoost изначально начинался как исследовательский проект Чэн Тяньци[9] как часть группы Distributed (Deep) Machine Learning Community (DMLC). Изначально она начиналась как консольная программа, которую можно было настроить с помощью конфигурационного файла libsvm. XGBoost стал широко известен в кругах участников соревнований по машинному обучению после его использования в решении победителя конкурса Higgs Machine Learning Challenge. Вскоре после этого были созданы пакеты для Python и R, и теперь XGBoost имеет реализации пакетов для Java, Scala, Julia, Perl и других языков. Это позволило привлечь к библиотеке больше разработчиков и способствовало ее популярности среди сообщества Kaggle, где она использовалась для проведения большого количества соревнований[8]. Вскоре XGBoost был интегрирован с рядом других пакетов, что упростило его использование в соответствующих сообществах. Сейчас он интегрирован в scikit-learn для пользователей Python и в пакет caret для пользователей R. Он также может быть интегрирован в такие фреймворки Data Flow, как Apache Spark, Apache Hadoop и Apache Flink с помощью абстрактного Rabit[10] и XGBoost4J[11]. XGBoost также доступен на OpenCL для ПЛИС[12]. Эффективная, масштабируемая реализация XGBoost была опубликована Чэн Тяньци и Карлосом Густрином[13]. Хотя модель XGBoost часто достигает более высокой точности, чем одно дерево решений, она жертвует присущей деревьям решений интерпретируемостью. Например, проследить путь, по которому дерево решений принимает решение, тривиально и самообъяснимо, но проследить пути сотен или тысяч деревьев гораздо сложнее. Для достижения производительности и интерпретируемости некоторые методы сжатия моделей позволяют преобразовать XGBoost в одно "перерожденное" дерево решений, которое аппроксимирует ту же функцию принятия решений[14]. Функционал Основные особенности XGBoost, отличающие его от других алгоритмов градиентного бустинга, включают:[15][16][17]. Умная штрафовка деревьев Пропорциональное уменьшение узлов листьев Метод Ньютона в оптимизации Дополнительный параметр рандомизации Реализация на одиночных, распределенных системах и out-of-core вычислениях Автоматический отбор признаков Описание алгоритма XGBoost использует Метод Ньютона-Рафсона в пространстве функций, в отличие от градиентного бустинга, который работает как градиентный спуск в пространстве функций, в функции потерь используется ряд Тейлора второго порядка для связи с методом Ньютона-Рафсона. Общий вид нерегуляризованного алгоритма XGBoost: Вход: обучающее множество ${\displaystyle \{(x_{i},y_{i})\}_{i=1}^{N}}$, дифференцируемая функция потерь ${\displaystyle L(y,F(x))}$, число слабых обучающихся ${\displaystyle M}$ и скорость обучения ${\displaystyle \alpha }$. Алгоритм: Инициализировать модель постоянным значением: ${\displaystyle {\hat {f}}_{(0)}(x)={\underset {\theta }{\arg \min }}\sum _{i=1}^{N}L(y_{i},\theta ).}$ Для m = от 1 до Результат: ${\displaystyle {\hat {f}}(x)={\hat {f}}_{(M)}(x)=\sum _{m=0}^{M}{\hat {f}}_{m}(x).}$ Награды Премия John Chambers (2016)[18] Премия High Energy Physics meets Machine Learning award (HEP meets ML) (2016)[19] Примечания Ссылка на страницу проекта . GitHub. Дата обращения: 17 апреля 2022. Архивировано 1 апреля 2021 года. Python Package Index PYPI: xgboost . Дата обращения: 1 августа 2016. Архивировано 23 августа 2017 года. CRAN package xgboost . Дата обращения: 1 августа 2016. Архивировано 26 октября 2018 года. Julia package listing xgboost . Дата обращения: 1 августа 2016. Архивировано из оригинала 18 августа 2016 года. CPAN module AI::XGBoost . Дата обращения: 9 февраля 2020. Архивировано 6 октября 2021 года. Installing XGBoost for Anaconda in Windows . IBM. Дата обращения: 1 августа 2016. Архивировано 8 мая 2018 года. Installing XGBoost on Mac OSX . IBM. Дата обращения: 1 августа 2016. Архивировано 8 мая 2018 года. 1 2 XGBoost - ML winning solutions (incomplete list) . GitHub. Дата обращения: 1 августа 2016. Архивировано 24 августа 2017 года. Story and Lessons behind the evolution of XGBoost . Дата обращения: 1 августа 2016. Архивировано из оригинала 7 августа 2016 года. Rabit - Reliable Allreduce and Broadcast Interface . GitHub. Дата обращения: 1 августа 2016. Архивировано 11 июня 2018 года. html XGBoost4J  (недоступная ссылка — html история). Дата обращения: 1 августа 2016. com/InAccel/xgboost XGBoost on FPGAs  (недоступная ссылка — com/InAccel/xgboost история). Дата обращения: 1 августа 2019. Chen, Tianqi; Guestrin, Carlos (2016). Krishnapuram, Balaji; Shah, Mohak; Aggarwal, Charu C.; Shen, Dou; Rastogi, Rajeev (eds.). Труды 22-й Международной конференции ACM SIGKDD по обнаружению знаний и добыче данных, Сан-Франциско, Калифорния, США, 13-17 августа 2016 года. ACM. pp. 785–794. arXiv:1603.02754. doi:10.1145/2939672.2939785. {{cite conference}}: Неизвестный параметр |вклад= игнорируется (справка); Неизвестный параметр |редактор3-первый= игнорируется (справка); Неизвестный параметр |редактор3-последний= игнорируется (справка); Пропущен |editor3= (справка) Gandhi, Rohith. Gradient Boosting and XGBoost (англ.). Medium (24 мая 2019). Дата обращения: 4 января 2020. Архивировано 31 июля 2022 года. Boosting algorithm: XGBoost (англ.). Towards Data Science (14 мая 2017). Дата обращения: 4 января 2020. Архивировано из оригинала 6 апреля 2022 года. Tree Boosting With XGBoost - Why Does XGBoost Win "Every" Machine Learning Competition? (амер. англ.). Synced (22 октября 2017). Дата обращения: 4 января 2020. Архивировано 23 августа 2022 года. John Chambers Award Previous Winners . Дата обращения: 1 августа 2016. Архивировано 31 июля 2017 года. HEP meets ML Award . Дата обращения: 1 августа 2016. Архивировано 8 мая 2018 года.