XGBoost
| XGBoost
| |
|---|---|
| |
| Basisdaten
| |
| Entwickler | XGBoost Community |
| Erscheinungsjahr | 2014 |
| Aktuelle Version | 2.0.3[1] (19. Dezember 2023) |
| Betriebssystem | Linux, macOS, Windows |
| Programmiersprache | C++ |
| Kategorie | Maschinelles Lernen |
| Lizenz | Apache License 2.0 |
| https://xgboost.ai/ | |
XGBoost[2] (eXtreme Gradient Boosting) ist eine open-source Softwarebibliothek, die ein Gradient-Boosting-Verfahren für die Programmiersprachen C++, Java, Python,[3] R,[4] Julia,[5] Perl[6] und Scala zur Verfügung stellt. Es funktioniert mit den Betriebssystemen Linux, Windows[7] und macOS[8] sowohl auf einer einzelnen Maschine als auch auf verteilten Verarbeitungsframeworks wie Apache Hadoop, Apache Spark, Apache Flink, and Dask.[9][10] Das Framework stellt eine „skalierbare, portierbare und verteilte Gradient Boosting (GBM, GBRT oder GBDT) Bibliothek“ bereit.
XGBoost hat im Jahr 2016 viel Popularität und Aufmerksamkeit erlangt, da es der Algorithmus der Wahl für viele Siegerteams von Wettbewerben für maschinelles Lernen ist.[11]
Geschichte
XGBoost wurde ursprünglich als Forschungsprojekt von Tianqi Chen im Rahmen der Distributed-(Deep) Machine-Learning-Common (DMLC)-Gruppe gestartet. Anfänglich war es eine Terminalanwendung, die mithilfe einer libsvm-Konfigurationsdatei konfiguriert werden konnte.[12] Es wurde in den Kreisen der ML-Wettbewerbe bekannt, nachdem es in der Siegerlösung der Higgs Machine Learning Challenge verwendet worden war.[13] Bald darauf wurden die Python- und R-Pakete erstellt, und XGBoost hat nun Paketimplementierungen für Java, Scala, Julia, Perl und andere Sprachen. Dies machte die Bibliothek für mehr Entwickler zugänglich und trug zu ihrer Popularität in der Kaggle-Gemeinschaft bei, wo sie bisher für eine große Anzahl von Wettbewerben verwendet wurde.[11]
Es wurde bald in eine Reihe anderer Pakete integriert, um die Nutzung in den jeweiligen Communities zu erleichtern. Für Python-Nutzer wurde es nun in scikit-learn und für R-Nutzer in das caret-Paket integriert.[14] Es kann auch in Datenfluss-Frameworks wie Apache Spark, Apache Hadoop und Apache Flink unter Verwendung der abstrahierten Rabit[15] und XGBoost4J integriert werden.[16] XGBoost ist auch auf OpenCL für FPGAs verfügbar.[17] Eine effiziente, skalierbare Implementierung von XGBoost wurde von Tianqi Chen und Carlos Guestrin veröffentlicht.[18]
Mit dem XGBoost-Modell wird zwar oft eine höhere Genauigkeit als mit einem einzelnen Entscheidungsbaum erreicht, aber die eigentliche Interpretierbarkeit von Entscheidungsbäumen geht dabei verloren. So ist es beispielsweise trivial, den Weg eines Entscheidungsbaums zu verfolgen, aber es ist viel schwieriger, die Wege von Hunderten oder Tausenden von Bäumen zu verfolgen. Um sowohl Leistung als auch Interpretierbarkeit zu erreichen, ermöglichen einige Modellkomprimierungstechniken die Umwandlung eines XGBoost in einen einzigen „wiedergeborenen“ Entscheidungsbaum, der dieselbe Entscheidungsfunktion approximiert.[19]
Merkmale
Zu den wichtigsten Merkmalen von XGBoost, die es von anderen Gradient-Boosting-Algorithmen unterscheiden, gehören:[20][21][22]
- clevere „Bestrafung“ von Bäumen
- proportionale Schrumpfung der Blattknoten
- Newton-Boosting
- zusätzlicher Randomisierungsparameter
- Implementierung auf einzelnen, verteilten Systemen und Out-of-Core-Berechnungen
- automatische Auswahl von Merkmalen
Algorithmus
XGBoost arbeitet als Newton-Raphson-Verfahren im Funktionsraum, im Gegensatz zum Gradient Boosting, das als Gradientenabstieg im Funktionsraum arbeitet. In der Verlustfunktion wird eine Taylor-Approximation zweiter Ordnung verwendet, um die Verbindung zum Newton-Raphson-Verfahren herzustellen.
Ein allgemeiner unregulierter XGBoost-Algorithmus ist:
Eingabe: Trainingsmenge , eine differenzierbare Verlustfunktion , eine Anzahl von schwachen Lernern und eine Lernrate .
Algorithmus:
- Modell mit einem konstanten Wert initialisieren:
- Für m = 1 zu M:
- Berechnung des Gradienten (1. Ableitung) und der Hesse-Matrix (2. Ableitung):
- Anpassen eines Basis-Learners (oder schwachen Lerners, z. B. Baum) unter Verwendung der Trainingsmenge durch Lösen des nachstehenden Optimierungsproblems:
- Modell updaten:
- Berechnung des Gradienten (1. Ableitung) und der Hesse-Matrix (2. Ableitung):
- Ergebnis
![{\displaystyle {\hat {g}}_{m}(x_{i})=\left[{\frac {\partial L(y_{i},f(x_{i}))}{\partial f(x_{i})}}\right]_{f(x)={\hat {f}}_{(m-1)}(x)}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/be093d016afbf04f2f7634a5d69b36e3d7cbeb4c)
![{\displaystyle {\hat {h}}_{m}(x_{i})=\left[{\frac {\partial ^{2}L(y_{i},f(x_{i}))}{\partial f(x_{i})^{2}}}\right]_{f(x)={\hat {f}}_{(m-1)}(x)}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/cc36b1bf7ab5a01fb1427ce4313ac5e1ba64c3fc)
![{\displaystyle {\hat {\phi }}_{m}={\underset {\phi \in \mathbf {\Phi } }{\arg \min }}\sum _{i=1}^{N}{\frac {1}{2}}{\hat {h}}_{m}(x_{i})\left[-{\frac {{\hat {g}}_{m}(x_{i})}{{\hat {h}}_{m}(x_{i})}}-\phi (x_{i})\right]^{2}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c1f2cd5af557531fe11e1854b9626cd787f92990)
Auszeichnungen
Einzelnachweise
- ↑ Release 2.0.3. 19. Dezember 2023 (abgerufen am 19. Dezember 2023).
- ↑ GitHub project webpage. In: GitHub. Juni 2022.
- ↑ Python Package Index PYPI: xgboost. Abgerufen am 1. August 2016.
- ↑ CRAN package xgboost. Abgerufen am 1. August 2016.
- ↑ Julia package listing xgboost. Archiviert vom am 18. August 2016; abgerufen am 1. August 2016. Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.
- ↑ CPAN module AI::XGBoost. Abgerufen am 9. Februar 2020.
- ↑ Installing XGBoost for Anaconda in Windows. In: IBM. Abgerufen am 1. August 2016.
- ↑ Installing XGBoost on Mac OSX. In: IBM. Abgerufen am 1. August 2016.
- ↑ Dask Homepage.
- ↑ Distributed XGBoost with Dask — xgboost 1.5.0-dev documentation. In: xgboost.readthedocs.io. Abgerufen am 15. Juli 2021.
- ↑ a b XGBoost - ML winning solutions (incomplete list). In: GitHub. Abgerufen am 1. August 2016.
- ↑ Story and Lessons Behind the Evolution of XGBoost. nttrungmt-wiki, abgerufen am 10. Juni 2022 (englisch).
- ↑ Higgs Boson Machine Learning Challenge, auf kaggle.com
- ↑ A Short Introduction to the caret Package, auf cran.rstudio.com/
- ↑ Rabit - Reliable Allreduce and Broadcast Interface. In: GitHub. Abgerufen am 1. August 2016.
- ↑ XGBoost4J. Abgerufen am 1. August 2016.
- ↑ XGBoost on FPGAs. In: GitHub. Abgerufen am 1. August 2019.
- ↑ Tianqi Chen, Carlos Guestrin: XGBoost: A Scalable Tree Boosting System. 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Hrsg.: Balaji Krishnapuram, Mohak Shah, Alexander J. Smola, Charu C. Aggarwal, Dou Shen, Rajeev Rastogi. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, CA, USA, August 13-17, 2016. ACM, 2016, S. 785–794, doi:10.1145/2939672.2939785 (englisch).
- ↑ Omer Sagi, Lior Rokach: Approximating XGBoost with an interpretable decision tree. In: Information Sciences. 572. Jahrgang, Nr. 2021, 2021, S. 522–542, doi:10.1016/j.ins.2021.05.055.
- ↑ Rohith Gandhi: Gradient Boosting and XGBoost. In: Medium. 24. Mai 2019, abgerufen am 4. Januar 2020 (englisch).
- ↑ Boosting algorithm: XGBoost. In: Towards Data Science. 14. Mai 2017, archiviert vom am 6. April 2022; abgerufen am 4. Januar 2020 (englisch). Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.
- ↑ Tree Boosting With XGBoost – Why Does XGBoost Win "Every" Machine Learning Competition? In: Synced. 22. Oktober 2017, abgerufen am 4. Januar 2020 (amerikanisches Englisch).
- ↑ John Chambers Award Previous Winners. Abgerufen am 10. Juni 2022.
- ↑ HEP meets ML Award. Abgerufen am 10. Juni 2022.
