Machine Learning Taxonomy

Machine Learning 是 Artificial Intelligence 的一个子领域。该数据集参考了ACM分类树，在此基础上进行了调整以及大量的扩充，形成了共7层包含406个machine learning领域相关概念的层次分类树。数据如下所示。

Machine learning approaches

• Supervised learning by regression
  • Linear regression
    • Robust linear regression
    • Ridge regression
    • Bayesian linear regression
    • log-linear regression
    • generalized linear model
    • multivariate linear regression
  • Kernel methods
    • Kernel functions
      • RBF kernels
      • Mercer kernels
      • Linear kernels
      • Matern kernels
      • String kernels
      • Pyramid match kernels
      • Kernels derived from probabilistic generative models
    • kernel trick
      • Kernelized nearest neighbor classification
      • Kernelized K-medoids clustering
      • Kernelized ridge regression
      • Kernel Principal component analysis (PCA)
    • Support vector machines (SVMs)
      • SVMs for regression
      • SVMs for classification
      • Maximum margin
      • Convex quadratic programming
      • Sequential minimal optimization
      • Soft margin
      • Ranking SVM
    • Gaussian models
      • Gaussian discriminant analysis
        • Quadratic discriminant analysis
        • Linear discriminant analysis (LDA)
          • Two-class LDA
          • Regularized LDA
          • Diagonal LDA
        • Nearest shrunken centroids classifier
      • Logical and relational learning
        • Inductive logic learning
        • Statistical relational learning
      • Factorization methods
        • Non-negative matrix factorization
        • Factor analysis
        • Principal component analysis (PCA)
          • Singular value decomposition (SVD)
          • Probabilistic PCA
        • Independent Component Analysis (ICA)
        • Canonical correlation analysis
        • Latent Dirichlet allocation
          • Hierarchical dirichlet process
            Dynamic topic model
            Correlated topic model
            LDA-HMM
            Supervised LDA
          • Dynamic topic model
        • Rule learning
          Instance-based learning
          • Kernel smoother
      • Graphical models
        • Directed graphical model (Bayes nets)
          • d-separation
          • Markov blanket
          • Naive Bayes classifiers
          • Markov model
          • Hidden Markov model
            • Variable duration (semi-Markov) HMMs
            • Hierarchical HMMs
            • Auto-regressive and buried HMMs
            • Factorial HMM
            • Coupled HMM
            • Dynamic Bayesian networks (DBNs)
          • Directed Gaussian graphical models
      • Mixture models
        • Mixture of multinoullis
          Mixtures of expert
        • ​Mixtures of Gaussians
      • Undirected graphical model (Markov random fields)
        • Ising model
          Hopfield networks
          Potts model
          Gaussian MRFs
          Markov logic networks
          Conditional random field
          Factor graphical model
          MEMMs
          Structural SVM
      • Learning in probabilistic graphical models
        • Maximum likelihood Estimation (MLE)
        • Maximum entropy modeling
        • Maximum a posteriori modeling (MAP)
        • Expectation Maximization (EM)
      • structure learning
      • •            ​Learning tree structures

                     ​Learning DAG structures
                            ​   Markov equivalence
                     ​Learning DAG structure with latent variables
                       ​         Structural EM

                     ​Learning causal DAGs

                     ​Learning undirected Gaussian graphical models

                     ​Learning undirected discrete graphical models

          Inference

                     ​Viterbi algorithm

                     ​forwards-backwards algorithm

                     ​Forwards filtering

                     ​backwards sampling

                     ​Kalman filtering algorithm

                     ​Kalman smoothing algorithm

                     ​Belief propagation (BP)

                               ​ ​Gaussian belief propagation

                             ​   ​Loopy belief propagation

                            ​    ​Generalized belief propagation

                               ​ ​Convex belief propagation

                     ​Variable elimination algorithm

                     ​Junction tree algorithm

                     ​Message passing

                     ​Variational inference

                     ​Mean field method

                     ​           ​Structured mean field

                    Variational Bayes

                    Variational Bayes EM

                    Variational message passing

                    Expectation propagation

                    MAP state estimation

                              Linear programming relaxation

                              Max-product belief propagation

                              Dual decomposition

                    Monte Carlo inference

                              Rejection sampling

                              Importance sampling

                                        Sampling importance resampling (SIR)

                              Particle filtering

                                        Sequential importance sampling

                              Rao-Blackwellised particle filtering (RBPF)

                              Markov chain Monte Carlo (MCMC) inference

                                        Gibbs sampling

                                                  Collapsed Gibbs sampling

                                                  Imputation Posterior (IP) algorithm

                                                  Blocking Gibbs sampling

                                        Metropolis Hastings algorithm

                                        Auxiliary variable MCMC

                                                  Slice sampling

                                                  Swendsen Wang

                                                  Hybrid/Hamiltonian MCMC

                                        Annealing methods

                                                  Simulated annealing

                                                  Annealed importance sampling

                                                  Parallel tempering

                                        Approximating the marginal likelihood

                                                  The candidate method

                                                  Harmonic mean estimate

                                                  Annealed importance sampling  

          Clustering

                    Dirichlet process mixture models

                              Chinese restaurant process

                    Gaussian processes

                              GP latent variable model

                    Affinity propagation

                    Spectral clustering

                              Graph Laplacian

                              Normalized graph Laplacian

                    Hierarchical clustering

                              Agglomerative clustering

                              Divisive clustering

                              Bayesian hierarchical clustering

                    K-means clustering

                    Canopy Clustering Algorithm

                    stochastic block model

                    Density-based spatial clustering of applications with noise

          Markov decision processes

                    Bellman equation

                    Discounted reward

                    Average reward

                    Model-based method 

                              Dynamic programming

                                        Differential dynamic programming

                                        Asynchronous dynamic programming

                                        Value iteration

                                        Policy iteration

                                        Approximate dynamic programming methods

                    Model-free method

                             Monte Carlo method

                             Monte Carlo prediction

                             Monte Carlo control

                             Sampling

                                       Importance sampling

                                                 Discounting-aware importance sampling

                                                 Per-decision importance sampling

                                       Monte Carlo sampling

                                       Thompson sampling

                             Temporal difference learning

                                       Value-based method 

                                                 Sarsa

                                                 Q-learning

                                                           Deep Q-learning network

                                                           Distributional reinforcement learning with quantile

                                                           regression

                                                           Hindsight experience replay

                                                 n-step bootstrapping

                                                           n-step Sarsa

                                                           n-step off-policy learning

                                                           n-step tree backup algorithm

                                                           n-step Q(σ)

                                                 Approximation Method

                                                           Semi-gradient n-step Sarsa

                                                            Differential semi-gradient n-step Sarsa

                                                            TD(λ)

                                                            Sarsa(λ)

                                                            Tree-Backup(λ)

                                                            Robbins-Monro stochastic approximation

                                       Policy-gradient

                                                 REINFORCE 

                                                  Actor-Critic methods

                                                           Advantage Actor-Critic

                                                           Asynchronous Advantage Actor-Critic Actor-Critic

                                                  Proximal policy optimization

                                                  Trust region policy optimization

                   Semi-Markov decision problem

                   Stochastic games

                   Hierarchical Markov decision process

                   Factored Markov Decision Process

                   Partially-observable Markov decision processes

          Multi-arm bandits

                   K-armed bandit

                   Contextual bandits

                   Upper-Confidence-Bound action selection

                   Gradient bandit algorithm

          Neural networks

                   Backpropagation (BP)

                   Perceptron

                            Multi-layer perceptron

                   Feedforward neural network

                   Deep learning

                            Recurrent neural network

                                     Long short term memory

                                     Convolutional LSTM (ConvLSTM)

                                     Gated recurrent unit

                            Convolutional neural network

                                     LeNet

                                     AlexNet

                                     ZFNet

                                     Network in Network

                                     VGGNET

                                     GoogLetNet

                                     Residual Network (ResNet)

                                     DenseNet

                                     FractalNet

                                     CapsuleNet

                            Auto-encoder

                                     Variational autoencoder

                            Graph neural network

                            Memory network

                            Boltzmann machine

                            Deep belief networks

                                     Convolutional deep belief network

                            Generative adversarial network (GAN)

                            Deep Reinforcement learning (DRL)

          Ensemble methods

                   Boosting

                            Forward stagewise additive modeling

                            L2boosting

                            logitboost

                            Bootstrap Aggregating

                            Brownboost

                            Gradient boosting

                            Sparse boosting

                            AdaBoost

                   Bagging

                            Random forest

                   Stacking

          Feature selection

                   Akaike information criterion

                   Bonferroni correction

                   False discovery rate

                   Familywise error rate

                   Multiple correlation

                   Rank correlation

                   Stepwise regression

          Bio-inspired approaches

                   Artificial life

                   Evolvable hardware

                   Genetic algorithms

                   Genetic programming

                   Evolutionary robotics

                   Generative and developmental approaches

• Model evaluation and selection
  • The curse of dimensionality
  • Structural risk minimization
  • Empirical risk minimization (ERM)
  • Regret bounds
  • Generalization error
  • Inductive bias
  • Complexity
    • Sample complexity
    • Rademacher complexity
  • Generalization bounds
  • Variance
  • VC-dimension
  • Inductive inference
  • Probably approximately correct (PAC)
  • Online learning theory
  • Cross-validation
    • K-fold cross-validation
    • Bootstrapping
  • Model selection
  • No free lunch theorem
  • Hypothesis testing
    • Binomial test
    • T-test
    • Normal distribution test
• Model Setting
  • Hyperparameter optimization
  • Batch learning
  • Online learning settings
  • Learning from demonstrations
  • Learning from critiques
  • Learning from implicit feedback
  • Active learning settings
  • Semi-supervised learning settings
• Model fitting
  • Overfitting
  • Early stopping
  • Dropout
  • Regularization
    • L1 regularization
      • Group lasso
      • Fused lasso
    • L2 regularization
    • Elastic net
    • Non-convex regularizers
      • Bridge regression
      • Hierarchical adaptive lasso
  • Underfitting
  • Optimization method
    • Maximum likelihood estimation (MLE)
    • Least square method
    • Steepest descent
    • Gradient descent
      • Stochastic gradient descent
    • Newton’s method
    • Quasi-Newton (variable metric) methods

请耐心等待