Access

You are not currently logged in.

Access your personal account or get JSTOR access through your library or other institution:

login

Log in to your personal account or through your institution.

New estimation and feature selection methods in mixture-of-experts models

Abbas KHALILI
The Canadian Journal of Statistics / La Revue Canadienne de Statistique
Vol. 38, No. 4 (December/décembre 2010), pp. 519-539
Stable URL: http://www.jstor.org/stable/27896043
Page Count: 21
  • Download ($4.00)
  • Cite this Item
New estimation and feature selection methods in mixture-of-experts models
Preview not available

Abstract

We study estimation and feature selection problems in mixture-of-experts models. An l 2 -penalized maximum likelihood estimator is proposed as an alternative to the ordinary maximum likelihood estimator. The estimator is particularly advantageous when fitting a mixture-of-experts model to data with many correlated features. It is shown that the proposed estimator is root-n consistent, and simulations show its superior finite sample behaviour compared to that of the maximum likelihood estimator. For feature selection, two extra penalty functions are applied to the l 2 -penalized log-likelihood function. The proposed feature selection method is computationally much more efficient than the popular all-subset selection methods. Theoretically it is shown that the method is consistent in feature selection, and simulations support our theoretical results. A real-data example is presented to demonstrate the method. Nous étudions l'estimation et le problème de sélection des caractéristiques dans des modèles de mélange d'experts. Un estimateur du maximum de vraisemblance 12-pénalisé est proposé comme alternative à l'estimateur du maximum de vraisemblance usuel. L'estimateur est particulièrement avantageux lorsqu'un modèle de mélange d'experts est ajusté sur des données ayant plusieurs caractéristiques corrélées. Dans cet article, nous montrons la convergence d'ordre racine de n de l'estimateur proposé et des simulations montrent qu'il est supérieur à l'estimateur du maximum de vraisemblance pour de petits échantillons. Pour faire de la sélection de caractéristiques, deux fonctions de pénalité supplémentaires sont ajoutées à la fonction de vraisemblance 12-pénalisée. La méthode de sélection de caractéristiques proposée est beaucoup plus efficace à calculer que la méthode populaire de sélection de tous les sous-ensembles. Nous montrons théoriquement qu'elle est convergente pour la sélection de caractéristiques et les simulations sont en accord avec les résultats théoriques. Un ensemble de données réelles est présenté afin d'illustrer la méthode proposée.

Page Thumbnails

  • Thumbnail: Page 
519
    519
  • Thumbnail: Page 
520
    520
  • Thumbnail: Page 
521
    521
  • Thumbnail: Page 
522
    522
  • Thumbnail: Page 
523
    523
  • Thumbnail: Page 
524
    524
  • Thumbnail: Page 
525
    525
  • Thumbnail: Page 
526
    526
  • Thumbnail: Page 
527
    527
  • Thumbnail: Page 
528
    528
  • Thumbnail: Page 
529
    529
  • Thumbnail: Page 
530
    530
  • Thumbnail: Page 
531
    531
  • Thumbnail: Page 
532
    532
  • Thumbnail: Page 
533
    533
  • Thumbnail: Page 
534
    534
  • Thumbnail: Page 
535
    535
  • Thumbnail: Page 
536
    536
  • Thumbnail: Page 
537
    537
  • Thumbnail: Page 
538
    538
  • Thumbnail: Page 
539
    539