Access

You are not currently logged in.

Access your personal account or get JSTOR access through your library or other institution:

login

Log in to your personal account or through your institution.

If you need an accessible version of this item please contact JSTOR User Support

Schwarz, Wallace, and Rissanen: Intertwining Themes in Theories of Model Selection

Aaron D. Lanterman
International Statistical Review / Revue Internationale de Statistique
Vol. 69, No. 2 (Aug., 2001), pp. 185-212
DOI: 10.2307/1403813
Stable URL: http://www.jstor.org/stable/1403813
Page Count: 28
  • Read Online (Free)
  • Download ($12.00)
  • Subscribe ($19.50)
  • Cite this Item
If you need an accessible version of this item please contact JSTOR User Support
Schwarz, Wallace, and Rissanen: Intertwining Themes in Theories of Model Selection
Preview not available

Abstract

Investigators interested in model order estimation have tended to divide themselves into widely separated camps; this survey of the contributions of Schwarz, Wallace, Rissanen, and their coworkers attempts to build bridges between the various viewpoints, illuminating connections which may have previously gone unnoticed and clarifying misconceptions which seem to have propagated in the applied literature. Our tour begins with Schwarz's approximation of Bayesian integrals via Laplace's method. We then introduce the concepts underlying Rissanen's minimum description length principle via a Bayesian scenario with a known prior; this provides the groundwork for understanding his more complex non-Bayesian MDL which employs a "universal" encoding of the integers. Rissanen's method of parameter truncation is contrasted with that employed in various versions of Wallace's minimum message length criteria. Rissanen's more recent notion of stochastic complexity is outlined in terms of Bernardo's information-theoretic derivation of the Jeffreys prior. /// Il existe deux courants d'idées tres différents en recherche sur l'estimation de l'ordre de modèles. Ce papier est une revue des contributions de Schwarz, Wallace, Rissanen, et de leurs collaborateurs. Son but est de rapprocher leurs points de vue, d'établir de nouvelles connexions entre certains problèmes, et de corriger certaines interprétations erronées qui sont apparues dans la litérature appliquée. Notre revue commence par l'approximation d'intégrales Bayesiennes au moyen de la méthode de Laplace, étudiée par Schwarz. Nous introduisons ensuite le principe de longueur descriptive minimale de Rissanen dans le cadre d'un scénario d'estimation Bayesienne. Ceci permet une nouvelle interpretation de ses méthodes d'estimation basées sur un codage "universel" des entiers naturels. Nous comparons la technique de discrétisation de paramètres de Rissanen avec celles qu'utilise Wallace dans sa théorie du critère de longueur minimale d'un message. Nous terminons cette étude par une présentation de la notion de complexité stochastique de Rissanen et ses connexions avec la distribution de Jeffreys, dont Bernardo a presenté une dérivation basée sur la théorie de l'information.

Page Thumbnails

  • Thumbnail: Page 
[185]
    [185]
  • Thumbnail: Page 
186
    186
  • Thumbnail: Page 
187
    187
  • Thumbnail: Page 
188
    188
  • Thumbnail: Page 
189
    189
  • Thumbnail: Page 
190
    190
  • Thumbnail: Page 
191
    191
  • Thumbnail: Page 
192
    192
  • Thumbnail: Page 
193
    193
  • Thumbnail: Page 
194
    194
  • Thumbnail: Page 
195
    195
  • Thumbnail: Page 
196
    196
  • Thumbnail: Page 
197
    197
  • Thumbnail: Page 
198
    198
  • Thumbnail: Page 
199
    199
  • Thumbnail: Page 
200
    200
  • Thumbnail: Page 
201
    201
  • Thumbnail: Page 
202
    202
  • Thumbnail: Page 
203
    203
  • Thumbnail: Page 
204
    204
  • Thumbnail: Page 
205
    205
  • Thumbnail: Page 
206
    206
  • Thumbnail: Page 
207
    207
  • Thumbnail: Page 
208
    208
  • Thumbnail: Page 
209
    209
  • Thumbnail: Page 
210
    210
  • Thumbnail: Page 
211
    211
  • Thumbnail: Page 
212
    212