Access

You are not currently logged in.

Access your personal account or get JSTOR access through your library or other institution:

Bayesian Hypothesis Testing: A Reference Approach

José M. Bernardo and Raúl Rueda
International Statistical Review / Revue Internationale de Statistique
Vol. 70, No. 3 (Dec., 2002), pp. 351-372
DOI: 10.2307/1403862
Stable URL: http://www.jstor.org/stable/1403862
Page Count: 22
Preview not available

Abstract

For any probability model $M\equiv \{p(x|\theta,\omega),\theta \in \Theta,\omega \in \Omega \}$ assumed to describe the probabilistic behaviour of data x∈ X, it is argued that testing whether or not the available data are compatible with the hypothesis $H_{0}\equiv \{\theta =\theta _{0}\}$ is best considered as a formal decision problem on whether to use (a0), or not to use (a1), the simpler probability model (or null model) $M_{0}\equiv \{p(x|\theta _{0},\omega),\omega \in \Omega \}$, where the loss difference L(a0,θ,ω)-L(a1,θ,ω) is proportional to the amount of information δ (θ 0,θ,ω) which would be lost if the simplified model M0 were used as a proxy for the assumed model M. For any prior distribution π (θ,ω), the appropriate normative solution is obtained by rejecting the null model M0 whenever the corresponding posterior expectation $\mathop{\iint}\delta (\theta _{0},\theta,\omega)\pi (\theta,\omega |x)d\theta \ d\omega$ is sufficiently large. Specification of a subjective prior is always difficult, and often polemical, in scientific communication. Information theory may be used to specify a prior, the reference prior, which only depends on the assumed model M, and mathematically describes a situation where no prior information is available about the quantity of interest. The reference posterior expectation, d(θ 0,x)=∫ δ π (δ |x)dδ , of the amount of information δ (θ 0,θ,ω) which could be lost if the null model were used, provides an attractive non-negative test function, the intrinsic statistic, which is invariant under reparametrization. The intrinsic statistic d(θ 0,x) is measured in units of information, and it is easily calibrated (for any sample size and any dimensionality) in terms of some average log-likelihood ratios. The corresponding Bayes decision rule, the Bayesian reference criterion (BRC), indicates that the null model M0 should only be rejected if the posterior expected loss of information from using the simplified model M0 is too large or, equivalently, if the associated expected average log-likelihood ratio is large enough. The BRC criterion provides a general reference Bayesian solution to hypothesis testing which does not assume a probability mass concentrated on M0 and, hence, it is immune to Lindley's paradox. The theory is illustrated within the context of multivariate normal data, where it is shown to avoid Rao's paradox on the inconsistency between univariate and multivariate frequentist hypothesis testing. /// Pour un modèle probabiliste $M\equiv \{p(x|\theta,\omega),\theta \in \Theta,\omega \in \Omega \}$ censé décrire le comportement probabiliste de données x∈ X, nous soutenons que tester si les données sont compatibles avec une hypothèse $H_{0}\equiv \{\theta =\theta _{0}\}$ doit être considéré comme un problème décisionnel concernant l'usage du modèle $M_{0}\equiv \{p(x|\theta _{0},\omega),\omega \in \Omega \}$, avec une fonction de coût qui mesure la quantité d'information qui peut être perdue si le modèle simplifié M0 est utilisé comme approximation du véritable modèle M. Le coût moyen, calculé par rapport à une loi a priori de référence idoine fournit une statistique de test pertinente, la statistique intrinsèque d(θ 0,x), invariante par reparamétrisation. La statistique intrinsèque d(θ 0,x) est mesurée en unités d'information, et sa calibrage, qui est independante de la taille de l'échantillon et de la dimension du paramètre, ne dépend pas de sa distribution à l'échantillonage. La règle de Bayes correspondante, le critère de Bayes de référence (BRC), indique que H0 doit seulement être rejeté si le coût a posteriori moyen de la perte d'information à utiliser le modèle simplifié M0 est trop grande. Le critère BRC fournit une solution bayésienne générale et objective pour les tests d'hypothèses précises qui ne réclame pas une masse de Dirac concentrée sur M0. Par conséquent, elle échappe au paradoxe de Lindley. Cette théorie est illustrée dans le contexte de variables normales multivariées, et on montre qu'elle évite le paradoxe de Rao sur l'inconsistence existant entre tests univariés et multivariés.

• [351]
• 352
• 353
• 354
• 355
• 356
• 357
• 358
• 359
• 360
• 361
• 362
• 363
• 364
• 365
• 366
• 367
• 368
• 369
• 370
• 371
• 372