Access

You are not currently logged in.

Access your personal account or get JSTOR access through your library or other institution:

login

Log in to your personal account or through your institution.

If you need an accessible version of this item please contact JSTOR User Support

Beyond Kappa: A Review of Interrater Agreement Measures

Mousumi Banerjee, Michelle Capozzoli, Laura McSweeney and Debajyoti Sinha
The Canadian Journal of Statistics / La Revue Canadienne de Statistique
Vol. 27, No. 1 (Mar., 1999), pp. 3-23
Stable URL: http://www.jstor.org/stable/3315487
Page Count: 21
  • Download ($4.00)
  • Cite this Item
If you need an accessible version of this item please contact JSTOR User Support
Beyond Kappa: A Review of Interrater Agreement Measures
Preview not available

Abstract

In 1960, Cohen introduced the kappa coefficient to measure chance-corrected nominal scale agreement between two raters. Since then, numerous extensions and generalizations of this interrater agreement measure have been proposed in the literature. This paper reviews and critiques various approaches to the study of interrater agreement, for which the relevant data comprise either nominal or ordinal categorical ratings from multiple raters. It presents a comprehensive compilation of the main statistical approaches to this problem, descriptions and characterizations of the underlying models, and discussions of related statistical methodologies for estimation and confidence-interval construction. The emphasis is on various practical scenarios and designs that underlie the development of these measures, and the interrelationships between them. /// C'est en 1960 que Cohen a proposé l'emploi du coefficient kappa comme outil de mesure de l'accord entre deux évaluateurs exprimant leur jugement au moyen d'une échelle nominale. De nombreuses généralisations de cette mesure d'accord ont été proposées depuis lors. Les auteurs jettent ici un regard critique sur nombre de ces travaux traitant du cas où l'échelle de réponse est soit nominale, soit ordinale. Les principales approches statistiques sont passées en revue, les modèles sous-jacents sont décrits et caractérisés, et les problèmes liés à l'estimation ponctuelle ou par intervalle sont abordés. L'accent est mis sur différents scénarios concrets et sur des schémas expérimentaux qui sous-tendent l'emploi de ces mesures et les relations existant entre elles.

Page Thumbnails

  • Thumbnail: Page 
3
    3
  • Thumbnail: Page 
4
    4
  • Thumbnail: Page 
5
    5
  • Thumbnail: Page 
6
    6
  • Thumbnail: Page 
7
    7
  • Thumbnail: Page 
8
    8
  • Thumbnail: Page 
9
    9
  • Thumbnail: Page 
10
    10
  • Thumbnail: Page 
11
    11
  • Thumbnail: Page 
12
    12
  • Thumbnail: Page 
13
    13
  • Thumbnail: Page 
14
    14
  • Thumbnail: Page 
15
    15
  • Thumbnail: Page 
16
    16
  • Thumbnail: Page 
17
    17
  • Thumbnail: Page 
18
    18
  • Thumbnail: Page 
19
    19
  • Thumbnail: Page 
20
    20
  • Thumbnail: Page 
21
    21
  • Thumbnail: Page 
22
    22
  • Thumbnail: Page 
23
    23