Access

You are not currently logged in.

Access your personal account or get JSTOR access through your library or other institution:

login

Log in to your personal account or through your institution.

The framework used in developing and interpreting the International Adult Literacy Survey (IALS)

Irwin S. Kirsch
European Journal of Psychology of Education
Vol. 16, No. 3, SPECIAL ISSUE: LARGE-SCALE ASSESSMENT STUDIES AND THEIR CONTRIBUTIONS TO EDUCATIONAL PSYCHOLOGY (SEPTEMBER 2001), pp. 335-361
Published by: Springer
Stable URL: http://www.jstor.org/stable/23420338
Page Count: 27
  • More info
  • Cite this Item
The framework used in developing and interpreting the International Adult Literacy Survey (IALS)
Preview not available

Abstract

This paper offers a framework that has been used for both developing the tasks used to measure literacy in the International Adult Literacy Survey and for understanding the meaning of what has been reported with respect to the comparative literacy proficiencies of adults in participating countries. The framework consists of six parts that represent a logical sequence of steps from needing to define and represent a particular domain of interest, to identifying and operationalizing characteristics used to construct items, to providing an empirical basis for interpreting results. The various parts of the framework are seen as important in that they help to provide a deeper understanding of the construct of literacy and the various processes associated with it. A processing model is proposed and variables associated with performance on the literacy tasks are identified and verified through regression analyses. These variables are shown to account for between 79 and 89 percent of the variance in task difficulty. Collectively, these process variables provide a means for moving away from interpreting performance on large-scale surveys in terms of discrete tasks or a single number towards identifying levels of performance that have generalizability across pools of tasks and towards what Messick has called a higher level of measurement. L'article présente un cadre qui permet l'élaboration de tâches pour mesurer la compréhension de l'écrit ainsi qu'un dépistage plus précis du sens des données analogues dont nous disposons relatives à la compréhension de l'écrit parmi les adultes des pays participants. Le cadre consiste de six parties dont la séquence logique va de la nécessité de définir et de représenter un domaine d'intérêt spécifique à l'établissement d'une base empirique pour l'interprétation des résultats, en passant par l'identification et l'opérationnalisation des caractéristiques qui entrent dans la construction des items. L'importance des éléments de ce cadre se manifeste par leur potentiel de contribuer à la compréhension approfondie de la notion de compréhension de l'écrit et des processus divers qui lui sont associés. On propose un modèle de processus mental et procède à l'identification et à la vérification, moyennant des analyses de régression, des variables déterminant la performance dans les tâches de compréhension de l'écrit. On montre que ces variables expliquent de 79% à 89% de la variance relative à la difficulté des tâches. Dans leur totalité, ces variables de processus mental permettent de sortir du mesurage, courant dans les enquêtes à grande échelle, de la performance par tâches discrètes ou par simple échelle numérique pour arriver à une identification des niveaux de performance propres à être généralisés pour des groupes entiers de tâches et, par là, à ce que Messick a appelé un niveaux supérieur de measure.

Page Thumbnails

  • Thumbnail: Page 
[335]
    [335]
  • Thumbnail: Page 
336
    336
  • Thumbnail: Page 
337
    337
  • Thumbnail: Page 
338
    338
  • Thumbnail: Page 
339
    339
  • Thumbnail: Page 
340
    340
  • Thumbnail: Page 
341
    341
  • Thumbnail: Page 
342
    342
  • Thumbnail: Page 
343
    343
  • Thumbnail: Page 
344
    344
  • Thumbnail: Page 
345
    345
  • Thumbnail: Page 
346
    346
  • Thumbnail: Page 
347
    347
  • Thumbnail: Page 
348
    348
  • Thumbnail: Page 
349
    349
  • Thumbnail: Page 
350
    350
  • Thumbnail: Page 
351
    351
  • Thumbnail: Page 
352
    352
  • Thumbnail: Page 
353
    353
  • Thumbnail: Page 
354
    354
  • Thumbnail: Page 
355
    355
  • Thumbnail: Page 
356
    356
  • Thumbnail: Page 
357
    357
  • Thumbnail: Page 
358
    358
  • Thumbnail: Page 
359
    359
  • Thumbnail: Page 
360
    360
  • Thumbnail: Page 
361
    361