This volume provides step-by-step details on how to analyze data collected in a national assessment, with an introduction to statistical analyses normally carried out in these large-scale assessments, item and test analysis, and a CD contains with analysis software (IATA), exercises and supporting data files.

Developing Tests and Questionnaires for a National Assessment of Educational Achievement is the second in the National Assessments of Educational Achievement series. It is designed to help build capacity in carrying out technically adequate assessments of national levels of student achievement. It introduces readers to the activities involved in the development of achievement tests, and includes developing an assessment framework, writing multiple choice and constructed response type items, pretesting, producing test booklets, and handscoring items. A section on questionnaire construction feat.

This book focuses on the practical tasks involved in running a large-scale national assessment program. Part I gives an overview, Part II a methodology to select a representative student sample, Part III how to clean and manage data, and Part IV useful pre-analysis steps such estimates, survey weights, and similar.

To improve their education systems, countries around the world have increasingly initiated national largescale assessment programs or participated in international or regional large-scale assessment studies for the first time. Well-constructed large-scale assessments can provide credible information on student achievement levels, which, in turn, can promote better resource allocation to schools, stronger education service delivery, and improved learning outcomes. The World Bank developed this Primer on Large-Scale Assessments of Educational Achievement as a firststop resource for those wanting to understand how to design, administer, analyze, and use the results from these assessments of student achievement. The book addresses frequently asked questions from people working on large-scale assessment projects and those interested in making informed decisions about them. Each chapter introduces a stage in the assessment process and offers advice, guidelines, and country examples. This book also reports on emerging trends in large-scale assessment and provides updated information on regional and international large-scale assessment programs. DIRK HASTEDT, Executive Director of the International Association for the Evaluation of Educational Achievement (IEA) “A special feature of the publication is that it not only gives an overview of technical specifications, but also includes examples from around the world on how countries are conducting large-scale assessments, what they found, and how the results were used. With this perspective, the Primer on Large-Scale Assessments of Educational Achievement is an excellent and easy-to-read publication to get a comprehensive overview of large-scale assessments and how and why they are conducted.†? SILVIA MONTOYA, Director of UNESCO Institute for Statistics (UNESCO UIS) “If you are responsible for learning assessment in a country and are searching for a comprehensive, yet readable, guide on large-scale assessment, this is your book. Extremely well structured and written, this primer is easy to follow, and makes points clearly and concisely. It is an excellent resource that explores the steps for a good large-scale assessment with examples from all international large-scale assessment programs.†? ANDREAS SCHLEICHER, Director for the Directorate of Education and Skills and Special Advisor on Education Policy to the Organization for Economic Cooperation and Development’s (OECD) Secretary- General “Many countries have joined international educational assessments to benchmark quality, equity, and efficiency in their education systems. But what does it take to design and implement those efforts well and to draw value from this to help students learn better, teachers teach better, and schools to work more effectively? This Primer on Large-Scale Assessments of Educational Achievement helps policy makers and their technical teams to find answers to these questions.†? ANDREI VOLKOV, Director of the Institute for Public Strategy, Moscow School of Management SKOLKOVO “In 2008, when the Russia Education Aid for Development (READ) Program was launched, we determined its main goal as the improvement of the quality of basic education. Today, the READ Program keeps setting trends as the largest Russian initiative promoting educational assessment. Approaches developed within the READ Program, from building institutional and expert capacity to influencing educational reforms, have proven their efficacy in many countries. The Primer on Large-Scale Assessments of Educational Achievement brings together in a practical format the best experience and case studies in conducting assessments under the READ Program. An especially important feature of the book is an integrated capacity building component, which makes it a practical tutorial ready for use in different cultural contexts. Through this book, we hope that our collective experience gathered during READ will be widely shared, bringing us closer to achievement of the Sustainable Development Goal on education.†? evelopment Goal on Education.†?

Une évaluation efficace de la performance des systèmes éducatifs est un élément clé de l’élaboration des politiques visant à optimiser le développement du capital humain dans le monde. Les cinq volumes de la série Évaluations nationales des acquis scolaires introduisent des concepts clés des évaluations nationales des niveaux de performance des élèves, depuis les questions de politiques à traiter pendant la conception et la réalisation des évaluations jusqu’à la mise au point des tests, l’échantillonnage, le nettoyage des données, les statistiques, la rédaction des rapports et l’utilisation des résultats pour améliorer la qualité de l’éducation. Analyser les données issues d’une évaluation nationale des acquis scolaires est le quatrième des cinq volumes de la série Évaluations nationales des acquis scolaires. Les autres volumes ont décrit les procédures d’une évaluation jusqu’au stade où les données ont été préparées pour l’analyse statistique, le sujet de ce volume. Les analyses précises effectuées dépendent des besoins en information des responsables des politiques et des gestionnaires de l’éducation. Dans la plupart des évaluations nationales, ces besoins ont trait à la qualité des acquis des élèves, aux facteurs liés à l’apprentissage, aux questions d’équité, et dans certains cas, à l’évolution du rendement de l’éducation au fil du temps. Le volume 4, qui comprend deux parties, détaille étape par étape la manière d’analyser les données collectées lors d’une évaluation nationale. La partie I offre une présentation générale des analyses statistiques généralement effectuées dans les évaluations à grande échelle, pour mesurer la tendance centrale et la dispersion des scores des élèves ainsi que les relations entre les variables. La partie II décrit le logiciel IATA (Item and Test Analysis), qui utilise la théorie classique des tests et celle de la réponse à l’item pour déterminer des échelles pour les scores des élèves. Les étapes de l’analyse des données issues de l’administration des tests pilote et final sont décrites en détail. Un CD d’accompagnement contient des exercices spécialement conçus et les fichiers de données correspondants pour les deux parties du volume. Cet ouvrage sera d’un intérêt certain pour les spécialistes de l’évaluation appartenant aux pouvoirs publics nationaux, régionaux et locaux ainsi que pour les institutions de recherche et les universités.

This report provides a systematic review and empirical evidence related to the experiences of middle-income countries and economies participating in the Programme for International Student Assessment (PISA), 2000 to 2015.

Análise de Dados de uma Avaliação Nacional de Desempenho Educacional é o quarto de cinco volumes da série Avaliações Nacionais de Desempenho Educacional. Os outros volumes descreveram os procedimentos em uma avaliação até ao ponto em que os dados foram preparados para a análise estatística, o tópico deste volume. As análises concretas a ser realizadas dependerão das necessidades de informação dos formuladores de políticas e dos gestores no âmbito do ensino. Na maioria das avaliações nacionais, relacionam-se com a qualidade da aprendizagem dos alunos, fatores relacionados com a aprendizagem, questões de equidade, e, em alguns casos, alterações nos resultados educacionais ao longo do tempo. O Volume 4, que compreende duas partes, fornece instruções pormenorizadas acerca de como analisar dados coligidos em uma avaliação nacional. A Parte I prevê uma introdução geral à s análises estatísticas normalmente realizadas nas avaliações em grande escala, avaliando a tendência central e a dispersão das pontuações dos alunos e as relações entre as variáveis. A Parte II descreve o software IATA (Análise de Item e de Teste), que utiliza a teoria clássica dos testes e a teoria de resposta ao item para estabelecer escalas onde reportar as pontuações dos alunos. Os passos da análise das administrações de testes piloto e finais estão descritos detalhadamente. É acompanhado por um CD que contém exercícios especialmente concebidos e arquivos de dados de suporte para ambas as partes do volume. Este livro será de interesse para os especialistas em avaliação de governos nacionais, regionais e locais; instituições de investigação; e universidades.

Des pays du monde entier se sont lancés dans de grandes évaluations nationales ou ont participé pour la première fois à de grandes évaluations régionales ou internationales dans le but d’améliorer leur systèmed’éducation. Lorsque les évaluations sont bien conçues, les informations crédibles qu’elles f ournissent au sujet de la performance des élèves peuvent contribuer à mieux répartir les ressources entre les établissements et à améliorer la qualité de l’enseignement et le rendement de l’apprentissage. Les services de la Banque mondiale ont rédigé le présent Manuel pour les évaluations à grande échelle des acquis scolaires dans le but de proposer un guide complet à ceux qui veulent en apprendre davantage sur la conception et l’administration de ce type d’évaluations et sur l’analyse et l’utilisation de leurs résultats. Cet ouvrage répond à des questions que se posent souvent les équipes chargées de grandes évaluations et les responsables politiques qui souhaitent prendre des décisions les concernant en toute connaissance de cause. Chaque chapitre aborde une étape du processus d’évaluation, prodigue des conseils, propose des orientations et donne des exemples de ce qui se fait dans des pays. Par ailleurs, cet ouvrage décrit les nouvelles tendances qui se dessinent dans les grandes évaluations et donne des informations à jour sur de grandes évaluations régionales et internationales. DIRK HASTEDT, Directeur exécutif de l’Association internationale pour l’évaluation du rendement scolaire (IEA) « Ce qu’il y a d’unique dans cet ouvrage, c’est qu’en plus de passer des spécifications techniques en revue, il donne des exemples de la façon dont des pays du monde entier administrent des évaluations à grande échelle, en tirent des enseignements et en utilisent les résultats. En ce sens, ce Manuel pour les évaluations à grande échelle des acquis scolaires est un excellent guide pratique à consulter pour obtenir une vue d’ensemble des grandes évaluations et mieux comprendre comment et pourquoi les administrer. » SILVIA MONTOYA, Directrice de l’Institut de statistique de l’UNESCO (ISU) « C’est l’ouvrage idéal pour les responsables d’évaluations scolaires à la recherche d’informations complètes, mais lisibles, sur le sujet. Il est extrêmement bien rédigé et parfaitement structuré, de sorte qu’il est facile à consulter et que tous les aspects y sont décrits clairement et avec concision. C’est l’ouvrage de référence par excellence pour tous ceux qui veulent explorer les étapes à enchaîner pour mener une grande évaluation, d’autant qu’il foisonne d’exemples sur toutes les grandes évaluations internationales. » ANDREAS SCHLEICHER, Directeur de la Direction de l’éducation et des compétences et conseiller spécial du Secrétaire général, chargé de la politique de l’éducation, de l’Organisation de coopération et de développement économiques (OCDE) « De nombreux pays ont décidé d’administrer des évaluations internationales pour comparer la qualité, l’équité et l’efficience de leur système d’éducation à des normes de référence. Mais retirent-ils vraiment de leurs efforts de planification, d’administration et d’analyse de quoi aider les élèves à mieux apprendre, les enseignants à mieux enseigner et les établissements à travailler plus efficacement ? Ce Manuel pour les évaluations à grande échelle des acquis scolaires aidera les responsables politiques et leurs équipes techniques à répondre à ces questions. » ANDREI VOLKOV, Directeur de l’Institut de stratégie publique, École de gestion de Moscou SKOLKOVO « En 2008, c’est en grande partie dans l’objectif d’améliorer la qualité de l’enseignement fondamental que le Fonds fiduciaire de l’assistance russe à l’éducation pour le développement (READ) a été créé. Le Fonds continue de donner l’exemple, c’est d’ailleurs la plus grande initiative russe visant à promouvoir l’évaluation des acquis scolaires. Les approches conçues à l’aide du Fonds, que ce soit celles visant à renforcer les capacités institutionnelles et spécialisées ou à orienter les réformes de l’éducation, ont prouvé leur efficacité dans de nombreux pays. Le Manuel pour les évaluations à grande échelle des acquis scolaires rassemble sous un format pratique les meilleures études de cas au sujet des évaluations à grande échelle. Cet ouvrage a un atout particulièrement important, celui de proposer un système intégré de renforcement des capacités, de sorte que c’est un guide pratique, facile à utiliser dans des contextes culturels différents. Nous espérons que cet ouvrage contribuera à faire connaître largement l’expérience collective rassemblée par le Fonds et nous rapprochera de la réalisation de l’objectif relatif à l’éducation dans le Programme de développement durable. »

The National Assessments of Educational Achievement Series introduces readers to key concepts and issues related to assessments of student achievement levels. The first volume focuses on policy issues which should be addressed when designing and carrying out a national assessment. It features country case studies, and descriptions of major international and regional assessment programs. The remaining books in the series cover test development, sampling, data cleaning, statistics, report writing and using national assessment results to improve educational quality.