教育评价具有重要的导向性，是教育综合改革的关键环节，对教育质量的全面提升起着引领作用；也是我国中高考改革的重要组成部分，对“指挥棒”系统有着重要的影响。2013年6月，教育部颁发《关于推进中小学教育质量综合评价改革的意见》（以下简称《意见》）以及《中小学教育质量综合评价指标框架（试行）》（以下简称《框架（试行）》）。同年12月份，教育部在全国遴选了30个地区作为国家评价改革实验区并启动。实验进行了近一年，发现普遍对综合评价存在一些基本认识误区。
一、教育质量综合评价改革不等于教育质量监测
有不少综合评价改革实验区把教育质量综合评价等同于教育质量监测，对教育综合评价的概念、理论及模式缺乏清晰认识。
教育质量监测的作用主要是帮助教育行政部门了解本国或本地区的教育质量现状，并通过探求学业表现与教学、家庭、社区等背景变量间的关系，指导、引导整个教育体系向着推进素质教育的方向迈进；以区域、学校为评估对象，评估的目的是为教育主管部门提供信息，进行相关教育决策。
但2013年《意见》中给出的教育质量综合评价的改革任务是要“建立体现素质教育要求、以学生发展为核心、科学多元的中小学教育质量评价制度”，并希望借此制度的建立，能够“切实扭转单纯以学生学业考试成绩和学校升学率评价中小学教育质量的倾向，促进学生全面发展、健康成长”。教育质量综合评价改革要围绕“评价有利于学生、教师以及学校”的健康发展和良性进步而展开。因此，教育质量综合评价服务的对象虽然也包括区域和学校，但更主要的是广大学生和教师；评价的目的是为了引导、诊断、改进和激励；教育质量综合评价虽然也能为教育主管部门提供决策的依据，但更主要是为了促进学生全面发展、健康成长，促进教师的职业道德建设和业务水平的提高，而不是仅仅服务于教育主管部门的教育决策。
教育质量监测和教育质量综合评价不仅在目的、作用、服务对象上存在差异，在评价模式上，两者也有较大区别。教育质量监测一般采取学业成绩抽测，辅以调查问卷的模式，也即CIPP模式。CIPP是四个评价阶段的英文缩写：即背景评价（Context）、投入评价（Input）、过程评价（Process）、结果评价Product）。这是一个以决策为中心的评价模式；它是“为决策提供信息的过程”。
而教育质量综合评价，更多反映的是20世纪80年代以后，教育评价在美国出现的新动向，即教育评价从以决策为中心转向以人为中心的趋势。
教育评价指导思想、理论和价值观的转变，使得美国对教育质量的综合评价采取多种评价方法和手段相结合的综合模式。对学生的综合评价，一般以“学业评价+综合素质评价+标准化考试”为基本模式；对教师的综合评价，则是以学生“学业评价+综合素质评价+标准化考试”的成就为基本绩效标准，以教师的职业素养和专业能力为重要标准；对学校教育的综合评价，一般以学生的“学业评价+综合素质评价+标准化考试”的成就、对教师的“职业素养和专业能力”和教育质量监测为基本依据；而对区域教育的综合评价，则往往以教育质量监测（学业抽测+综合调查问卷）为主，但也有以“学业抽测+综合素质评价抽测+综合调查”为结构的教育质量监测。
如果对教育质量综合评价与教育质量监测差异认识不清，实验的设计和结果会偏离《意见》的精神及要求。
美国大型测试分数报告主要源自两大测试体系：一个是由国家教育进步评估组织（NAEP）向公众发布的国家报告卡及参评州的测试报告；另一个则是各州基于课程标准对3～12年级学生实施标准化测试，生成独立的州学业报告。国家报告卡的报告框架主要分为四方面：测试成绩的总体趋势，各组学生的成绩比较，学科领域的成就水平描述及各州学业成绩比较，并以常模参照和标准参照的方式报告学业成就的变化。与NAEP报告相比，州级报告除了以图表呈现3～12年级各类学生达到及格、精通、优秀的人数及比率外，对参评学生的分类指标更具体。增设了如残障儿童，提供适应性测试情况，参与联邦Title 1项目，入学时间，是否移民等指标，对各亚群体的分析也更详细。
二、教育质量综合评价改革实验《框架（试行）》不等于实验标准和模式
2013年《意见》明确给出了中小学教育质量综合评价改革的总体要求、综合评价体系建设要求、完善推进评价改革的保障机制要求和认真组织实施要求，并规定中小学教育质量综合评价改革实验必须要符合上述要求。《框架（试行）》给出了20个关键指标、上百个指标考查要点。从实验系统工程的角度看，《意见》和《框架（试行）》并没有给出实验开展的基本架构和标准，具体包括（1）实验的理论架构，含测量、诊断、甄别、评价等的理论架构；（2）实验的技术架构，含测量、统计、分析、诊断、甄别、评价、结果呈现、使用等的技术架构；（3）实验的标准架构，含测量、诊断、甄别、评价等维度及标准体系与结构；（4）实验的内容架构，文件中虽然给出了评价内容，但没有给出内容结构；（5）实验的结果架构，即测量评价的过程与结果数据结构（结果呈现）；（6）实验的结果应用，即结果应用的要素和结构（怎么用、谁使用等）。
美国标准测试分数报告具有4种功能：提供相关方教育信息，监测全国教育质量，实施绩效问责制度以及监督不同群体学业成就机会。而州的学业报告主要用于教学改进及对学区和学校的绩效问责。
无论是从国外教育评价的先进经验看，还是从理论和技术的角度看，中小学教育质量综合评价改革实验要解决的问题是在《意见》和《框架（试行）》的指导下，通过实验开展至少上述六个方面的探索，并同时解决与之相关的实验验证、科学鉴定及相关配套制度、机制、资源等问题。
三、中小学教育质量综合评价需要破解的理论、技术难题
（一）中小学生学业评价需要破解的理论、技术难题
我国2001年的《基础教育课程改革纲要（试行）》和2002年《教育部关于积极推进中小学评价与考试制度改革的通知》及相关文件，给出了“三维”学科教育目标和学科课程标准，学科教育目标不再是过去的“双基”目标，而是“三维”目标。
依据三维学科教育目标与学科课程标准的要求，学业评价应解决学生、学校在学科教育上的“三维目标”测量与评价问题。然而迄今为止，大多数研究者、应用者回避了在“三维”目标学业评价上的突破，采用通过对学生其他方面的评价（主要是综合素质、社会调查），来推理或相关分析等间接解决“三维”目标中的非双基目标之外的其他维度评价的问题。主要原因大致是因为还没有从理论和方法上突破学生学科学习的三维目标测量与评价难题。
就学业评价而言，评价理论、标准、技术和方法的设计要满足三个前提条件：首先要符合国家提出的关于教育评价与考试改革的新要求，即评价要在“引导、诊断、改进和激励”功能上取得实质性的突破，其中最为重要，也是最困难的是诊断、改进功能的实现；其次，要符合新课程改革的课程目标和课程标准要求，即符合“知识与技能，过程与方法，情感态度和价值观”的三维课程目标，以及据此形成和完善的新课程标准要求；最后，评价结果要能与国际学业成绩评估接轨。以这三者为前提条件的学业评价技术，需要思考在以下几个方面实现突破。
（1）有机整合国际知名教育理论以及教育学、心理学等学科的最新研究，建立多元、多维的测量和评价技术模型，使学业诊断和甄别有据可依。
（2）在试卷结构、试题赋分、计分和统计分析上，依据认知行为与思维等的发生过程，设计新的多元、多维的分数结构，为学业诊断和甄别提供丰富的信息，也为不同测试之间的等值转换提供重要的参考。
（3）在成绩报告方面，应学习和借鉴国际大型标准化测试的报告系统，不仅能提供数据多元、多维、多重比较结果，而且能提供面向不同群体的数据报告，从而能为教育咨询等提供可靠、可信、有效的科学工具，也能为教研、教学、教管等提供可靠有效的科学平台和工具，并为教师专业发展提供科学的操作平台，从而得以实现突破“在评价内容上重考试分数忽视学生综合素质和个性发展，在评价方式上重最终结果忽视学生进步和努力程度，在评价结果使用上重甄别证明忽视诊断和改进”的难题。
（二）中小学生综合素质评价需要破解的理论、技术难题
考察学生综合素质评价较为发达的美国会发现，20世纪60年代，“表现性评价”“真实性评价”或“情境性评价”作为评估学生综合素质，并作为标准化考试评价方式的重要补充被提出。随后，经历了表现性评价兴起期和快速发展期，以档案袋评价法为代表的全面推开期；档案袋评价法的电子化和信息化时期，以及档案袋评价法深入发展期。如今，全美采用档案袋评价法的学校已经跨越从幼儿园到大学，群体从学生到行政人员，应用范围覆盖学生的毕业、教育问责、教师的雇佣、评价以及教师职业发展、行政人员的选拔与评价等等，档案袋评价法已经成为美国教育评价和人才选拔中一种不可或缺的评价方法。
美国多年的教育评价实践已经证明，与标准化考试提供的评价结果相比，档案袋在促进学生自我认识能力的提升和良好素养的培养，教师更好地理解学生及教学效果，为家长、招生单位提供更全面的信息方面，都有着不可替代的优势。尤其是借助信息化手段和网络而制作的电子档案袋，不仅具有指导学生成长的作用，其存储量大和便于获取的优势还有助于学生在需要时向各个机构，包括招生单位呈现。然而，档案袋评价也有其需要解决的一些技术问题，例如需要根据评价的目的精心设计档案袋内容，需要有科学的评分标准和评分量表，需要对评价结果加以解释并对应用做出指导，同时还需要对评分者进行培训，规范评分过程以保证评分信度。而这些在美国都已经有非常丰富的可借鉴的经验。
通过对比分析我国当前学生综合素质评价领域中存在的问题以及美国在此方面已经取得的成就和经验，本次教育质量综合评价改革中，就学生综合素质评价而言，要考虑解决以下几方面的难题：（1）如何界定中小学生综合素质及其评价的概念；（2）构建中小学生综合素质评价的理论体系及模型；（3）健全和完善中小学生综合素质的评价标准；（4）健全和完善中小学生综合素质评价的测量标准；（5）健全和完善中小学生综合素质评价的指标体系；（6）开发中小学生综合素质评价的评价工具；（7）制定中小学生综合素质评价的工具操作标准；（8）改进中小学生综合素质评价的结果呈现方式；（9）建立中小学生综合素质评价的结果解释及应用系统；（10）设计中小学生综合素质评价实验推广模式；（11）设计中小学生综合素质评价公信力保障系统。
综上所述，本次教育质量综合评价改革要想取得成功，各实验区必须要对实验任务、实验要解决的难题以及实验要克服的困难等有清晰的认识，积极组织专业力量，在总结以往取得的成果和经验基础上，将学生的学业评价、综合素质评价、标准化考试等改革工作向纵深推进，以期在实验期结束时能取得实质性的成果，为我国中小学教育质量综合评价改革落地并能长效运行探索出具有各地特色的道路。