美国高校增值评价的设计逻辑与推进机制

编辑日期:2024-10-31 作者: 阅读:1
【字体:

    2020年10月,中共中央、国务院印发《深化新时代教育评价改革总体方案》,明确指出,“坚持科学有效,改进结果评价,强化过程评价,探索增值评价,健全综合评价”。2007年,美国发起高校自愿问责系统(Voluntary System of Accountability,VSA),在增值评价体系建立和推广上作出先行探索。

    一、美国高校增值评价的推进机制

    综观实施的各个环节,VSA整个评估系统都围绕着自问责主体的诉求而展开,尤其是学生和家长占有举足轻重的地位。在增值评价推进的后续环节中,不论是收集多维度的评估信息,还是开发专门的评价结果展示平台,抑或是实行更加公正的排名机制,都可以看到鲜明的服务色彩(如图1)。


   图1:美国高校自愿问责系统(VSA)推进机制

 

    (一)起点:自愿问责主体需求的回应

    VSA以问责主体的需求作为推进增值评价的起点。VSA需要回应三类主体的需要,高校相应地要承担三方责任。

    其一,对于潜在生源、在校学生及其父母,要共享院校相关信息以便于学生和家长找到与自身更加匹配的大学,并且要提供检验学生就读期间学习和成长动态的渠道;其二,对于教师和校园职工等内部人员,则要辅助教职员工改善课堂教学和学生事务管理等相关工作;其三,对于公共政策制定者以及高等教育的资助者,需要提供用于决策和申请资助的更加透明公开的依据。这些需求均直接或间接地刺激教师和学校积极应对学校内部治理和人才培养中存在的弊病和短板,VSA希望通过评估敦促高校自觉履行政府、社会和个体家庭赋予的使命和责任。

   (二)过程:学生教育增值指数的生成

    增值指数的生成是增值评价的核心环节,VSA需要收集并统计相关信息,以获得各院校学生教育增值的情况,作为进行评判的主体依据。

    1.数据收集阶段

    如表1所示,VSA主要收集三个维度的信息。第一类是学生和家长最为关注的信息,其中,院校信息帮助大学生在择校时做出更加适合自己的决定;比较信息便于在结果比较阶段将大学自身的意见作为重要参考依据;初始信息旨在为后续比对学生在出入口径的学业表现提供证据。第二类是学生校园参与度信息,教职员工可据此了解本校学生学习现状,发现问题、剖析原因,优化课堂教学和校园建设,促进学校内部要素的良性互动与发展。第三类是核心教育成果信息,VSA将大学生在核心教育能力上的发展增量作为关键测量指标。

    从内容上来看,在项目发展初期,仅包含批判性思维、分析推理能力和书面沟通能力的核心教育成果是计算增值的核心内容,体现了美国大学生在经济发展新时期应具备的高阶技能,对于高校人才培养目标和学校发展规划具有一定的导向作用。随着未来社会变迁对大学人才培养提出的新期待,VSA也与时俱进地纳入一些新指标,比如信息素养、公民意识、学习迁移、终身学习等能力同样成为评价的内容。

表1:VSA信息收集情况表

    从测量工具上来看,表1中列举的每一种工具都有各自的优势和局限性,彰显着考虑学生入学差异的增值理念,各院校可以综合考量评估目标和自身需求做出选择。随着高校对于限制评估工具而无法满足个性需求的质疑频发,VSA对于自主选择测量工具的宽容度也逐渐扩大,有益于院校充分结合办学实际,在不脱离国家需求大方向的基础上发挥主观能动性,促进个性发展。

 

    2.统计分析阶段

    VSA整个评价项目理念中最为核心的学生发展“增值”在此阶段得以生成。在项目推行初期,VSA采用横断设计方法,以院校为分析的基本单位,同时在大一和大四学生中进行横向抽样测验,将入学新生和毕业生在核心教育能力上的差异视为“增值”,并引入统计技术计算出学校和教师分别给学生的成长和发展带来的增值,也就是学校教育和教师教学的“净效应”,以更加科学客观地反映出教师和学校层面分别起到的教育效果。并且,学生完成的课业任务等过程性数据,也引入评估内容,给教师和学校更多参考。

    可以发现,在整个数据收集和统计分析的过程中,核心教育成果是生成“增值”时最直接相关的数据。而学生和家长信息以及学生校园参与度同样具有重要地位,不仅为统计分析做了必要的背景调查等准备,更是调取学生和家长切实需要的信息,为评价结果呈现的改革埋下伏笔。

    (三)结果:高校办学现实状况的深挖

    如何用好评价结果是一个教育评估项目能否真正做到“以评促改”的关键环节。“公开—比较—改进”是保证评价项目监督效力的现实路径,VSA在结果的“公开”和“比较”上有其创新之举。

    1.透明度:评估结果的有效呈现

    VSA联合了多所大学于2008年创建College Portrait平台,专门用于线上展示参与院校的评估结果,涵括学生基本信息、净价计算器、学生毕业和就业信息、学生校园参与体验、学生学习成果、本科成功与进步率等重要数据。2015年开始,College Portrait评估报告开始采用美国国家学习成果评估透明框架,一般包括六个模块:学生学习成果陈述、评估计划、评估资源、当前评估活动、学生学习证据和使用学生学习证据的情况。其中,公布对学生学习数据的使用信息是一个创新之举,使得院校对于评估结果的分析利用、发现和解决问题等系列工作透明化,成为督促学校解决问题、提升质量的外在推动力。

    为了提高在信息数据处理方面的专业程度,充分利用网络实现跨校的交流共享,VSA于2018-2019年开发了一套数据可视化系统VSA Analytics取代College Portrait,以高等教育综合数据系统、高等教育研究与发展调查、学生成绩衡量项目和大学计分卡四类国家级数据库作为主要数据来源,包含超过350个学生学业数据变量,用户可以同时分析25个绩效评价指标,使得评估结果的显示更加动态和透明。

    2.可比性:评估结果的适当比较

    VSA对于增值评价结果的处理和比较工作也进行了改良。一方面,大学应该与自身过去的表现进行比较,以此判断该学校在办学进程中是否解决了过去存在的问题以及新的发展阶段实现了哪些目标和成就;另一方面,将办学目标和层次相近的学校放在一起就某些维度进行比较,旨在有针对性地发现、整改问题,共享信息资源,并非要得出高下之分,规避传统排名方式存在的弊端。

    其一,“级别”取代“名次”。每所参与项目的院校都将有自己的增值指数,VSA则根据该指数将院校分为十个级别。例如,若某学校被归入第9级,则表明该校在增值方面的表现优于80%的同类院校,以此代替每个学校一个名次的传统排名模式。

    其二,“部分”重于“全部”。相比于涵盖所有指标,VSA更看重选用包含不同指标的指标组合来评判学校。以往的整体排名形式使得表现突出的院校群体比较固定,在某些方面具有办学特色和发展潜力的院校则难以得到高度关注,而VSA愿意给这一部分学校展现的机会。

    其三,“使用者”高于“组织者”。VSA强烈反对由组织者来制定任何总体排名方案,主张由各个院校提供结构类似的数据,由数据的使用者对数据元素赋予权重。因为每个大学的任务、生源、地理位置、学生群体构成各不相同,不论这些数据指标怎么排列组合,将所有学校放在一起排序都不是公平的。

    (四)再评估:高校改进教育质量的督促

    再评估指两次评估之间的调整期,是对评价结果的进一步升华,也是督促学校持续改善教育质量的保障环节。

    VSA设定高校每3-4年需要进行一次评估,而每次评估结果均要与该校的历史数据进行对比,进而评判学校在这一轮周期中是否有所改进和提升,那么就需要采取措施去弥补通过先前评估发现的不足和短板,促进学生学习。因此,就会形成“评价—发现问题—解决问题”的循环过程。

    (五)监测和调整:评估项目持续发展的动力

    VSA的监测和调整环节计划为VSA项目本身的长期发展提供动力之源,使得VSA在落地实施的过程中不断更新和改进。VSA会对自身评估系统进行评估,收集会员高校和目标群体的意见,发布专门的评估报告,指出存在的问题并进行调整。为了加强院校对于校园参与和评估结果有效使用的重视程度,VSA于2015年创立了卓越评估计划,以此表彰在提供学生学习成果证据的评估实践中表现良好的院校。为了提高在信息数据处理方面的专业程度,改版后的VSA Analytics取代College Portrait,采用更加丰富的国家级别数据库。

    二、塑造聚焦学生发展的增值评价生态

    总结和反思VSA的设计逻辑和推进机制,在功能、范畴、用途以及质量监控上也给我国高等教育评价领域打造“增值评价”生态提供思路和启示。

    (一)强化改进功能,把稳学生增值的评价本位

    于国内而言,教育部牵头的普通高等学校本科教学工作审核评估和多项由不同高校团队开展的全国性大学生调查正在稳步发展,作为高等教育消费者的学生和家长获得并理解学生学业成就的权利往往易被忽视。因而,国内的增值评价除了要提供整体性的学校情况,当前还更应服务于学生和家长的需求。

    一方面,学校可以开发专门的线上网站,访问者在网站中不仅可以通过搜索功能获得涵盖多项信息的报告,主要包括院校基本信息、生源信息、学生在校期间的学习过程、学生在不同阶段的学习增值等部分;还可以根据自身个性化需求决定呈现出的报告结构,使得学生和家长更加精准地掌握信息。高校应及时调研已公布的信息能否真正满足需要,以帮助高中学生和家长合理择校。在当前高考改革的背景下,这种做法潜移默化中可使得生源的分流更加合理,对提升高校人才培养的效率大有裨益。

    另一方面,更要牢牢把握学生中心的评价本位,关注学生个体发展,让大学和教师真正做到对每位学生的学习负责,使得增值评价贯穿每一位学生从入学到毕业的高等教育全过程。可以选择学校进行试点,把服务学生学习置于首位,在不同学段给学生提供个体学业增值情况报告,并提供改进建议和指导。

    (二)拓宽增值范畴,搭建纵横结合的评价设计

    确定学生中心的评价本位之后,至关重要的便是如何界定“增值”。这主要体现在两方面,一是评价什么“值”,二是如何判断“值”的“增长程度”。

    结合我国教育评价实际,要建立适用于中国大学生的“值”的范畴框架,以前沿眼光和全球站位进一步辨明中国大学生需要具备的通识素养。评价的内容除了文化科学知识之外,还应拓展到团结协作、同情关爱,如学习迁移能力、全球化意识、生态正义观等,做好向建设和适应学习型社会转型的准备,服务于终身学习的教育体系。而对于学生增值程度的判断和获得,应先将落脚点归于每位学生的学习,除了横断设计,更要发掘纵向评价设计的可能性。横断设计侧重于学校评价,而纵向评价设计更能服务于学生个体评价,国内高等教育增值评价可以尝试先“个体”再“整体”的推进路线。

    一方面可先以学校为试点单位,开发校本型、周期型的标准化测验,可以囊括多种评价方式,如问卷、量表等自我报告式测验和团队作业、课堂展示等表现性评价,让每一位学生在入校前、中期和毕业后都能多次得到个人的学习增值报告,做到关注每一位学生的进步。另一方面,毕业后用人单位和社会表现的追踪性评价也应得到关注,以衡量学校的培养方案与社会需求是否适配,回应高等教育对社会发展的责任。

    (三)优化结果使用,促成学校教师的深度参与

    国内增值评价应尝试形成个人学习指导和课堂教学两套结果使用机制。一方面,借鉴VSA的经验,让教师参与到增值评价的过程中来。可以结合本科生导师制,让导师参与到学生增值程度的测量以及个人学习增值报告的编制,并从教师的角度提出指导建议,学生可以依次提出未来改进计划和疑惑,实现学生与导师的双向互动。另一方面,开课教师可以自行设计课程教学的增值测量方式和测试结构,学生在课程初期、中期和结课后分别提交一次测试结果。教师可以自行决定这些资料仅供课程改进使用,抑或是将学生的进步程度与学生的课程成绩挂钩。教师应对学生在该课程的增值情况进行反馈,并纳入个人增值报告中。

    (四)落实质量监测,实现增值评价的自我革新

    要想推动增值评价在我国持续发展,监测增值评价本体的质量,及时自我调整和改进必不可少。可以由政府督促和推动增值评价组织团队和第三方机构分别从内部和外部定期对增值评价项目进行“元评价”,收集和整理各方意见,出具专门的调查报告,及时审查评价目标的达成度和有效性,正视评价过程中的短板和漏洞,为下一阶段的增值评价提供改进的可能,以此形成增值评价本身的质量保障机制。

(摘编自《江苏高教》2023年第2期  作者:文静 骆慧)