IMMEX是Interactive Multi-Media Exercise的缩写。核心,是一种通过特殊设计的问题集,根据受测者在问题解决过程中的行为,分析和评价受测者问题解决的过程以及策略的质量的测评方法,并根据这种方法构建的一套在线的测试和训练环境。
IMMEX的测评,不同于其他测评的关键,在于IMMEX测评不仅仅是结果性评价,而且是过程性的评价;而且这个过程性的评价,不仅仅是一个具体问题解决过程,而且是一类问题解决策略形成与发展的过程。以至于参与者,在完成IMMEX的问题集时,既表现出了自己的问题解决能力(测试),又问题集所代表的这类问题进行了一次由浅入深,由低阶向高阶的思考(训练)。获得问题解决结果的同时,还获得了引导这类问题解决的“可行、优化且稳定”的解决策略。
为了实现IMMEX的目标,主要依赖两部分的设计:IMMEX问题集(如下图);IMMEX的数据分析算法。
一个问题集,是一类问题的集合体;通过集合体中各具体变式的扰动,以及具体任务中多解决路径的选择,为受测者提供充分的思考空间;也为测评其思考行为,提供了充分的可能。
通过IMMEX的分析,为施测者、受测者,提供了一系列直观而有效的图表,来了解思考中的问题,并找到突破的方向。通过IMMEX可以回答以下这些问题:
序号 | 问题 | 测评难度 | IMMEX |
1 | 问题是多好/快地被解决的? | 容易 | 可以回答 |
2 | 容易/难题能否被解答? | 相对复杂 | 可以回答 |
3 | 受测者解答问题经历的是怎样的一个思维过程? | 较难 | 可以回答 |
4 | 通过练习,受测者的解题策略是否提高? | 难 | 可以回答 |
5 | 受测者下一次将使用什么样的策略来解决问题? | 十分困难 | 可以回答 |
IMMEX如是回答问题3:受测者解答问题经历的是怎样的一个思维过程
利用可视化的图形,一目了然:同一个问题集解决过程的三种不同数据可视化工具,再现了受测者解答问题经历的思维过程,又分别强调了各种的特征。
Line-SPM图 | Full-SPM图 | TLG图 |
*Line-SPM图,强调了思考过程中对信息使用的顺序。
*Full-SPM图,除了Line-SPM图的信息,还特别强调了在每个信息项上的时间使用信息。
*TLG图,强调了思考过程在各信息项上的迁移情况。
IMMEX如是回答问题4:通过练习,受测者的解题策略是否提高
效率效果——四象限图 | 可行优化和稳定——三状态图 |
通过变式的扰动,刺激受测者不断修正问题解决策略;利用上面两个图形可视化解题策略质量数据:
*每次任务的效率效果描点位置的迁移,刻画出通过练习,解题策略质量的变化迁移情况。目标在右上角的“高效率且高效果”区间。
*三状态图,直接通过策略的可行程度、优化程度和稳定程度,刻画出受测者解题策略的发展过程。经过一定的波动,追求达到可行、优化并且稳定的状态。
IMMEX如是回答问题5:受测者下一次将使用什么样的策略来解决问题
一般:三状态波动上升 | 优秀:迅速达到三状态并高位保持 | 预警:稳定在低效、不可行的策略 |
*通过可行程度,可以知道受测者下一次有没有有效的解题策略;尤其是获得正确的可能性有多高。
*通过优化程度,可以知道受测者的策略是否高效。
*通过稳定程度,可以知道受测者的策略是否具有普适性,经得住问题变化的扰动。