培训效果评估工具

　　培训效果评估工具是在人力资源培训与开发的适当阶段实施的收集数据的手段，往往分为以下几类：民意调查、调查问卷、测试、面谈、核心小组、观察、业绩报告。

　　评估工具是指评估主体对客体实施评估行为所选用的方法和工具系统，也就是评估藉以实现的手段、方法和途径的总和。

　　在设计评估工具之前，要考虑以下几个问题。

　　(1)使用这些数据的基本目的。在选择或设计评估工具之前，要重新考虑：评估的基本目的是什么；数据是用来计算投资回报率(以便提高投资回报率)的吗；是被用来优化人力资源开发的过程吗；是被用来吸引新的学员吗。对这些问题的回答将影响对评估工具的选择。

　　(2)需要什么类型的数据。高级别的评估需要硬数据(包括成本、产量、质量等)，当然也需要诸如意见、反映、态度等的其他软数据。

　　(3)如何分析数据。将收集到的数据列成表格、写成总结工具时，要考虑有计划地分析数据，包括对比统计数据。

　　(4)谁将使用这些数据。目标受众是另一个需要考虑的重要因素。无论数据是以原始状态出现还是以总结的形式出现，谁将对这些数据进行再考察，谁将阅读整个报告，如何使用这个报告，这个决定将导致对评估工具中特殊问题的设计。

　　(5)评估工具是否需要测试。当一个培训项目意味着重大的投资或将多次被运用时，在运用该工具对培训进行评估之前应该对它进行测试。测试可以提供一个分析数据的机会，以便察看该评估工具是否存在问题。

　　(6)是否有一个标准的评估工具。在有些情况下，标准工具也会同样有效，并且要比专门设计工具成本低得多，诸如授权、人际关系或领导艺术等广泛的领域，也许更适合用标准的工具。当然，培训的内容和目标要适合标准评估工具所涵盖的领域。例如，在为主管开设的一般沟通培训项目中，关于沟通的详细记录也许应该成为评估某个培训项目的一个标准评估工具。

　　(7)有偏见的信息将带来什么样的结果。在这个过程中，学员提供有偏见的信息所带来的结果往往被人们所忽视。有时候，评估数据是由自愿者采用无记名的方式提供的，信息中可能会有偏见的成分，除非这些观点和看法是专门挑选出来的，否则，这类信息就是不可靠的。故意给出的错误答案可能会对个人、预算或某个小组的员工产生巨大的影响。如果是这样，必须采取预防性措施，其中的一个方法就是，在不同的时刻问相同的问题，以便对答案进行反复的核对。对类似的问题所做出的类似回答，可以反映所得信息是否一致。

　　(1)保证评估工具的有效性或效度。有效的评估工具将对被衡量的内容进行有效的衡量。该工具完成其衡量功能的程度常被称为相关有效性或效度。当考虑某个评估工具是否恰当时，人力资源开发工作的从业人员应该考虑这种有效性。对精心设计的培训项目进行评估时，要对其有效性给予更多的关注。

　　确定某个评估工具的有效性有四种基本的方法：内容的有效性；构想的有效性；标准相关有效性；预见的有效性。为了使评估工具有效而采取的措施往往被称为“保护”工具的有效性。在这些方法中，都涉及了“相关性”一词。相关性是指两个衡量指标的关联程度的大小，它可以用相关系数这个术语来解释。这个系数可以在(一1～+1)之间。

　　1)内容的有效性。内容的有效性是指评估工具在多大程度上反映了培训项目的内容。一个或多个熟知培训项目内容的专家会接受这样的询问：该评估工具是否能反映培训项目中所介绍的有关技能、知识或能力的典型抽样情况。如果内容的有效性较低，就意味着该评估工具未能反映培训所涵盖的真实内容；如果内容的有效性较高，就意味着该评估工具很好地反映了培训所涵盖的内容。为了保证内容的有效性，培训中所有的重要条目、行为或信息都应该在评估工具中按比例得到体现。在评估工具中，所设计的条目或问题的数量都要与培训材料所占的时间或材料的重要性相一致。

　　2)构想的有效性。构想的有效性是指评估工具在多大程度上反映了评估构想的情况。构想是一个抽象的、假设性的变量，如技能、态度或能力。构想有效性最关心的问题是评估工具能否正确反映理论构想的特性。

　　作为保护构想有效性的第一步，要对构想的每个部分都加以定义，并且要有一个合乎逻辑的情形来表明该评估工具是对该构想进行测量的有效工具。对构想的定义要做到尽可能详细，便于理解。构想的有效性可以通过以下方法得到保证：专家提出意见；相关性研究；逻辑推理；标准团体研究。专家提出意见是一种简便易行的方法，专家一致认为某评估工具是构想的准确的衡量方法。相关性较为复杂，在这种情况下，可以用另一种评估工具来衡量同一个或相像的构想，其结果与第一种评估工具所得到的结果具有相关性，若是正相关，可以表明构想具有有效性。另外一种更加主观的方法是逻辑推理，在这种情况下，评估工具的设计者必须通过一系列的逻辑推理得出这样的结论：该评估工具反映了对构想的评估标准。标准团体研究的方法可能更加有效。将这种方法应用到某个对该构想掌握到一定程度的人群中，如果其结果与现存的有关这个人群的知识相吻合，那么它就可以被用来评估构想的有效性。

　　3)标准相关有效性。标准相关有效性是指通过某种评估工具所得到的结果与其他工具在几乎同时对相同的特征进行衡量时所得到的结果在多大程度上相一致。例如，通过某种评估工具对某个团队的成员进行调查，以便衡量团队的工作效率；同时，通过另一种评估工具以同样的目的对同一个团队进行调查。如果两种衡量工具所得出的结果相同，那么可以说该工具具有标准相关有效性。标准相关有效性是通过计算两种工具所得结果的相关系数来确定的。标准相关有效性系数范围为(一1～+1)，越接近+1，测试工具越有效。

　　4)预见的有效性。预见的有效性是指某种评估工具可以预见未来行为或结果的程度。例如，从培训项目完成后的评估中所得到的结果，可以被用来预见未来的行为和在未来工作中的业绩表现。如果某种工具预见了某种程度的业绩表现和行为，并且有相当一部分学员也表现出这种程度的业绩表现和行为，那么，这种工具就具有预见的有效性。预见的有效性可以被解释为，用某种工具所测出的业绩结果与所预见的结果或行为之间的相关系数。例如，在某个生产技能培训项目结束后所进行的测试反映了该培训项目所传授的技能和知识的掌握情况。在6个月后，将测试的分数与实际生产业绩相比较，就可以得出相关系数。明显的正相关关系就说明该测试具有预见的有效性。

　　5)提高有效性的方法。在设计某种评估工具时，没有什么公式可以保证该工具的有效性。然而，一些简单的指导方针则有助于有效性的提高。

　　在工具中要包含适当数量的条目。条目过少将不足以反映有效性，条目过多又会过分烦琐和费时。因此，要尽量掌握平衡，以便提高评估的有效性。

　　要尽可能避免回答问题时存在的偏见。学员可能会以他们认为的调查人员所希望的方式来回答问题，这将破坏评估工具的有效性，应该鼓励学员给出公正的回答。

　　(2)保证评估工具的可靠性或信度。可靠性或信度是指某种工具的一致性和稳定性。可靠的工具应该具有足够的一致性，在以后对某个条目进行的评估中可以得出大体相同的结果。例如，对某名员工实施态度调查，在两年后对同一名员工进行同样的调查，所得到的结果应该是相同的（假设在这段时间里没有发生促使员工改变其态度的事情）。一种可靠的评估工具将提供相同的结果，如果出现了明显的差异，则说明这种工具是不可靠的。有几种误差可能影响评估工具的可靠性：学员智力机敏程度的波动；实施该评估工具的环境发生了变化；对该工具所得到的结果给予了不同的解释；由于学员的个人动机所引起的随意性影响；评估工具的好坏，评估工具好，就可以收集更多的数据。

　　保证考试中评估工具的可靠性是至关重要的。为此，可以从学员那里同时收集培训前后的数据。有四种办法有助于保证评估工具的可靠性。

　　1)测试、再测试。这种方法要在两个不同的时间段对相同的一组员工实施相同的测试或调查，然后计算分数的相关性。如果存在明显的正相关，则该测试就具有可靠性。

　　2)交叉式方法。这种方法要求设计两种类似的评估工具，将其同时运用到员工中去，并分析两个分数之间的相关性。如果相关性明显，这种工具就被认为是可靠的。但是，构建一种类似的评估工具是很费时间的，这使得这种方法不太实际。

　　3)平分法。这种方法将某种评估工具分为相等的两个部分并将其结果进行对比。例如，可以将偶数的问题与奇数的问题进行对比，将两个部分的分数进行比较，就可以找到其相关性。如果具有明显的相关性，就可以认为这种工具是可靠的。

　　4)条目之间的相关性。这种方法是指计算某种评估工具中各个评估条目之间的相关性。例如，将某个有25个条目的测试分为5个部分，就可以得出一个相关系数，来比较某个条目与其他条目之间的关系。

　　(3)保证评估工具的简便易行。一种评估工具要具有简便易行的特点，说明和指令要简单、直接，尽可能做到在不同的学员中实施评估工具时具有一致性。给学员做的书面说明和口头解释要清楚明了，以保证应用的一致性。

　　(4)评估工具应简明扼要。一种有效的评估工具应具备简明扼要的特点，其可读性要与学员的知识、能力和背景相吻合。要尽可能设计出短小精悍的客观条目以便回答，因为冗长的回答和段落性回答不符合简洁的原理，建议用尽可能少的条目来涵盖某个特定的题目。

　　(5)评估工具应体现经济的原则。与人力资源培训的每个阶段一样，在设计、开发或购买某种评估工具时要考虑经济性。一种有效的工具要具有经济性的特点，并且有助于实现既定的使用目标。实施某种工具所需要的时间、分析所收集到的数据和以有效的方法对这些数据进行报告所需要的时间，都是要考虑的因素。