[拼音]：qingbao jiansuo xitong pingjia

[外文]：information retrieval system evaluation

从技术经济观点对情报检索系统的效果、费用与效益等进行定性与定量分析比较，以确定其优劣的工作项目。视需要与可能，采用下述3种方法。

以费用、时间与质量作为准则，客观地衡量用户对系统所提供的检索结果的满意程度。根据投入产出法则，应使用户觉得所产生的效益是合理的。费用不仅是用户直接的付费，还要考虑用户同系统打交道时化费时间所换算的费用。并要考虑取得文献线索后，取得原始文献方便与否。时间是指系统的响应时间要短，而所提供的情报应尽可能是最新的。但对需要全面检索的用户来说，响应快慢有时无关紧要。质量是指用户是否得到他所要找的东西和得到的东西是否全面、准确；前者是针对检索某一篇文献，或回答某一实际问题，后者是针对一般文献检索。主要是用查全率与查准率来判定检索系统的性能。

即计算检出每篇相关文献的单位成本，可以根据检索结果与所需各项费用定量估算。其主要步骤是：

（1）确定评价范围；

（2）拟定评价计划；

（3）具体进行评价；

（4）结果的分析与解释；

（5）根据评价结果改进系统或服务。在计算费用时要考虑固定费用与可变费用。评价的目的是在达到一定服务水平的前提下，判别哪一种方法或系统费用最小，或保持费用不变，和研究哪一种方法或系统更能提高性能水平。因此，在具体进行评价时，首先要明确所要达到的目标，达到此目标有哪些方法，用某种方法费用要多少，建立相应费用模式(公式、计算机程序或文字说明)，规定评价标准，将各种方法或系统按满意程度排列，从中选出最佳者。对大多数情报机构建立数据库来说，要百分之百收全文献，几乎都做不到。如将收全程度从85％提高到100％，费用将急剧增加，这后面的15％的文献，可能要和前边85％文献需要同样多的费用，从费用／效果的观点来看，应事先确定一个现实的收藏范围目标，再确定那些最能达到此目标的期刊。在输入与输出之间权衡利弊时，要注意这样一条规律，即在输入步骤上节约，将导致输出步骤上负担加重，从而提高输出费用，反之亦然。因此，若查用量小，而输入量大，就应设法节约输入费用，把辅助性工作放在输出阶段。在输入要快的场合，标引工作就要采取较经济的方法。若输出要准确快速，则输入就要做得细微，不要追求节约。在考虑建库时，要进行调查，若已有某种数据库存在，尽管不太符合要求，也要尽可能利用它，而不要另建新库。

即探讨检索系统所提供结果的效益与系统运行费用之间的关系。若效益超过了费用，则获得这 一结果是合理的。 由于确定效益有一定主观性，用金钱来衡量效益是很困难的，因此，进行这一评价很不容易，一般采取下列步骤：

（1）比较不同系统的服务费用；

（2）若得不到预定检索结果，则估算有关人员在劳动生产率上可能产生的损失；

（3）得到此种结果，对决策有何改进；

（4）能否避免重复前人已做过的工作，或吸收其工作经验教训；

（5）是否能促进发明创造或提高劳动生产率。具体作法是向用户征求对所提供结果的意见，看他们是否满意；也可访问用户或用信函询问进行细微的用户调查，以取得数据，说明用户满意程度与从检索结果中所得到的益处。