目录

前  言

第1章  排序和打分

一、评价者间信度的测量

二、相对排序：选举计票机制

三、相对排序：Bradley-Terry模型、模式模型

和Plackett-Luce模型

四、相对排序：其他算法

第2章  词语联想

一、词频和位置分析

二、关联规则算法

三、用关联规则算法分析文本

四、绘制关联规则网络图

五、用非负矩阵分解对词语进行分类

附录：导入文本的多种方法

第3章  构建综合指标

一、确定权重

二、分数聚合

附录一：原型分析

附录二：绘制雷达图

附录三：绘制满意度-重要性图、波士顿矩阵

第4章  用回归模型确定绩效指标

一、线性回归模型

二、Hurdle模型和零膨胀模型

附录：绘制回归系数置信区间图

第5章  定性比较分析（QCA）

一、基本知识

二、cs-QCA

三、fs-QCA

四、mv-QCA

附录一：寻找潜在因果关联的其他方法——关联规则

附录二：寻找潜在因果关联的其他方法——并存分析（CNA）

第6章  项目反应理论（IRT）

一、Rasch模型：分析二元偏好数据

二、GRM模型：分析多级量表

三、三参数模型：分析测试题项

四、理想点模型：分析调查问卷

五、理想点模型：分析投票数据

附录一：量表的可视化

附录二：填补缺失值

附录：复习基础代码

参考文献

第1章  排序和打分

排序（ranking）是指评价者依据某种标准（如科学性、可行性、个人偏好等）为多个选项排出顺序，最优选项被赋值为1，次优选项被赋值为2……以此类推。打分（rating），又可称为定级或等级评估，是指评价者按照某种标准对各选项的类别或所处的水平进行评定；例如，用1至5的数字表示对一项政策的偏好程度，1代表完全赞同，5代表完全反对（或者1代表完全反对，5代表完全赞同），其他数字表示居间的偏好程度。

排序与打分在政治学研究和政治实践中有着广泛的应用。在公共政策领域，决策者会邀请若干专家对各种备选方案进行排序，或对每个方案的各项属性进行打分，并据此挑选最优方案。决策者亦可能开展线上调查，请公众对各类公共服务的质量（如效率、便利程度等）进行评价。不过，对排序与打分最为直接的应用要算是选举投票了。投票实质上就是对公众偏好进行聚合从而选出优胜者。在政治学研究领域，我们有时需要利用专家打分法来确定变量的取值并将其用于后续分析；例如，在衡量一个国家或地区的法治水平时，我们除了使用一些客观数据外，还可能需要邀请专家对其进行主观评估和打分；而当测量对象的维度较多以至于难以用客观数据测量或客观数据不可得时，专家打分法更是成了必不可少的工具。

排序与打分在一定程度上是可以互换的。例如，评价者对四个选项的排序结果为D>A>B>C，这实际上就相当于为A、B、C、D四个项目打分，分值分别为2（A排在第2位）、3（B排在第3位）、4、1，较小的数值代表较高的满意度。波达计数法（Borda method）是典型的排序与打分可互换的例子。

本章分为四个部分：第1部分介绍测量评价者间信度的一般方法；第2部分集中介绍选举计票机制；第3部分介绍拟合LLBT模型、模式模型和Plackett-Luce模型的方法；第4部分将对多种排序聚合方法进行介绍。

一、评价者间信度的测量

评价者间信度，是指多个评价者在赋分或分类时的一致性或相符性。

为什么要关注评价者间信度呢？设想，公共部门聘请一位资深专家对本地区数百个社区的基础设施建设水平进行评估打分。这位专家意识到自己不可能前往所有社区进行实地评估，于是在征得公共部门同意后雇佣了三名助手以便分头完成实地评估工作。现在的问题是，这三名助手的打分能否与专家保持一致？也许有人标准过严，因此给分普遍较低，也许有人标准过松，给分偏高，也许有人所使用的标准与专家心中的标准非常不同。但是，公共部门视这位专家的打分标准为黄金标准，因此当然希望其他人的打分能与他保持一致。为检验这种一致性，这位专家带着三名助手前往他已经给出分值的15个社区，让他们每个人为这些社区打分。然后，这位专家要做的就是通过特定的指标来衡量三个助手与他在打分方面的一致性程度。

再举一例，设想某个研究者提出了某种对国家政体进行分类的新方法，并希望将以此方法得到的国家类别作为自变量放入回归模型中进行假设检验。他现在意识到，如果政体的划分只由他个人完成的话，期刊编辑会说他的分类主观性较强；于是，这个研究者又找来另一个研究者，把分类标准告诉他，并请他跟自己一起完成分类。理想的情况是，两个研究者对每个国家的政体都作出了同样的判断；不过两个人的分类结果并不一定完全一致。这时，研究者需要计算并报告信度指标的数值，借此证明两个人的分类具有较高的一致性，然后通过讨论解决分类中的分歧。

接下来我们就将介绍如何用R计算各种信度系数。

正如数值可分为名义（nominal）变量或分类变量、定序（ordinal）变量、定距（interval）变量和定比（ratio）变量一样，信度系数也可被分为四类。我们本应依次对这四类系数进行介绍，但鉴于R中的一些函数能够计算不止一类系数，因此我们将不按照这四个类别的顺序进行介绍。表1对这些函数进行了总结，读者可从中查找自己需要的函数。

表1  信度系数计算函数分类

 分类变量 定序变量 定距变量 定比变量

仅限两个评价者 rel::gac

rel::spi

manual_bp

immer::immer_agree2

Delta::Delta rel::ckap

rel::gac

rel::spi rel::gac rel::gac

两个或多个评价者 rel::ckap

rel::kra rel::kra

irr::kendall rel::kra rel::kra

obs.agree::IBMD

……