有序回归(Ordinal regression)和逻辑回归有什么区别?它的过程是怎么样的?

有序回归(Ordinal regression)和逻辑回归有什么区别?它的过程是怎么样的?

首先要说明的是逻辑回归解决的是分类问题,不是回归问题,而ordinal regression则更模糊些,可以理解为解决回归问题也可以理解为解决分类问题,按wikipedia的说法“It can be considered an intermediate problem between regression and classification“。

那按此说法ordinal regression和逻辑回归都可以理解为解决分类问题的算法,那他们之间有什么区别呢?先看看逻辑回归,原始的逻辑回归只解决二分类问题,如用户点击或不点击某个广告(也可以理解为点击广告的概率),当然逻辑回归也可以扩展到多分类问题上,可以参考李航的《统计学习方法》。既然逻辑回归扩展后可以解决多分类问题,那我们考虑一下搜索引擎网页搜索结果的排序问题。假设我们已经根据query将网页(doc)按相关性标记为了5个等级(Perfect, Excellent, Good, Fair, Bad),为了对网页进行排序,我们显然可以使用逻辑回归来对<query, doc>pair进行分类,然后按分类结果进行排序。貌似解决了这个排序问题,但是不是总是觉得哪里不对劲呢,对的,因为这里的几个标签之间是有一种特殊关系的,从相关性角度看:Perfect>Excellent> Good>Fair>Bad,即标签之间其实是有某种顺序关系的。要是我们能在模型中显式或隐式的利用这个这个顺序性质,是不是可以对效果带来提升呢?这时候就该ordinal regression登场了。

说白了ordinal regression就是解决类别之间有某种顺序关系的模型,可以参考wikipedia中的“Linear models for ordinal regression”小节。