SOTA,benchmark和baseline分别是什么意思?
2024-06-18SOTA全称是state of the art,是指在特定任务中目前表现最好的方法或模型。Benchmark和baseline都是指最基础的比较对象。你论文的motivation来自于想超越现有的baseline/benchmark,你的实验数据都需要以baseline/benckmark为基准来判断是否有提高。唯一的区别就是baseline讲究一套方法,而benchmark更偏向于一个目前最高的指标,比如precision,recall等等可量化的指标。举个例子,NLP任务中BERT是目前的SOTA,你有idea可以超过BERT。那在论文中的实验部分你的方法需要比较的baseline就是BERT,而需要比较的benchmark就是BERT具体的各项指标。
state-of-the-art/ state of the art,用来表述“当前最新的(方法)”,SOTA……道理上是没有这个词的,不应使用。
今天看了罗杰波老师的吐槽,上网一查SOTA,可以看下面两个有趣的截图对比。当下中文博主学术不专业,英语汉语使用不严谨,导致专业词汇乱用且广泛传播误导读者的现象不少。
罗老师原话:“state of the art是个名词,state-of -the-art 是个形容词. SOTA什么都不是。state-of-the-arts……There is no such thing!实在想用复数,用state-of-the-art methods.”
再提供一些辞典出处,名词、形容词是有,SOTA确实查不到。非要狡辩说博客和论文作者的广泛使用推动了SOTA这个词在当代的语言发展,我们也无话可说,但目前也只是Chinglish的发展(下面bing搜索截图为证)。
Thesaurus results for STATE-OF-THE-ARTDefinition of STATE OF THE ARThttps://dictionary.cambridge.org/dictionary/english/state-of-the-art![](https://pic1.zhimg.com/v2-8bc0add4b272700db634eedaec8986ff_r.jpg?source=1def8aca)
![](https://picx.zhimg.com/v2-cdcb3e8c43aa7e8c5e398c47cbe152a7_r.jpg?source=1def8aca)
SOTA是state of the art的缩写,指某特定时间背景下的最高水准。例如,SOTA model 最先进的模型。
benchmark通常指的是一个(标准的)衡量规定或是评估标准。具体的可以理解成,在某个标准的数据集上用某种规定的方式(进行实验)并且用某几个指标来衡量算法的性能,这样规定被称为benchmark。由于benchmark的标准化还是一个正在进行的过程,所以benchmark通常也可以粗略的理解成某个标准的数据集。例如,ML10M benchmark 指 在ML10M这个数据集上进行实验。
baseline指的是一个基准,也叫基线,简单来说就是用来对比的一个参照对象,人们往往通过用和baseline比较性能的方式来凸出自己新提出的算法的优势。在机器学习领域,baseline通常是一个广为人知的算法,可以是最基础同时性能又不错的算法,也可以是最先进、性能最好的算法(SOTA)。例如,著名的围棋程序AlphaGo所使用的baseline便是人类最强的围棋选手。
sota=目前该领域表现最好的算法;
论文motivation=论文所提方法的具体表现(也就是你想要达到什么效果,且通过论文的方法能够实现);
benckmark=用于对比的各种技术指标;
baseline=对比算法
eg:论文基于某种motivation(要比对比算法更快/更高/更强),选择了该领域的sota(目前最强的方法)作为本文的baseline(对比算法),在运行速度这个benchmark(某一种技术指标)上,表现更好,并且其余指标能够基本持平。