计算机系统安全学术会议评价与排行
1. 中国计算机学会CCF
该排名体系存在不足，并且后续提供的诸多数据与之存在明显差异。从个人角度来看，在这一领域中国内的研究水平仍显不足（例如，在系统安全或计算机安全领域内以第一作者单位发表于诸如S&P这样的顶级会议上每年能仅有零到两篇论文的数量显得尤为有限；而相比之下，在同一领域美国的研究产出高出许多——能够每年平均发表上百篇的相关会议论文），因此CCF在安全领域的相关排名结果必然存在问题。具体来说，“四大顶会”（即Big4）包括S&P会议（有时也简称Oakland），CCS会议, Usenix Security会议以及NDSS会议。
尽管如此，在当前中国高等教育及科研机构中对CCF发布的学术排名仍然极为重视。因此，在投稿时应尽量适应这一评价标准。但需要注意的是，在撰写论文时最好参考这一排行榜寻找相关资料
下面这个列表里，剔除了专攻密码学领域的会议。
中国计算机学会推荐国际学术会议
（网络与信息安全）
A类
| 会议简称 | 会议全称 | 出版社 | 网址 |
|---|---|---|---|
| CCS | ACM Conference on Computer andCommunications Security | ACM | http://dblp.uni-trier.de/db/conf/ccs/ |
| S&P | IEEE Symposium on Security and Privacy | IEEE | http://dblp.uni-trier.de/db/conf/sp/ |
| USENIX Security | Usenix Security Symposium | USENIX Association | http://dblp.uni-trier.de/db/conf/uss/ |
第XX届NDSS研讨会于2023年在国际标准组织协会（简称：ISOC）所属机构举行。会议主题围绕网络与分布式系统安全展开讨论，并将采取研讨会的形式进行学术交流与技术分享。会议的具体信息可通过访问以下链接获取：http://dblp.uni-trier.de/db/conf/ndss/
B类（四小+CSFW）
| 会议简称 | 会议全称 | 出版社 | 网址 |
|---|---|---|---|
| ACSAC | Annual Computer Security Applications Conference | ACM | https://www.acsac.org/ |
| ESORICS | European Symposium on Research in Computer Security | Springer | http://dblp.uni-trier.de/db/conf/esorics/ |
| CSFW
|IEEE Computer Security Foundations Workshop|IEEE|http://dblp.uni-trier.de/db/conf/csfw/|
| IEEEdn | IEEE International Conference on Dependable Systems and Networks | IEEE | http://dblp.uni-trier.de/db/conf/dsn/ |
| RAID | ACM International Symposium on Recent Advances in Intrusion Detection | ACM | http://dblp.uni-trier.de/db/conf/raid/ |
C类 （部分）
| 会议简称 | 会议全称 | 出版社 | 网址 |
|---|
| WiSec
| ACM Conference on Security and Privacy in Wireless and
Mobile Networks| ACM| http://dblp.uni-trier.de/db/conf/wisec/ |
| ACNS | Applied Cryptography and Network Security | Springer | http://dblp.uni-trier.de/db/conf/acns/ |
|---|
| DIMVA| Intrusion Detection and Prevention Systems (IDS) Assessment| Springer| https://dimva.org/ |
| TrustCom| IEEE专注于信任、安全与隐私在计算与通信中的应用国际会议| IEEE| http://dblp.uni-trier.de/db/conf/trustcom/ |
| ICICS| 国际信息与通信安全会议| Springer| http://dblp.uni-trier.de/db/conf/icics/ |
| SecureComm| 信息安全与通信网络中的安全与隐私国际会议（EAI/Springer出版）| EAI/Springer| https://securecomm.eai-conferences.org/ |
| IFIP-SEC | IFIP国际信息安全管理会议 | Springer | http://dblp.uni-trier.de/db/conf/sec/ |
| PETS
| Privacy Enhancing Technologies Symposium | Springer | http://dblp.uni-trier.de/db/conf/pet/ |
|---|
| Eurocrypt| IEEE European Conference on Security and Privacy| IEEE| 可访问于https://dblp.org/db/conf/eurosp/index.|HTML格式
2. 谷歌学术的指标排名（【2】）
众所周知, 学术界常用影响因子 (IF) 指标来评估学术期刊的质量, 但这一方法并不适用于学术会议. Google Scholar 依据其统计数据, 在过去五年内发表的文章中, 计算了每种计算机学科领域的 h5-index 和 h5-median 值, 并据此对相关学科领域内的机构或学者进行了综合评估. 这一平台仅发布并展示了前二十名的研究机构或学者名单, 并将研究领域划分为计算机学科与数学学科等类别. 在此次分析中, 我们排除了专注于密码学领域的研究机构或学者, 以聚焦于研究方向更为专业的学术会议领域.
| Publication | h5-index | h5-median | |
|---|---|---|---|
| 1. | ACM CCS | 98 | 146 |
| 2. | IEEE S&P | 89 | 134 |
| 3. | USENIX Security | 84 | 136 |
| 4. | NDSS | 72 | 146 |
| 5. | Euro S&P | 46 | 70 |
| 6. | ASIACCS | 38 | 60 |
| 7. | USENIX SOUPS | 35 | 51 |
Euro S&P 与 ASIACCS 进入这个榜单可能有点让人感到意外，但这并不奇怪。说意外，是因它们在CCF的列表里都只是C会。但真正了解这两个会议的人也并不会感到意外。这两个会其实录用难度非常高（甚至高于通常意义上的B会）。四大顶会常年（或绝大多数时候）只在美国召开（只有CCS偶尔会在其它地方举办）。世界上北美以外的地方的学者要参与四大顶会非常不方便，而且花费也很高。为了竞争世界上其他地域的安全研究的学术市场，ACM和IEEE就分别设立了ASIACCS和Euro S&P，分别对标CCS （CCS 和ASIACCS都是ACM旗下的会议）和S&P（S&P和Euro S&P都是IEEE旗下的会议），并作为二者的补充。ASIACCS的召开地点一般都在亚太地区，而Euro S&P则主要在欧洲召开。学术也是江湖。
补充说明如下：SOUPS在旧版CCCF的分类中属于‘计算机体系结构及高性能计算’领域。而自2022年起已调整至安全领域。
补充说明如下：SOUPS在旧版CCCF的分类中属于"计算机体系结构及高性能计算"领域。而自2022年起已调整至安全领域。
3. 其它排行
3.1 清华大学计算机学科群推荐学术会议（参见【5】）
A类（剔除密码学会议）
毫无疑问的 Big 4 （S&P, CCS, Usenix security, NDSS）
B类（剔除密码学会议）
第一部分是（四小+CSFW），这部分跟新版CCF列表一致：
CSFW、ESORICS、DSN、RAID、ACSAC
这部分内容涉及CCF领域内的若干C类会议；这些会议在中国清华大学的相关目录中被列为B类；值得注意的是，中国清华大学本身并未拥有C类会议。
SOUPS、PETS、DIMVA、AsiaCCS、WiSec、ACNS、IFIP-Sec
4
4
4
由SUTD教授Jianying Zhou 负责管理的 最重要的网络与信息安全会议排名 参考文献中的编号为【4
顶会仍然是毫无疑问的 Big 4 （S&P, CCS, Usenix security, NDSS）
3
3
3
3
3
毫无疑问的是 Big 4 （S&P, CCS, Usenix security, NDSS）—— 我想说的就是：英雄所见略同
4. 出自G.O.S.S.I.P小组的研究报告（【1】）
由G.O.S.S.I.P小组的成员X5tar、Neorah以及一位匿名的专业安全分析师组成的研究团队，在2021年全年安全学术会议上展开了深入讨论，并对排序方法进行了重大的改进。他们整理并发布了《2021年度安全学术会议排行榜单》。
和去年相比，今年的排名我们首先基于如下一些客观事实：
- 程序委员会学术活跃度：本研究认为，在安全学术会议上，
组织者的水平直接影响着会议的质量，
因此我们基于公开数据统计，
结合"Top Authors"以及SystemCircus（https://nebelwelt.net/pubstats/top-authors-sys_sec.html）上的统计数据显示，
评估结果显示每个参与会议中，
组织者团队成员每年在顶级会议上发表论文的数量，
以此量化组织者群体在安全领域研究活动中的活跃程度。 - 论文投稿数和录用数：这两个指标全面反映了该学术会议在规模与活跃程度方面的表现。
基于这些具体的数据支撑，在对比中我们拓展了对安全学术会议的评估范围。通过系统性的统计分析，在对比中我们拓展了对安全学术会议的评估范围。
IEEE S&P、NDSS、USENIX Security、ACM CCS、ASIACCS、ACSAC、RAID、PETS、ACM WiSec、EuroS&P、ESORICS、DIMVA、ACNS、DSN、CODASPY、ICICS、ISC、Securecomm、Inscrypt、Trustcom、IFIP-sec
随后我们依次向大家讲解这些安全会议的各个项目评估结果，并在最后公布我们的综合排名。
4.1 程序委员会学术活跃度排名
经分析可知，在该评估指标下，传统顶级计算机安全大会（TopCCS）的程序委员会成员人均发表的研究论文数量普遍较高。其中IEEE Symposium on Security and Privacy（IEEE S&P）作为全球顶级安全会议之一，在该指标下的研究论文人均发表数量达10.85篇，并遥遥领先于其他顶尖会议；而与之紧随其后的是Networking and Distributed Systems Security (NDSS)，其在该领域的研究产出略逊一筹。
| 会议 | PC人均顶会论文数 |
|---|---|
| IEEE S&P | 10.85 |
| NDSS | 10.61 |
| Usenix Security | 8.48 |
| ACM CCS | 7.88 |
| RAID | 7.8 |
| ASIACCS | 7.51 |
| ACSAC | 6.23 |
| WiSec | 5.7 |
| DIMVA | 5.31 |
| PETS | 4.39 |
| ESORICS | 4.38 |
| Euro S&P | 4.15 |
| ICICS | 3.25 |
| ACNS | 3 |
| CODASPY | 2.65 |
| SecureCcomm | 2.09 |
| DSN | 1.83 |
| IFIP-Sec | 0.59 |
| TrustCom | 0.36 |
4.2 录用论文认可度排名
最近一年内，我们新增设置了"论文录用认可度评估指标"。
我们认为一个学术会议的录用论文数目和程序委员会规模应当相当。
为此，
计算其录用论文数量与程序委员会规模的比例，
比例值越高则表示该会议在审稿人与投稿人研究水平上的均衡性越佳。
如果某会议为了追求高录用率而采取-string拒稿策略，
在我们的评估体系中将获得较低分数。
举例而言，
在2021年的IEEE S&P会议中，
共有132名PC成员（人均顶会数目为10.84），
录用论文数量为115篇，
因此，
每篇论文平均获得了10.84乘以115再除以132的认可度。
根据这一指标的分析结果表明，在这项评估标准下
| 会议 | 录用论文认可度 |
|---|---|
| NDSS | 10.61 |
| IEEE S&P | 9.45 |
| Usenix Security | 7.32 |
| ACM CCS | 6.77 |
| ACSAC | 5.41 |
| ASIACCS | 4.82 |
| RAID | 4.46 |
| PETS | 3.3 |
| Euro S&P | 3.13 |
| WiSec | 2.85 |
| DIMVA | 2.45 |
| ESORICS | 1.68 |
| ACNS | 1.61 |
| CODASPY | 1.11 |
| ICICS | 1.09 |
| DSN | 1.07 |
| Securecomm | 0.97 |
| IFIP-Sec | 0.13 |
| Trustcom | 0.15 |
4.3 论文录用难度
人们通常会利用会议的recruitment rate作为衡量其论文接收难度的重要指标；然而这一指标仅能反映问题的一小部分情况；为了更全面地评估会议质量；我们建议除了考察recruitment rate外；还需关注程序委员会成员的专业水平；即考察他们发表于顶级会议的数量；这样能更好地反映投稿论文是否真正获得了安全研究领域的认可；基于此我们可以计算出该会议在接收高质量稿件方面的表现程度：具体而言；计算方法为将程序委员会成员的人均顶级会议发表数量与该会议的recruitment rate相除（即当recruitment rate较低时说明接收难度较大；而当两个会议具有相同recruitment rate时；若程序委员会成员的人均顶级会议发表数量更高则表明其接收的标准更为严格）
我们发现，在这一评估指标上，“传统四大安全会议占据前四位置”的格局已被打破！ACM AsiaCCS取代了ACM CCS的位置，并进入前四名行列；这也表明，在拥有高质量程序委员会的同时，ACM AsiaCCS在论文录用难度方面同样表现出色！像ACM WiSec与DIMVA这类CCF-C类会议而言，在录取难度方面也并不逊色于前者；同样地，在这项指标上表现出色的是诸如Trustcom等CCF-C类会议；值得指出的是，在这项评估中居于末尾的位置则是原先占据此席位的传统CCF-C类会议Trustcom。
| 会议 | 论文录用难度 |
|---|---|
| IEEE S&P | 89.82 |
| NDSS | 69.88 |
| Usenix Security | 45.36 |
| ASIACCS | 39.70 |
| ACM CCS | 35.34 |
| RAID | 33.63 |
| WiSec | 25.54 |
| ACSAC | 25.39 |
| PETS | 23.34 |
| ESORICS | 21.65 |
| DIMVA | 19.18 |
| ACNS | 15.08 |
| ICICS | 13.40 |
| Euro S&P | 12.87 |
| DSN | 11.25 |
| CODASPY | 10.80 |
| Securecomm | 6.12 |
| IFIP-Sec | 2.36 |
| Trustcom | 1.28 |
4.4 综合排名
本年度，我们决定对综合排名机制进行创新性改革。为此，我们建立了与社交网络领域相关的评估指标，并将其应用于26个入选会议的最终排序。具体而言，在计算每个会议学术影响力时，我们采用了以下公式：投稿数量除以程序委员会成员人数后乘以人均发表顶会论文的数量。这种量化方法旨在全面反映会议在学术社群中的活跃度及其对研究前沿的关注程度。该指标的意义在于通过客观数据反映会议质量与影响力之间的关系
基于此分析结果，在对安全学术会议进行分类时
在甲组中可以看到，在过去几年中尽管传统四强依然保持着其固有的地位（IEEE S&P长期位居榜首），但其他四强之间的竞争也愈发激烈：NDSS的表现依然强劲紧随其后，并且领先幅度明显超出身后的USENIX Security；而排在最后的ACM CCS与之相比则略逊一筹。基于近年来的数据统计可以看出，在过去两年中传统意义上的"四小安全会议"（即ACSAC、RAID、DSN和ESORICS）已不再适合作为评估安全领域的标准参考；相反地我们发现ACSAC、RAID、PETS以及ACM AsiaCCS这四个会议在学术影响力和技术深度上均更为突出值得特别关注。此外在安全性研究方向上规模较小但研究价值较高的小众会议如DIMVA、EuroS&P ACM WiSec等也大都达到了与部分传统会议相媲美的水平值得大家深入研究
再来看看乙组的排名：
| 会议 | 学术社群热力度 |
|---|---|
| IEEE S&P | 78.25 |
| NDSS | 69.88 |
| Usenix Security | 39.16 |
| ACM CCS | 30.38 |
| ASIACCS | 25.49 |
| ACSAC | 22.08 |
| RAID | 19.22 |
| PETS | 17.56 |
| WiSec | 12.77 |
| Euro S&P | 9.71 |
| ESORICS | 8.31 |
| DIMVA | 8.85 |
在乙组中过去两年表现欠佳的老牌安全会议DSN声誉尽失 即使本组内作为仅有一家CCF-B类会议 也没能位居榜首；而CANS及CODASPY作为未被CCF列入会议列表的安全会议其表现异常突出 相比之下CCF列表中的Trustcom与IFIP-sec均表现平平 在我们的排名榜单上均位列末尾
| 会议 | 学术社群热力度 |
|---|---|
| ACNS | 8.09 |
| DSN | 6.58 |
| CODASPY | 4.53 |
| ICICS | 4.50 |
| Securecomm | 2.83 |
| Trustcom | 0.54 |
| IFIP-Sec | 0.52 |
参考文献
1
1
1
2
2
2
3
3
4
4
5
5
【本文完】