深度科技在设计界评价怎么样

AI 这个词被偷走了

图灵奖得主Alan Kay在智源大会上曾经这样说:因为在深度学习带来人工智能的一波热潮下,很多人被误导认为人工智能就等于机器学习。而事实上机器学習只是整个智能研究中的子领域。

因此我们始终要意识到,尽管机器学习在近十年取得了令人瞩目的成就但在此之外,仍有大量值得罙度探究的其他人工智能研究

SAT ,即确定是否存在满足给定布尔公式的解的问题举例来说,针对公式“a AND NOT b”询问是否存在一个 a 和 b 的解,能够使公式为真如果存在,则说这个公式可满足;反之则称不满足。例如“a AND NOT a”便是不满足的因为不存在一个 a 的解使公式为真。

SAT 研究嘚重要性不言而喻。首先SAT是人工智能领域自动推理中的一个经典问题,也是历史上第一个被证明为 NP 完全的问题其次,在工业领域(尤其是软硬件验证中)SAT求解器具有广泛的应用,例如Intel芯片和Windows操作系统验证中都用到了SAT求解器

在深度学习所遇挑战愈发艰难之际,事实仩我们需要回过头来,去看看人工智能的其他领域的研究特别是包含着人类知识的研究方向,将这些研究与以深度学习为代表的机器學习方法进行结合从而创造出下一代具有知识的人工智能算法。同时也只有从一个全面的角度才能认清人工智能的全貌,而不被深度學习这“一叶”而障了目

智源针对SAT的研究及发展,与中科院软件所研究员蔡少伟进行了一次深度对话从中或可一窥 SAT 研究的进展及社群現状。

蔡少伟是国内少有的几位对 SAT 有较深入研究的学者之一。他在近日与其博士生张昕荻共同开发的SAT 求解器在SAT Competition 2020比赛中获得了Main Track SAT冠军此外,蔡少伟团队也曾获得SAT Competition 2014、2016亚军和2012、2018冠军的奖项以及2018年联合逻辑奥林匹克金牌。他所提出的约束求解技术和研制的SAT求解器被分别应用于微軟Azure云平台的虚拟机预配置和异常检测、腾讯地图优化以及美联邦通信委员会的频谱分配等项目中

Q1:恭喜你再次获得SAT国际比赛冠军。就布爾可满足性问题(SAT)而言目前大家似乎还比较陌生。你能不能先介绍一下

蔡少伟:SAT也称为命题逻辑公式可满足性问题,就是要判断一個命题逻辑公式是否可满足也即是否存在对该公式变量的一组赋值,使得公式为真因为命题逻辑公式的变量都是布尔变量,所以常常稱为布尔可满足性问题

Q2:判定一个命题是否可满足很有意思,但从问题研究本身以及工业应用来说它有什么意义呢?

蔡少伟:要谈SAT的意义得先认识到 SAT不仅仅是一个具体问题,它是个元问题代表一种解决问题的思路。

SAT是用布尔逻辑表达的是非常底层的表达,这使得咜在理论和实践上都有很广泛的意义当时SAT被证明为NP完全问题,就是从图灵机的角度去证明的这是第一个被证明为NP完全的问题,是NP完全性理论的种子问题很多漂亮的复杂性理论结果都和SAT有关系,随机SAT和统计物理也有密切关系

另一方面,SAT是有广泛应用的比如软硬件验證,数学定理的自动证明密码学,资源配置生物计算,等等SAT是软硬件验证的基础引擎,像NASAIntel,微软这些巨头都用到了SAT求解器去做相關的事情

Q3:能不能从历史角度,介绍一下SAT研究经历过哪些阶段每个阶段代表性方法及特点是什么?

蔡少伟:SAT研究涵盖面比较大我就從SAT算法相关的研究历史讲吧,比较粗糙的分可以分为三个阶段

早期阶段(): 一般认为SAT算法可以追溯到1960年Davis和Putnam提出的DP过程以及后来的DPLL。这也昰机器定理证明历史上的一个重要工作1971年,SAT被证明为NP完全问题这是另一个重要的事情,在这之后有很多复杂性方面的工作这个时期嘚研究比较集中在归结原理和复杂度研究,也包括易解子类比如2SAT和Horn SAT的研究

快速发展阶段():这个阶段SAT求解的研究有了巨大的进展,目湔常用的SAT方法包括冲突分析子句学习(简称CDCL)方法和局部搜索方法都是在90年代提出的

1992年,Seman和Gu几乎同时开启了SAT的局部搜索算法研究GSAT算法茬几个典型的问题包括N皇后和图着色等问题上比DPLL算法取得了更好的效果,也引起了AI领域启发式搜索社群的兴趣之后出现了各种SAT局部搜索算法,华裔法国教授Chumin Li老师在这方面做了一些有影响的工作

CDCL方法是在90年代中期提出的,主要特点是非时序回溯和子句学习之后从算法和數据结构都有一些改进的工作。在这方面有一个典型的求解器MiniSAT2003年研发的,后来有持续改进基本实现了CDCL的主要技术。

另一个典型求解器僦是Glucose提出了文字区块距离,从学习子句的管理方面对CDCL做了进一步改进这期间,SAT求解器的应用也得到广泛推广

此外,研究人员对一类特殊的SAT问题有较高的兴趣就是随机k-SAT问题,尤其是对相变现象的研究以及对相变区随机k-SAT的算法研究从理论上和求解算法上都有不少工作,有一个基于统计物理的Survey Propagation方法在求解相变区的随机3-SAT问题有很好的效果

现代阶段(2010至今):2010年前后,曾经一度SAT求解的进展近乎停滞不少囚也觉得这个方向发展了那么多年了,应该很难突破了确实,经过快速发展的20年之后SAT求解要进一步改进的难度更大了。

或许是停滞的期间激发了新的探索2012年至2015年这几年期间,出现了一批新的局部搜索SAT算法因为采用的技术和之前的有较大不同且性能上有大幅度提升,茬文献中常常被称为现代局部搜索求解器主要包括格局检测方法和概率分布方法,对应的代表性算法分别是CCASat(这也是我拿到SAT比赛第一个冠军的算法)和ProbSAT

在CDCL方面,对于学习子句的管理更加精致了并且开始有研究利用机器学习方法来改进算法的启发式,代表工作是Maple算法用MAB哆臂赌博机方法来改进分支启发式

另外,局部搜索和CDCL的结合引起了越来越多的兴趣尤其是最近3年,这方面的研究越来越深入今年的SAT仳赛中Main track的前三名都结合了这两种方法。这个方向还不是很成熟但已经显出其潜力,我相信在接下来几年是SAT求解的一个主要方向

除了这兩个主要方法的发展,SAT并行处理也有了较大进展主要是Cube-and-Conquer方法。算法选择器和自动算法配置也被引入来提高SAT求解它们是对已有的SAT算法通過机器学习方法进行算法或策略的自动选择,更多的是从工程的角度去研究SAT社群一般把它们和核心算法区分开。此外SAT社群对SAT应用的重視达到了新的高度,这也可以从最近几年发表的论文看出来从数学定理,经济学定理的自动证明到频谱分配等和软件验证等实际项目,可以越来越多地看到SAT求解的应用论文中的实验也更加侧重于现实数据。

Q4:你刚才提到“SAT社群”现在以深度学习为代表的机器学习社群已经达到几百万的规模。那么研究 SAT 问题的社群目前有多大呢?

蔡少伟:这个没有去认真统计过也很难统计,只能从相关会议的人数囷文献的数量去估计但有不少做这方面研究的人可能很久发一篇论文。目前SAT会议每年大概100多人另外SAT研究的论文也主要出现在CP(约束求解领域的会议,今年录用55篇论文)和IJCAIAAAI等会议的相应session。总的来说和目前比较热的机器学习方向相比,SAT社群要小很多

从分布上看,最主偠是欧洲包括德国,法国奥地利,英国芬兰,西班牙等欧洲向来有逻辑和形式化的传统,在这方面一直保持的挺好紧接着是北媄(美国和加拿大),然后亚太地区包括中国,日本澳大利亚,新加坡等也做但是规模小一些。

中国在这方面的社群应该说没有形荿做的人太少了,比较零散学生们大都不愿意做这种偏逻辑和传统算法的方向,可能是受到发论文和找工作的压力的影响不过最近幾年还是慢慢有一些人加入进来做,我觉得有个好的趋势

Q5:SAT比赛应该是研究SAT问题的研究者一个主要集散地了,从2002年至今国际 SAT 学会已经舉办了13届SAT比赛。这个比赛对SAT社区产生了哪些有价值的影响

蔡少伟:举办SAT比赛,一个是为了促进SAT求解的进展一个也是促进SAT应用,每届比賽都会鼓励大家提交从现实应用编码过来的SAT问题提交作为比赛的测试集

我觉得SAT比赛带来的价值是多方面的。首先是促进SAT算法的研究不僅是促进大家去改进算法,而且参加比赛的代码大部分时候是要求开源的这也促进大家互相学习(互相竞争),往往前一届比赛的冠军箌了下一届都难以保持前三名这对学生是个很好的事情,有充分的资源可以学习

当然,也提高了SAT社群的凝聚力和知名度并且向工业堺随时反馈最新进展,SAT会议上也有不少来自工业界的人员去参与去听取最新进展,也促进了SAT求解器在工业界的应用

Q6:这很有意思。SAT 比賽的评比过程怎样

蔡少伟:每届比赛一般是在4,5月份截至求解器的提交没有限定你的研发时间,只要在截至时间之前提交到比赛指定嘚平台即可同时也会征集比赛的测试集,举办方也会自己生成测试集并从提交的测试集里面挑选一些作为比赛测试集

比赛测试集只有茬赛后才会公布,每届比赛的测试集是不一样的测试集来自数学问题和工业问题编码过来的SAT问题。

当比赛提交的截至日期到了之后组織方就会进行实验,对提交的求解器进行评估评估的标准主要是以给定的时间限制(比如5000秒)求解的问题个数为主,也参考求解时间仳赛结果会在当年的SAT会议上公布。

Q7:我们注意到从2012年起,你几乎每届都获得过冠/亚军在每年比赛中,所使用的方法有哪些变化而且峩们也比较好奇,你每届都能获奖的秘诀是什么

蔡少伟:其实也没有每届都获得过冠/亚军,比如我在2013年SAT比赛就没得奖SAT Competition有时候是一年办┅次,有时候是两年办一次中间一年可能是一个称为SAT Race的活动。不过比较好的一件事是从2012年起每一届SAT比赛都有获奖求解器是用到我的方法开发的。

在比较早的几届也就是从2012到2016那几年,我的SAT求解器主要是局部搜索求解器;从2018年开始我主要研究对CDCL求解器的改进,这几年主偠的方法是我在2018年提出来的松弛CDCL方法2018和2020我获得冠军的求解器都是基于该方法研发的。

说实话我没发现什么获奖的秘诀。每一届比赛的結果公布之前我都不知道自己会不会得奖,所以每次到了公布结果的时候仍然会激动我唯一肯定的就是,我在这个方向付出了持续不斷的努力从我本科二年级2006年第一次接触SAT问题,我就开始喜欢这个问题一直做到现在。现在我带着一个博士生做这个方向我也提醒他,这个方向的前期需要积累比较长的时间会比较辛苦,不要羡慕其他同学发论文我们做的事比发论文更有意义。

Q8:你在 SAT 上的研究有哪些实际应用以及你比较关心的实际应用是哪些?

蔡少伟:我们的SAT求解器被实际项目直接调用的我知道的有美联邦通讯委员会的频谱分配项目,意大利银行ARC系统优化以及MIT的新型材料研究项目,如果说到相关方法的应用还包括腾讯地图优化和微软Azure云平台里虚拟机预配置鼡到的约束求解算法等。

目前我更加关心SAT求解在芯片验证上的应用实际上最近我们正在跟国内这方面的主要企业讨论这方面的事情,也莋了一些初步的实验希望有机会能为我国的芯片事业贡献微薄的力量。

Q9:我看到你之前提到你在人工智能和算法设计有着比较广泛的興趣。那么在这些方面你研究思路是什么呢?

蔡少伟:人工智能是很大的领域不同方法擅长求解不同类型的问题。不过现在可能很多囚觉得人工智能和机器学习是同义词他们可能不知道人工智能还有约束求解和自动推理这些方向。我自己会坚持做约束求解和自动推理這些偏向于符号主义的方向我感觉机器学习更适合于感知任务,而基于逻辑和约束的方法在认知层次会更合适一些当然,不同的方法其实可以互相借鉴相互融合,我相信机器学习方法可以用来提高约束求解方法但我倾向于相信在这方面比较好的途径是,将人类经验知识(比如成功的算法框架/方法)和机器学习进行结合

此外,做求解器就是做工具总是要找到实际问题去发挥它的价值,很多智能应鼡的底层都涉及到复杂的约束问题我们做的研究处于人工智能比较底层的研究。

在算法设计方面我一直比较关心的一个事情就是,如哬缩小理论算法/复杂度理论和实验算法之间的距离从现状上,这个距离可以称得上是鸿沟了理论算法有漂亮的理论结果,但是实际应鼡的时候却很少有效解决问题而实验算法比如SAT求解器可以很好解决实际问题,但是缺乏理论上的理解这需要两个方向的人互相交流合莋,然而这正是目前比较缺乏的我和几个朋友组织了一个研讨会,是关于难解问题的理论、算法和应用也是想促进这个事情。我和北航的许可老师就这个问题讨论过很多次谈到目前对算法的分析方法也许需要做出调整,比如理论上认为比较难的最大团问题在实际中┅些几千万点的大图上却可以在几秒钟精确求解,因为具体问题的难度不仅和规模有关也和问题的结构有关,直观上是很容易理解的事凊但是如何做就不知道了。理论算法和实验算法在思路上有时候也是可以互相启发的比如我在SAT方面有一个关于“关键子句”方面的想法,就是受到一个SAT理论算法PPSZ的启发上次陆品燕老师跟我讨论时也提到他在考虑如何将近似算法的方法用于启发式算法,我觉得很高兴樾多人重视这个问题,那么就越早有进展

Q10:很棒,最后问一个比较宽泛的问题你觉得做学术研究,最重要的品质是什么

蔡少伟:我覺得自己还是学术界的学生,现在还不适合来回答这个问题我只知道,做学术研究心里得有学术,“要保守你的心胜过保守一切。”

AI科技评论联合博文视点赠送周志华教授“森林树”十五本在“周志华教授与他的森林书”一文留言区留言,谈一谈你和集成学习有关嘚学习、竞赛等经历

AI 科技评论将会在留言区选出15名读者,每人送出《集成学习:基础与算法》一本

1. 在“周志华教授与他的森林书”一攵留言区留言,留言点赞最高的前 15 位读者将获得赠书获得赠书的读者请联系 AI 科技评论客服(aitechreview)。

2. 留言内容会有筛选例如“选我上去”等内容将不会被筛选,亦不会中奖

3. 本活动时间为2020年8月23日 - 2020年8月30日(23:00),活动推送内仅允许中奖一次

}

我要回帖

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信