
旧时王谢堂前燕,飞入寻常百姓家
目录
刘禹锡写”旧时王谢堂前燕,飞入寻常百姓家”,说的是繁华落尽、物是人非。
现如今AI agent把CTF解题变成一键式操作,我看到的不是技术的普及,而是一种手艺的消亡,
如果只是这样倒还好,更严重的是新人的认知已经产生了偏差。
新人的学习方法
今年社团招新,解答新人的问题,看实验室面试时他们展示的解题过程,我注意到一个明显变化:
初学者的解题流程变成了:把题目扔给agent,等它跑完,复制flag,提交,通过。然后让AI”解释一下”,点头,下一道。
去年我学习ctf的方式还是主要优先学习人工wp加上对话式ai的辅助、解答,
但是现在的新生代的ctfer,特别是初入门的ctf手或电脑小白,他们对于ctf,比如web,几乎没有成体系的概念,对于不会的题目,他们优先使用agent自动化的解题,再让agent生成解释,这样的过程在我看来是十分灾难的。
许多人总是这样自大的认为:“agent做了题,我看了agent写的wp,这道题我算是会了”,这对吗?你根本不了解这道题的入手点,你不懂漏洞发生的基本原理,你甚至不会构造payload,即使ai替你做的题,你也应该手动复盘,从头自己手动再做一遍,重写一遍wp。
不瞒你说,现在我解题也都是首先使用ai了,但是ai解出来的题我一定会再做一遍,我手动写过的wp或笔记不会比ai的输出少。很多事情,眼睛过一遍是留不住的,只有手打一遍才能留下印象。
人类与ai的注意力差别
ai与人类有明显的注意力差别。
一方面,ai受限于上下文窗口。人类在做几十上百道题之后,会形成自己的解题思路,会有自己常用的打法,会去寻找记忆中的常见的tricks,
而ai对于每一道题都是全新的,他们不会积累经验,超出上下文的token会被压缩失真或直接抛弃。他们解题时只会机械地发起大范围的探测,暴力搜索所有可能的做法。这使得ai选手总是抓不住重点。
另一方面,ai与人类的关注点完全不同。常用的tricks对于人类来说是某个接口、某种语言、某个编码, 对于ai则是某个字符、某个底层函数,
ai总是在注意更抽象也更基础的方面, 而人类ctf手凭借经验和脑中的tricks,能很直观也很快速地定位一道题的考点, 从而构建自己的解题逻辑。
对于新手来说,这种ai与人类的注意力偏差是致命的。新手学习这种ai的思考方式只会将自己越带越偏,难以形成有体系的思考过程。
知识的传授与进阶
前面也讲到,每一道题对于ai都是全新的。
人类能从历史的刷题中累计经验、形成直觉,但ai不会,他们不会进步。永远跟着一个死板的、机械的、注意力偏差的对象学习,想想也知道这是多么荒谬。
再者,ai的话即使再“通俗”,也不会有“人味”。对于某个理念、某种算法、某项技术、某个原理,ai的理解深度可能比人类强,但ai的阐述不可能比人类更易懂。
初学者跟着ai学习,总是容易因为一个新的知识点,被ai带进一堆新知识和专业术语的迷宫中。 同样是解释一个概念,人类有侧重、有加深、有自己的理解;ai只会平铺和倾泻知识点,再配上一些毫无意义的比喻。
人类去教人类的时候,会告诉你,这个知识点比较难,你先勉强理记着,以后再详细展开;有这样循序渐进的过程就算再笨的人也能学的明明白白。
但ai只会用一些拙劣的类比和一个又一个概念的堆砌来为初学者解释,而这些用于解释的概念,可能恰恰也是你不会的。 用一个你不理解的东西去解释另一个你更不理解的东西,你怎么可能学得明白?
为什么我总是强调要学习人类的wp,因为我们做一道题,我们绝不单单只是想知道这道题为什么这么做,payload为什么这么写,我们同时也会学习,这道题为什么这么出,漏洞是怎么发生的、为什么会发生、什么情况下它不会发生,出题人想表达什么,以及我们应该学到什么。而这些问题,ai不会回答;当然,你可以追问它的答案,但这些终究不是你的理解,无法变成你的经验。
你作为一个人类是不可能复刻一个ai的思考过程的,而ai能轻松复刻一个人类的解题过程, 注意这里的差异,会解题的一定会思考吗?显然不一定,这不就是脚本小子了吗? 从这一方面来看,ai有时甚至不如脚本小子,至少你跟着一个脚本小子学习,能学到选择脚本的思路,在CTF里,知道“用什么打”和“为什么用这个打”,本身就是一种值得学的大智慧。。
而AI给你的只是一串操作流水账。它不会告诉你为什么在这个场景下选这个工具,不会告诉你哪个方向试过、排除了什么,不会告诉你卡住的时候是怎么想的,甚至大部分时候,ai会直接绕过现成的工具从零再编写工具。反复的造轮子,这对于人类选手是不可能的也是极其愚蠢的。这些东西,恰恰是人类WP里最有价值的部分。
ai的位置
我从不排斥ai的使用,
因为诚然,ai能比人类记住更多的利用技巧,能比人类更快地、并行地探测漏洞,解题速度肯定碾压人类。但真正的难题,还是需要人类来解。
而对于初学者的简单题,ai没有任何利用的价值,他们不仅不能有效的解释知识点,也不能教授解题的方法和经验,只能给你一个”能跑通的结果”。拿到结果不等于学会,这是最基本的道理。
王谢堂前的燕子飞入了寻常百姓家。但那些屋檐下真正值钱的东西:判断力、直觉、踩过坑、之后长出来的经验,是燕子带不走的,也是agent给不了的。
工具越强,越要清醒:你是在用它,还是它在塑造你。