如何做好研究

神译局是36氪旗下编译团队，关注科技、商业、职场、生活等领域，重点介绍国外的新技术、新观点、新风向。

编者按： 真正的科研从来不是坐在豪华工位上等灵感，而是一场关于信息食谱、工程工具链和抗挫力的高效迭代。文章来自编译。

其实没有人真正教过你怎么去做科研。你得到的只是一个工位、一个别人选好的课题，以及一条产出创新成果的模糊指令。因此，大多数人只能通过走马观花看到的东西来反推这份工作——比如论文、推特流以及各种发布会。结果，他们最终学会的只是如何“看起来像个研究员”，而不是“如何成为一个研究员”。真正的科研能力其实是一系列小小技能的集合，而几乎每一项技能都是可以通过刻意练习来培养出来。

自己找课题

理查德·汉明（richard hamming）在贝尔实验室时有一个习惯，这让他成了午餐桌上不受欢迎的人。他会问坐在身边的任何人，他们领域最重要的问题是什么，接着再问：那你为什么不研究这些问题？结果人们纷纷换桌子坐。这个问题之所以伤人，是因为我们大多数人都给不出像样的答案。我们不是在挑选课题，而是在被动吸收课题——这些课题要么来自导师，要么来自某个大实验室上季度发布的研究，要么来自本周所有人都在转推评论的某篇论文。

被动吸收课题的麻烦在于，你只记住了结论，却不了解背后的推导过程。你只知道某家知名实验室在关注某个方向，但不知道他们为什么关注，不知道他们期望发现什么，也不知道什么情况会让他们放弃这个方向。等到他们转型时，你可能一年后才后知后觉。而且，在一个已经成为热门的课题上，你是在与成千上万个起步比你早、算力比你多的人在赛跑。

约翰·舒尔曼（john schulman）在《机器学习科研指南》中将工作分为两种模式。第一种，你阅读文献并寻找可以改进的地方。第二种，你选择一个你打心底里希望存在的结果，然后逆向推导需要做哪些实验。他更推崇第二种模式，而背后的深层原因在于，这种模式能够创造真正的原创性。一个你真正关心的目标，会把你带入任何综述论文都未曾涉足的处女地。

与此同时，学术品味总被谈论得像是某种天赋。但它其实更像是一块肌肉。在运行每个实验之前，先预测它的结果。盖住一篇论文的结果部分，仅凭其方法去猜测数据。记录下本月发布的成果中哪些在两年后依然重要，日后检查自己的命中率。预测加修正，重复几百次，所有优秀的模型都是这样训练出来的，也包括你脑子里的那个。

升级输入

分享的阅读清单只会带来同质化的想法。如果你的信息食谱只是 arXiv 的热门页面加上群聊筛选后剩下来的内容，那么你必然会和所有人同时得出相同的结论。而这恰恰意味着，这些结论几乎毫无价值。

经典老资料的价值被严重低估了。这个领域一直在延时重播自己的过去：混合专家模型（MoE）可以追溯到 1991 年，LSTM 诞生于 1997 年，反向传播算法（Backprop）在 1986 年就成为主流。里奇·萨顿（rich sutton）在 2019 年仅用了大约一千字写下《苦涩的教训》，它对该领域格局的预测，比篇幅是其十倍的综述还要精准。克劳德·香农在 1952 年做过一场关于创造性思维的演讲，他的起手式是将一个问题缩小到近乎微不足道的程度，攻克这个简化版后，再把困难一个一个重新加回来。仅凭这一个技巧，能帮你打破的壁垒就远超任何一条现代高效生产力建议。

知识的广度与深度同等重要。可解释性研究毫无保留地借鉴了神经科学。评估设计本质上就是穿上了实验服的机制设计。深入了解 GPU 实际上如何调用内存，能让你在基准测试结果出来之前，就知道哪些架构论文注定会失败。而在机器学习领域，真正扎实的统计学或许是最罕见的技能，因为许多已发表的所谓“严谨成果”，不过是带了误差棒的凭感觉行事。

还有一件事：读论文本身，而不是看总结它的推特流。附录才是隐藏着不可告人秘密（或是关键缺陷）的地方，而“局限性”部分往往是整篇文献中最诚实的段落。

记录一切

保罗·格雷厄姆曾指出，一个想法在被你付诸文字之前，往往感觉已经十分成熟了。然而，纸面会揪出你脑海中悄悄掩盖的漏洞：你从未测试过的假设、其实并不成立的推导步骤，以及两条暗中冲突的论断。

费曼的原则是，你首先要避免愚弄的人就是你自己，因为你是最容易被自己愚弄的目标。写作是人类发明过的最廉价的防线。达尔文走得更远，他把这个原则给流程化了。任何不利于他理论的事实都会被当场记录下来，因为他发现，自己的大脑在删除不利证据时，速度远快于保留有利证据。你的记忆在对待失败的实验运行（runs）时也是如此。记录一份日志吧：假设、设置、预期、结果、更新后的观点。重读上个月的记录，那种让你无地自容的清醒，是任何同行评审人都无法比拟的。

然后，把其中的一部分公之于众。克里斯·奥拉和沙恩·卡特在关于“科研债务”的文章中指出，许多领域都因无法消化过多的想法而停滞不前，而清晰的解释是实打实的贡献，绝非简单的服务性工作。今天许多从事可解释性研究的人，是通过通俗易懂的博客文章而非会议论文找到这一方向的。一系列公开的文字也是你最强有力的凭证，因为它无法伪造，真实地展现了你的思考方式。

紧凑迭代循环

亚历克·拉德福德的故事很少跟某一种天才灵感有关。它们讲的都是“量”。每天跑更多次的实验，每周丢弃更多的错误想法，对现实模型的更新速度比任何人都快。这才是真正的游戏规则。科研的速度，在很大程度上取决于你发现自己犯错的速度。

这就让工具链的构建成为了头等重要的科研活动。启动一次运行应该只需一条命令。绘制图表应该只需再来一条。每一次实验都应该能根据其配置完全复现，对比两次运行应该只需几秒钟，而不是花上一个下午去搞代码考古。卡帕西（karpathy）在训练神经网络的秘诀中提到过一个步骤，其带来的回报是投入的百倍：在大规模训练之前，先对单个 batch 进行过拟合。三十秒，一半的 Bug 全没了。把所有东西都缩小到成本极低的程度，把它调对，然后再去消耗算力。

同时，别再认为工程在科研中只是个配角了。在研究前沿，这两者已经融为一体。只有那些能够亲自搭建测试框架、评估系统和数据管道的研究员，他们的假设才能真正得到检验。至于其他人，只能排队干等。

盯紧输出结果

一条不断下降的损失函数（loss）曲线并不是分析，它只是安慰剂。你的实验抛出的信息远比你消费的多：文本记录、失败案例、长尾分布中的异常情况。而这些信息大多静静地躺在日志文件夹里，直到死也无人问津。

卡帕西的方法论甚至在编写任何训练代码之前就演练过：花几个小时亲自过一遍原始数据。机器学习大多数的 Bug 都隐藏在数据里，而且它们是“静默失败”的。程序不会崩溃，你只是得到了一个普普通通的模型，以及一个关于原因的错误理论。

十多年来，吴恩达一直在教授这个看起来毫无光彩的招式，因为没有什么比它更有效了：抽出一万个失败案例，通通看一遍，把它们分成一堆堆，然后集中火力攻克最大的一堆。这对模型管用，对评估系统也同样管用。如果你从未读过某个基准测试的实际文本，就根本不算具备了真正的理解。看一份展现了真正诡异行为的文本，学到的东西远比让准确率再提升一个小数点要多得多。

有目的地漫游

你进入的第一个细分领域往往只是时机上的巧合，那就把它当成巧合来看待。在决定最终深耕的方向之前，花真功夫去了解可解释性、评估、强化学习（RL）和系统架构。在这个领域的某个角落，必然存在一个让你的独特怪癖变成降维打击优势的地方，而找到它的唯一方法，就是在好几个地方交学费。这笔学费谁也免不了。

对每个想法都先跑个“一次性”的版本，让其中绝大多数早早夭折。把你的基准线（baseline）调整到极致，因为机器学习的坟墓里躺满了在精心调整的基准线面前烟消云散的“提升成果”——而审稿人是让你明白这个道理的最糟糕对象。不断进行消融实验（ablation），直到你明确知道是哪个组件带来了这一结果。通常只有一个，而且通常不是论文标题里的那一个。

广度同时也是一种保险。所有的细分领域都会饱和，而且通常紧随它们在推特上达到热度巅峰之后。那些在行业转型期依然能持续产出的人，正是那些早已熟悉邻近领地的人。

寻找同路人

汉明发现的一个规律决定了谁最终能做出重要的工作。那些办公室房门紧闭的同事在某一年里可能做完了更多的工作，而那些房门敞开的同事却做出了真正有影响力的成果。因为那些“打扰”带来了关于这个世界究竟需要什么的信息。在今天，你敞开的房门大概就是你的收件箱。请保持它敞开。

在科研中，慷慨大方所带来的复利无可比拟。复现一个结果并公布你的发现；发布你自己造的工具；用通俗的语言解释艰深的概念。回报往往会以意想不到的方式在几个月后降临——也许是一次合作，也许是一次引用，又或者是你原本根本无从申请的职位。也可以在公开场合抛出你还不成熟的想法，因为在推特时间线上犯错的成本，远比在正式发表的印本中犯错低得多。而且，一个能在你投入三个月心血之前就直言“这个想法很烂”的合作伙伴，其价值远超算力。这种关系是买不来的，只能靠自己去赢得。

长期游戏

巴斯德曾说，运气眷顾有准备的大脑。汉明以此为基石构建了一套完整的职业哲学：知识和生产力就像利息一样可以利滚利。孤立地看，每天拉开的一点点微弱优势似乎微不足道——你读了什么，记录了什么，你的迭代循环跑得有多快，你在和谁争论。但给它们几年的时间，它们就会铸就一个在外人看来全凭运气的职业生涯。在觉得有必要之前，就尽早开始积累这种复利吧。未来的你早就明白，现在这部分的付出，其实是最便宜的。

译者：boxi。