过去一年我被同一个问题问过不下二十次你看这个方向流动得很厉害到底是什么人正在转进来问我的有做内部技术战略的同事有准备换方向的研究员也有想拉项目的学生团队。我的第一反应是去翻论文某个方向最近有多少篇、都是谁发的、这些人之前做什么。但是查着查着就发现问题了——论文的关键词只能告诉我现在发生了什么很难回答为什么会发生。这个缺口让我决定自己动手做一个刻画研究者选择机制的模型也就是这篇要聊的AI研究偏好模型。这个模型的定位不是预测论文能不能被接收也不是做论文推荐而是回答一类更实际的问题给定一个研究者或者一个团队在过去行为和当前环境的约束下他下一步最可能转向哪个研究方向。模型做出来后我在团队内部用它做过技术趋势预判、竞品团队偏好迁移分析也帮几个年轻研究员做了研究路线建议。整个过程踩了不少坑尤其是数据泄漏、热点马太效应和幻觉标签这几个问题每一个都让模型效果掉过不只五个点。这篇文章我会把从数据构建、特征设计到训练评估的完整链路讲清楚也会把那些让效果变差的真实原因掰开说适合正在做学术情报、技术战略或研究者画像相关工作的同学参考。1. 起点为什么研究者的选择可以被建模又为什么值得做1.1 偏好在这个场景里到底指什么研究偏好不是一个抽象的性格标签而是一组可观测行为模式的总和。一个研究者选择切入什么方向通常不是反复无常的随机行为而是被几股稳定的力量塑造出来的。我自己总结下来作用力大概有这么几种技能兼容性一个人更倾向于选择自己能快速上手的方向。做NLP的转去LLM应用比转去量子计算容易得多这里的容易直接反映在他对已有工具链、数学基础、实验范式的迁移成本上。资源约束实验室的显卡配额、数据标注预算、合作者的研究方向都会限制选择空间。评价激励顶会收录偏好、资助方立项方向、业界招聘热度构成了外部激励信号。路径依赖大多数研究者不会主动偏离自己的博士方向太远转向往往发生在有明确触发点比如某个方法失效、某个benchmark被刷爆之后。注意力传导学术社区的热点会沿着合作网络和引用网络扩散一个人的合作者开始做某个新方向他本人转向的概率会显著上升。这五种力量全部能在数据中找到指征。技能兼容性可以用文本向量距离近似度量资源约束可以用历史发文类型、代码仓库规模推断评价激励对应着热度指标路径依赖对应着历史方向稳定性注意力传导对应着合作网络结构。所以偏好完全可以建模前提是不要把标签做得太玄。1.2 模型要回答的问题边界如果什么问题都想回答模型往往会什么都不好用。我在立项时把边界划得很清楚这个模型只做一件事给定研究者i在时间t输出他在未来一个时间窗内最可能从事的研究方向概率分布。我明确不做三件事。第一不预测论文能不能被顶会接收那是评审偏好问题和研究者偏好是两码事。第二不做论文推荐推荐系统优化的是点击和阅读而我要优化的是是否会实际投入这个方向。第三不预测谁能成为学术明星那涉及太多模型外因素。边界划清楚之后模型的评估指标也定了方向层面的召回率、排序质量和命中率。这个目标的好处是容易标注——从研究者过去几年的实际行为里就能拿到ground truth不需要人工标注主观标签。1.3 为什么不用现成的学术搜索和趋势工具市面上不是没有替代品。Google Scholar、OpenAlex、Semantic Scholar这些工具在论文检索上很成熟Scite和Dimensions也提供了大量引文指标还有不少商业化平台在做研究趋势分析。但用了一圈下来我发现了几个真实痛点。这些工具能告诉你哪个方向热度上升了但给不出上升是因为哪群人的迁移行为导致的。它们没有个性化的上下文同一个热度数据对做推荐的团队和做操作系统的团队含义完全不同。最关键的现成工具把结果当成品交付中间的特征归因完全黑盒内部讨论时没法回答凭什么这么判断。自己搭建模型的优势在于可以控制解释性。当模型输出这个团队下季度转向Agent方向概率较高我能拆出三个贡献特征他们的核心作者最近三个月开始引用Agent相关论文合作者网络中有两个组在做工具调优他们的代码仓库新增了环境交互模块。这种级别的解释才是内部战略分析真正需要的。2. 数据地基用三套数据源还原一个人的研究方向2.1 数据源一论文元数据与引文网络要还原研究者的行为轨迹论文元数据是最可靠的骨架。我用的核心数据来自arXiv、OpenReview、DBLP和OpenAlex的公开数据接口重点抽取以下字段作者名单、机构、投稿时间arXiv上的初次提交时间比出版时间平均早四到六个月更能反映真实转向时刻、标题、摘要、关键词、领域分类、引用关系、被引量、以及论文关联的benchmark和数据集。这里有一个隐藏很深的细节投稿时间要用初次提交时间而不是最终版时间或出版时间。很多工作从投出到接收横跨一年如果用接收时间来标记方向切换模型学到的偏好会比真实切换晚很久最终在预测未来方向时明显滞后。这个发现是我在对比feature importance时注意到的时间戳字段的贡献度异乎寻常地低排查之后才意识到是时间口径不对。数据清洗中占比最大的工作是作者消歧。arXiv和DBLP里的作者重名问题在华人作者和常见英文名上尤其严重同一个J Zhang可能对应十几个不同的人。我测试过几种自动化消歧方案最后采用的是邮箱域名机构GNN合作者网络的多规则融合准确率大概在93%左右。剩下的7%错配会怎么影响模型我在后面的踩坑部分会专门讲。2.2 数据源二代码库与实验记录只靠论文至少有两个盲区。第一很多工业界研究者有产出但不发论文第二论文写作往往滞后于实际实验团队可能已经在某个方向上跑了大半年实验论文才刚投出去。所以我把代码仓库纳入第二数据源。具体采集了GitHub上AI相关仓库的star、fork、主题标签、提交时间、依赖文件变化以及Papers with Code上论文与代码库的映射关系、排行榜提交记录。为什么要关注代码库因为研究方向偏好不仅体现在写什么论文更体现在在哪些基准上检验、用什么框架实现。一个研究方向是否进入工程化阶段几乎都会先在代码仓库的依赖变化里体现出来——比如某个团队的requirements.txt里突然出现环境交互库往往比他们发第一篇具身智能论文早两三个月。有个值得注意的信号是模型部署相关项目。部署工具链的选择和维护频率能侧面反映一个团队是把某个方向当demo做还是当长期投入做。我统计了仓库中部署配置、评测脚本的更新频率作为投入程度的弱标签使用。2.3 数据源三社区讨论与会议日程第三套数据来自社区讨论和会议日程。具体包括Reddit的机器学习板块、X上有影响力的AI研究者账号发言、知乎AI话题下的高赞回答、以及主要顶会的session和workshop题目列表。这套数据的作用是捕捉热度变化的早期信号——论文还在审稿期时社区讨论往往已经开始酝酿。处理社区文本的难点在于噪声实在太大。口语化表达、缩写、梗、以及大量标题党直接塞进embedding模型会引入大量无关噪音。我的处理方式不是对每条发言做精细分类而是做轻量级的主题热度提取对时间窗口内的文本做embedding再用聚类中心的分布偏移来判断某个主题的讨论热度变化。这套流程不追求逐条准确追求的是密集讨论区的重心移动方向。会议日程数据则用来做交叉验证。workshop题目是经过同行筛选的偏好信号比个体讨论更稳定。我一般会检查模型预测的热度上升方向和半年后会议workshop新增主题的重合度有多少。2.4 数据规模与预处理成本参考这是我最常被问到的部分直接列一组真实数字。原始数据基础约120万篇论文、2.4万个代码仓库、3000万条社区发言经过作者消歧、机构标准化、时间戳截断之后留下约8.6万个有效作者画像。这里的有效定义是有至少两年连续行为记录能够在时间序列上构成训练样本。文本嵌入方面我先用SPECTER跑了一版论文向量后来为了服务化部署的推理速度换成all-MiniLM-L6-v2。两者在最终模型上的指标差距很小但速度差了将近一个数量级。这个对比也让我确定了一个原则在学术情报这类任务里嵌入模型的精度边际收益远不如工程部署的稳定性和性价比重要。3. 建模主路显式行为指标与文本隐式特征的融合思路3.1 先定义输入输出再谈模型很多人一上来就纠结用什么网络结构我习惯先花时间把输入输出定义清楚。输入是一个研究者在一个时间切片的完整画像包含四组信息静态画像历史方向分布、活跃时长、技能标签、近期行为轨迹过去三个月的产出、引用增长、合作变化、合作网络状态合著者的方向偏好、跨组合作关系、环境信号方向热度、基准更新、社区关注度。输出是研究者在下一个季度选择各方向的概率分布。这里的方向不是凭空来的而是通过主题聚类把论文空间压缩成可管理的粒度。我用聚类方法对近三年论文的embedding做主题凝聚人工合并了一批过于细碎的类别后最终得到约200个稳定研究方向标签比如可控文本生成多模态对话离线强化学习模型压缩与蒸馏。3.2 为什么主力模型不是深度序列模型这个选择可能和读者预期不同。按直觉研究者的行为轨迹应该用LSTM或者Transformer来编码但我最终的主模型是LightGBM只在特征生成阶段用了神经网络。原因有三条。第一可解释性。内部战略分析的用户是研究员和管理者他们不会接受一个无法归因的预测。LightGBM配合SHAP能在十几分钟内定位到哪个特征让这个团队的方向偏好从A变成了B这是深度序列模型很难做到的。第二可重训性。AI热点半年一变全量重训控制在三小时内能真正做到月级甚至周级更新而端到端的深度模型每次训练都要消耗更多资源。第三性能差距没有想象中大。我对比过配备同样特征的Transformer序列模型在Recall10上只比LightGBM高不到1.5个点但训练和调试成本翻了几倍。所以虽然这篇文章叫AI研究偏好模型但我的核心理念是模型叫不叫AI不重要能不能稳定地回答问题才重要。最后用于生产的是特征工程LightGBM的组合。3.3 特征设计的具体细节我把特征分成四组用一个表格来展示核心结构特征组代表性特征设计原因个体历史最近24个月方向熵、活跃产出密度、历史方向切换频率方向熵衡量专注度还是发散度切换频率体现风险偏好合作网络合著者方向偏好、二跳合作者的方向分布、产研合作占比偏好沿着合作网络传导合作者的方向是强预测信号时序动态近期论文与历史方向的embedding余弦距离、产出量的环比变化迁移距离是判断是否在转身的关键指标环境热度方向热度的分位排名、方向热度的一阶差分、新benchmark出现量热度变化比绝对热度值更重要分位处理能压制马太效应这里最关键的特征是迁移距离研究者新产出与自身历史方向的embedding余弦距离。这个值突然变大几乎总是预示着一次方向转变比单纯看产出量变化提前一到两个季度。另一个容易被忽略的特征是合作者方向偏好。我做过一个单一特征实验仅用合作者最近一个季度的方向偏好就能拿到主模型约60%的预测性能——学术交流网络对个体选择的塑造力远超大多数人的直觉。3.4 训练样本构造与评估方法样本的构造方式会直接影响模型学到的内容。我把每个研究者的历史记录按季度切片每一段切片作为一个样本标签是他在下一个季度实际产出的方向。这里必须处理类别不平衡一个季度里他可能只在200个方向中的一个方向有产出但候选的目标方向有200个。负采样策略上我不只是随机采样负类。对每个正样本我会额外加入两类困难负样本一类是同主题相邻方向但实际未选择的另一类是当前热度排名5到20之间的方向。这样做让模型必须学会区分看起来该选但实际没选和确实没选的方向能显著提升排序效果。评估方法和时间序列任务一样必须做严格的时间切分。我用过去三年的数据训练用最近两个季度做验证和测试。最终在测试集上模型的Recall10大概在0.41到0.44之间MRR在0.18左右。作为对照一个最近方向全局热度的简单基线Recall10只有0.31到0.33。也就是说融合了网络结构与时序特征的模型在排序召回上比朴素热点预测提升了约10个百分点。4. 训练和评估中的真实教训数据泄漏、热点马太效应与幻觉标签4.1 数据泄漏的三种隐蔽情况我在训练过程中遇到过至少三种数据泄漏每一种都让验证集指标虚高而后迅速打脸。第一种最隐蔽特征生成过程中的未来信息污染。论文embedding如果是在全量语料上预训练或微调的那么它在编码历史样本时已经见过了未来的论文这会让模型对主题之间的语义距离产生虚假的精确认识。修复方案是确保预处理流程严格按时间截断嵌入模型只用截止训练月之前的数据拟合之后每月更新一次快照。第二种是被引量泄漏。被引量是一个事后变量一篇论文在被引之前根本不具备该特征。如果拿被引量做训练特征相当于用未来信息预测过去。我的处理方案是改用发表后三个月的被引增量并且只把它作为弱信号加入权重控制在较低水平。第三种是训练集和测试集的作者重叠问题。如果同一个研究者的样本同时出现在训练和测试中模型很容易通过记忆作者ID而非学习迁移规律来作弊。我强制按时间窗做作者级切分训练集和测试集不允许共享同一作者的样本。这个操作让测试指标的绝对值下降了约六个点但真实泛化性能反而变好了。4.2 热点马太效应模型只会追热点第一次跑出较理想指标后我做了个抽样检查结果把自己逗笑了模型给出的推荐几乎全是LLM微调、RAG、Agent这几个当红方向哪怕某个研究者的历史行为完全和推理优化无关。这是典型的热点马太效应。根本原因有三个。其一负采样阶段的热门方向天然更容易出现在训练集里模型通过统计频率作弊。其二热度特征的量纲太大绝对数值淹没了其他特征贡献。其三主题聚类在细粒度上还不够准几个小方向被吞进了大方向里。修复方式分三步。第一步把热度特征从原始值改为排序分位降低极端值的绝对影响力。第二步在损失函数里对长尾方向设置一个轻微的上采样权重让模型不会无视小众方向。第三步强制对负采样分布做调整使困难负样本中的热门方向占比不超过40%。这三步之后模型对长尾方向的召回率提升了约5个百分点而热门方向的召回率只下降了2个百分点整体效果更均衡了。4.3 幻觉标签与AI的水账单问题在构建主题标签的过程中我试过用大语言模型来做方向标注遇到了一个特别现实的问题幻觉标签。大模型在遇到模棱两可的论文标题时会以一种非常自信的方式给出错误主题。比如一篇关于数据生成的论文被标成了模型压缩一篇关于经验池设计的论文被标成了社会模拟。解决幻觉的思路不是在prompt层面反复较劲而是做可置信度过滤。我的做法是让模型先给出主题判断和一个0到1的自信度只有自信度超过阈值且经过两条规则校验的标注才进入训练集。规则一是正则匹配标题或摘要中必须出现主题关键词的实体规则二是交叉验证两个不同模型的标注必须一致才采纳。这套流程把标注准确率从87%提到了95%左右。比幻觉标签更宏观的挑战是AI的水账单待解这个问题——论文量在大规模膨胀引用数据出现泡沫化benchmark刷榜和论文工厂让许多方向的热度被高估进而污染偏好模型的训练信号。我的对策是给数据加可信度权重顶会论文权重记为1.0普通期刊按0.6折算代码仓库只统计star数超过某一阈值的活跃项目同时将benchmark榜单数据中的提交记录分为首次提交和刷榜提交只保留前者对热度的贡献。这套加权策略让模型在2023到2024年间的预测稳定性明显改善不再被个别方向的注水热度带着跑。4.4 重名消歧和团队归属最费时间的一天前面提过作者消歧准确率在93%左右剩下的7%错配对模型伤害很大。一个典型的误会发生在一个拥有几十个J. Zhang的数据集里。某个方向的突然活跃会被错误聚集到同一个作者ID上导致模型对该作者的偏好画像严重失真更糟的合作网络特征也会被连带污染因为错误ID把本不该有联系的多个研究团队连接到了一起。这个问题没有完美解法只能宁缺毋滥。我最终的策略是凡是有歧义的作者ID一律降级为模糊作者标签不再分配全局唯一ID模糊作者样本只参与热度统计不参与个体序列建模。这样虽然损失了约6%的作者样本但个体级预测的准确率反而提升了。这里也提醒所有做学术情报的同学宁愿少一个样本也不要一个错配的样本。5. 落地用途趋势预判、团队分析与研究路线推荐5.1 技术趋势预判把直觉拖进可讨论的轨道这个模型最直接的应用是输出季度方向热度矩阵。我会把模型预测的热度上升方向和资深研究员的主观判断做盲评对比不一致的地方就是讨论的起点。有一个案例我记得很清楚模型在2023年底预测多模态对齐方向的热度会显著上升但当时绝大多数人的注意力都在Agent和RAG上。三个月后投稿统计里多模态对齐相关论文的占比果然上升了模型给出的可解释归因是指向几家头部团队几乎同时开始发表对齐相关工作且他们各自的合作者网络产生的传导效应即将进入爆发期。这个案例让我意识到模型的价值不在于替代专家而在于把一个主观讨论拖进可验证、可追问的轨道里。5.2 团队偏好迁移分析比访谈快也比访谈客观给一个团队做偏好迁移分析时输入是组内核心作者的名单输出是团队近八个季度的方向偏好转移轨迹。这套分析对竞争情报和技术合作评估都很有用。举个例子。某个我们长期关注的团队模型分析显示他们从NLP方向逐渐转向Agent方向迁移信号最早出现在五个季度前比他们公开发布技术报告早了整整三个季度。另一个团队表面上看仍然在发CV相关论文但模型通过合作网络特征发现他们和两个具身智能团队的合作论文占比在快速上升这个信号在常规的论文关键词检索里完全看不到作者序列和引文网络里却非常清晰。这类分析比访谈更客观的地方在于它不依赖受访者记忆和自我报告完全由行为数据驱动。5.3 个人研究路线建议帮初学者找到可切入的方向模型也可以服务个人用户尤其是那些准备确定方向的研究生和想转方向的工程师。我会计算三组核心指标个人技能向量与新方向的embedding相似度衡量迁移成本新方向未来两季度的热度趋势判断是否处在上升通道新方向的竞争密度用该方向活跃作者的增长速度来做近似估计。把三个指标组合成一个可切入性评分同时标注出该方向的核心竞争者名单和他们的历史切换路径。一个典型的建议输出是你当前技能向量和可信计算推理方向相似度0.74该方向热度分位从0.31升至0.52竞争密度中等可切入性评分偏高建议关注AAAI和ICLR方向的协作网络动态。需要说明的是这类建议的定位是辅助信息不是职业算命。它提供的是一种结构化的外部视角帮助人跳出自己圈层的信息茧房。个人最终做什么选择还是要结合自身的真实兴趣和资源条件。5.4 辅助专利布局分析找到论文热但专利冷的方向在专利相关的AI辅助工作流里偏好模型也能起到一个很有意思的作用识别论文热但专利冷的技术空白候选区。具体做法是将方向主题下的论文产出密度与专利公开密度做对照两者的比值异常高的方向意味着学术研究活跃但保护尚未密集部署。我做过一轮这样的分析在约二三十个方向里筛出几个候选区其中包括某种面向特定场景的数据合成方法。技术团队后续在专业人员的流程配合下做了补充检索发现确实存在一部分可预见的申请空间。这里需要强调一个边界偏好模型只能提供线索专利相关的检索、撰写和法律判断必须由专业流程完成模型输出绝对不能直接作为任何决策的唯一依据。这套模型从立项到稳定运行最大的收获不是预测准确率本身而是它让我获得了随时追问数据在说什么的能力。最后再分享一个我自己的用法每隔一段时间我会用模型跑一遍自己的发表记录和项目记录输出结果经常能让我发现一些自己都没意识到的偏好漂移。比如有半年我从推理优化方向滑向了Agent框架方向模型复盘显示转折点来自一次合作者发起的benchmark共享实验。这种用模型照自己的用法是我一开始完全没有预料到的价值也是我觉得最值得长期坚持的事。