SPEX 与 ProxySPEX：大规模识别 LLM 关键交互
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法，通过稀疏性和低阶性将交互发现转化为可解的稀疏恢复问题，实现大规模识别 LLM 中的关键交互。ProxySPEX 利用层级结构，以约 10 倍更少的消融次数达到与 SPEX 相当的性能。在情感分析任务中，SPEX 在上下文扩展至数千特征时仍保持高忠实度，优于 LIME 和 Banzhaf 等边际方法。
#大模型
#大模型
今日 13 条Berkeley AI ResearchAI 评分3838
Berkeley AI ResearchAI 评分3838 无需TD学习的强化学习：分治范式如何扩展至长时程任务
该文提出一种基于分治范式的强化学习算法，替代传统时序差分（TD）学习，可将贝尔曼递归次数从线性降至对数级，避免误差累积，适用于长时程任务。研究在目标条件强化学习中首次实现该方法的规模化应用，无需调节n步TD的超参数，且不引入高方差或次优性。
Berkeley AI ResearchAI 评分3131 word2vec 究竟学到了什么：学习过程可归结为 PCA 的理论证明
加州大学伯克利分校研究团队首次为 word2vec 提供了定量预测理论，证明在现实训练条件下其学习问题可简化为无权重最小二乘矩阵分解，最终表示由 PCA 给出。训练中嵌入向量按离散步骤逐次学习正交概念，每个概念对应可解释的主题特征，理论预测与数值实验高度吻合。