用Python下载arxiv论文

文章目录简介Search类query语法简介arxiv大家都知道作为著名赛博活佛它提供给了API工具可以根据链接来定制化搜索内容比如我想搜索optics方面最近上传的10篇文章那么直接在地址栏中输入下面链接即可浏览器会返回一个xml文件。http://export.arxiv.org/api/query?search_queryti:opticsmax_results10sortBysubmittedDatesortOrderdescending伯克利一老哥Lukas Schwab对此做了Python封装从而可以更便捷地查阅arxiv中的文章。尽管这个库名字就叫arxiv但为了和arxiv网站做区分后文称之为pyarxiv。pipinstallarxiv-ihttps://pypi.tuna.tsinghua.edu.cn/simple同样实现上述功能其Python代码如下importarxiv clientarxiv.Client()# 搜索10篇optics最近请求的文章searcharxiv.Search(queryoptics,max_results10,sort_byarxiv.SortCriterion.SubmittedDate)resclient.results(search)# results是个生成器可以迭代forrinclient.results(search):print(r.title)# 也可以转为列表这样更方便resListlist(res)forrinresList:print(r.title)需要注意arXiv官方强烈建议每次请求之间至少间隔 3 秒。如果频繁发送请求当心IP被暂时封禁。Search类【Search】是pyarxiv中的核心类其可选的初始化参数包括参数类别默认值说明query字符串空字符串搜索内容id_list字符串列表Nonearxiv文章id的列表max_results整型100返回结果数sort_bySortCriterionSortCriterion.Relevance排序方法默认是相关度sort_orderSortOrderSortOrder.Descending排序顺序【SortCriterion】可选Relevance, LastUpdateDate, SubmittedDate。【SortOrder】可选Descending和Ascending。query语法Search的query参数遵循了arxiv的API的语法设计本质上是多个搜索内容的逻辑组合其基本查询格式是前缀:搜索词如果不加前缀则默认all:搜索词前面那个案例中输入optics等价于all:optics。arxiv API支持的前缀如下前缀含义示例ti标题 (Title)ti:transformerau作者 (Author)au:hintonabs摘要 (Abstract)abs:reinforcement learningcat分类 (Category)cat:cs.AI (必须精确匹配分类代码)co注释 (Comment)co:accepted to CVPRjr期刊引用 (Journal Reference)jr:Naturern报告编号 (Report Number)rn:12345idarXiv IDid:2310.12345all所有上述字段 (默认)all:quantum可用的逻辑运算符包括【AND】与运算同时满足多个条件【OR】或运算满足其中一个条件【ADDNOT】差运算满足前面的条件但排除后面的条件分类代码在这查分类代码一些常用代码如下计算机科学 (Computer Science, cs)cs.AI : 人工智能 (Artificial Intelligence)cs.CL : 计算与语言 (Computation and Language / NLP)cs.CV : 计算机视觉与模式识别 (Computer Vision and Pattern Recognition)cs.LG : 机器学习 (Machine Learning)cs.RO : 机器人学 (Robotics)cs.CR : 密码学与安全 (Cryptography and Security)cs.SE : 软件工程 (Software Engineering) 数学 (Mathematics, math)math.OC : 优化与控制 (Optimization and Control)math.ST : 统计学理论 (Statistics Theory)math.PR : 概率论 (Probability)math.AP : 分析中的偏微分方程 (Analysis of PDEs)⚛️ 物理学 (Physics, physics High Energy Physics, hep)hep-th : 高能物理-理论 (High Energy Physics - Theory)hep-ph : 高能物理-现象学 (High Energy Physics - Phenomenology)hep-ex : 高能物理-实验 (High Energy Physics - Experiment)physics.optics : 光学 (Optics)physics.comp-ph : 计算物理 (Computational Physics)