Java自动化下载Blackboard教学平台所有课程课件工具

简介Blackboard Downloader 是一款面向高校师生及教学管理人员的 Java 工具用于批量抓取 Blackboard 平台上的全部课程文档解决逐门课程手动下载繁琐、易遗漏的问题。程序运行后提示输入 Blackboard 用户名与密码自动登录并遍历课程内容按平台原有结构建立本地目录教学大纲归入「教学大纲」文件夹、当年作业归入「作业」文件夹课程内容等模块同样对应存放且仅深入一层子文件夹避免过度抓取。资源包内含 Downloader.java 源码、登录信息.txt、README 说明及可执行的黑板下载器.jar压缩包约 51.56MB以 Java 源码与可运行程序为主便于直接使用或二次开发。登录信息读取后即删除文件内容兼顾安全存储。目前已有 234 人学习下载适合需要批量归档课程资料、减少重复操作的学生与教师参考使用。1. 从手动一页页点到一条命令拉完整个学期的课件每学期开学第一周我都要干一件特别枯燥的事登录教学平台进每一门课把课件、讲义、作业说明一个个点下来。十几门课、每门课几十个文件鼠标点到手酸还容易漏。后来我干脆写了个小工具用 Java 把这件事自动化了——这就是 BlackboardDownloader 想解决的问题把「在黑板Blackboard 教学平台上下载所有课程的所有文档」变成一次运行、全部搞定。它适合两类人一类是每学期被课件淹没、想省事的学生另一类是想拿它当 Java 网络编程练手、顺手改成自己学校平台的开发者。核心逻辑不复杂但把登录、遍历课程、解析文件列表、批量下载这几步串起来能踩的坑一个不少。下面我按「它怎么工作 → 怎么跑起来 → 怎么改」的顺序拆一遍。2. 架构与目录一个请求从登录到落盘的完整链路2.1 整体分层登录层、遍历层、下载层这个项目的骨架是典型的三段式我把它拆成三层来看会更清楚。第一层是会话层负责跟教学平台建立并维持一个已登录的 HTTP 会话。教学平台基本都靠 Cookie 维持登录态所以这一层的核心产物就是一个带着有效 Cookie 的HttpClient或者HttpURLConnection会话对象。登录成功后拿到的 Cookie 会被后续所有请求复用这是整个工具能跑通的前提。第二层是遍历层负责拿到「我有哪些课」以及「每门课有哪些文件」。通常先请求课程列表页从返回的 HTML 里解析出每门课的 ID 或链接再对每门课请求其资料/文档页面解析出文件条目和对应的下载地址。第三层是下载层拿着遍历层给出的文件 URL 列表逐个发起下载请求把字节流写到本地磁盘并按课程名建子目录归档。三层之间靠数据传递解耦会话层产出session遍历层产出ListCourse和ListFileItem下载层消费FileItem。这样改起来很舒服——想换平台主要动遍历层的解析规则想换存储方式只动下载层。2.2 目录结构长什么样一个能跑的 Java 项目目录大致是这样组织的BlackboardDownloader/ ├── pom.xml # Maven 依赖与构建配置 ├── src/main/java/ │ └── com/example/bbd/ │ ├── Main.java # 入口读配置、串流程 │ ├── SessionManager.java # 登录 Cookie 维持 │ ├── CourseCrawler.java # 课程列表解析 │ ├── FileCrawler.java # 单门课文件列表解析 │ ├── Downloader.java # 文件下载与落盘 │ └── model/ │ ├── Course.java │ └── FileItem.java └── src/main/resources/ └── config.properties # 平台地址、账号、下载根目录model包里两个类就是纯数据载体。Course至少要有id、name、url三个字段FileItem要有fileName、downloadUrl、courseName。别小看这两个类遍历层和下载层之间的所有信息都靠它们传递字段设计得清楚后面调试省一半力气。2.3 一次完整请求的时序把链路串起来看是这样的Main读配置 →SessionManager登录拿到 Cookie →CourseCrawler用 Cookie 请求课程页解析出课程列表 → 对每门课调FileCrawler解析出文件列表 → 把所有FileItem汇总 →Downloader逐个下载按课程名建目录写入。这里有个容易被忽略的点遍历和下载最好分开两趟。先把所有文件清单抓全、打印出来确认再统一下载。如果边遍历边下载一旦中途某个课程解析失败你很难判断到底是没爬到还是没下下来。我一般会加一个--dry-run开关只打印清单不下载确认无误再真下。3. 核心模块拆解登录、解析、下载三段代码3.1 会话维持Cookie 是命根子教学平台的登录流程通常是GET 登录页拿到一个隐藏的 token 或 session idPOST 账号密码服务端 Set-Cookie之后所有请求带上这个 Cookie。用 Java 原生HttpURLConnection手动管 Cookie 是最直观的做法// SessionManager.java 核心片段 public class SessionManager { private String cookie ; // 第一步GET 登录页抓取隐藏字段和初始 Cookie public void initSession(String loginPageUrl) throws IOException { HttpURLConnection conn (HttpURLConnection) new URL(loginPageUrl).openConnection(); conn.setRequestMethod(GET); // 服务端可能在这里下发 JSESSIONID必须存下来 String setCookie conn.getHeaderField(Set-Cookie); if (setCookie ! null) { cookie setCookie.split(;)[0]; } conn.disconnect(); } // 第二步POST 账号密码带上上一步的 Cookie public boolean login(String loginUrl, String username, String password) throws IOException { HttpURLConnection conn (HttpURLConnection) new URL(loginUrl).openConnection(); conn.setRequestMethod(POST); conn.setDoOutput(true); conn.setRequestProperty(Cookie, cookie); conn.setRequestProperty(Content-Type, application/x-www-form-urlencoded); String body username URLEncoder.encode(username, UTF-8) password URLEncoder.encode(password, UTF-8); try (OutputStream os conn.getOutputStream()) { os.write(body.getBytes(UTF-8)); } // 登录成功后服务端会更新 Cookie这里要覆盖保存 String newCookie conn.getHeaderField(Set-Cookie); if (newCookie ! null) { cookie newCookie.split(;)[0]; } return conn.getResponseCode() 200; } public String getCookie() { return cookie; } }逻辑说明initSession先访问登录页目的是拿到服务端下发的初始 Cookie很多平台会在这里种一个 JSESSIONID同时如果登录表单里有隐藏的 token 字段也要在这一步解析出来。login把账号密码拼成表单体 POST 出去关键动作是把返回的新 Cookie 覆盖保存——登录成功后服务端往往会换一个新的会话标识如果还用旧的后续请求会被当成未登录。参数说明loginPageUrl是登录页地址loginUrl是表单提交地址这两个经常不是同一个配置里要分开写。username、password从config.properties读别硬编码在代码里。提示如果登录后请求课程页返回的是登录页 HTML八成是 Cookie 没带对或者没更新。先把每次请求的Set-Cookie打印出来对比。3.2 课程与文件解析HTML 里捞数据拿到会话后遍历层要做的就是从 HTML 里把课程和文件条目抠出来。教学平台的页面结构因学校而异但套路一致课程列表通常在一个带特定 class 的ul或table里每个条目有个指向课程页的链接。// CourseCrawler.java 核心片段 public ListCourse parseCourses(String html, String baseUrl) { ListCourse courses new ArrayList(); // 用正则粗匹配课程链接实际项目建议换 Jsoup Pattern p Pattern.compile(a[^]href\([^\])\[^]*([^])/a); Matcher m p.matcher(html); while (m.find()) { String href m.group(1); String name m.group(2).trim(); // 只保留看起来像课程入口的链接过滤导航栏 if (href.contains(/course/) !name.isEmpty()) { Course c new Course(); c.setUrl(baseUrl href); c.setName(name); courses.add(c); } } return courses; }逻辑说明这里用正则做演示是为了让你看清「从 HTML 抽链接」这个动作的本质。真实项目里我强烈建议换成 Jsoup用 CSS 选择器定位比正则稳得多——页面稍微改个属性顺序正则就崩了。参数说明html是课程页返回的完整 HTML 字符串baseUrl是站点根地址用来把相对链接拼成绝对链接。过滤条件href.contains(/course/)是经验值不同平台路径不一样改这里就能适配。文件列表的解析同理只是选择器换成文件区域的容器。解析出来的每个文件条目要拿到它的fileName和downloadUrl塞进FileItem。3.3 下载落盘按课程建目录流式写入下载层是最实在的一层核心就是「发请求 → 读输入流 → 写文件」。要点有两个一是按课程名建子目录避免所有文件堆在一起二是用缓冲区流式写别把整个文件读进内存。// Downloader.java 核心片段 public void download(FileItem item, String rootDir, String cookie) throws IOException { // 按课程名建目录文件名里的非法字符要替换 Path dir Paths.get(rootDir, sanitize(item.getCourseName())); Files.createDirectories(dir); Path target dir.resolve(sanitize(item.getFileName())); HttpURLConnection conn (HttpURLConnection) new URL(item.getDownloadUrl()).openConnection(); conn.setRequestProperty(Cookie, cookie); try (InputStream in conn.getInputStream(); BufferedOutputStream out new BufferedOutputStream(Files.newOutputStream(target))) { byte[] buf new byte[8192]; int len; while ((len in.read(buf)) ! -1) { out.write(buf, 0, len); } } conn.disconnect(); } // 把 Windows/Linux 文件名里的非法字符统一替换掉 private String sanitize(String name) { return name.replaceAll([\\\\/:*?\|], _); }逻辑说明Files.createDirectories会自动创建多级目录已存在也不报错适合反复运行。下载用 8KB 缓冲区循环读写内存占用恒定下大文件也不会 OOM。sanitize处理文件名里的非法字符——课程名里带斜杠、冒号是常事不处理直接建文件会抛异常。参数说明rootDir是下载根目录从配置读cookie是会话层传下来的登录态。buf大小 8192 是通用值网络差可以调大但一般没必要。注意下载前最好先判断目标文件是否已存在存在就跳过。否则每次重跑都会把几百个文件重新下一遍浪费时间也浪费平台带宽。4. 跑起来配置、编译、执行与常见报错4.1 环境与依赖准备这个项目是纯 Java跑起来只需要 JDK 8 及以上。如果用了 Maven 管理依赖比如引入 Jsoup 做 HTML 解析那还需要 Maven。我一般会这样配pom.xml的关键部分dependencies !-- HTML 解析比正则稳得多 -- dependency groupIdorg.jsoup/groupId artifactIdjsoup/artifactId version1.17.2/version /dependency /dependencies如果你不想引第三方库纯 JDK 也能跑只是解析部分要用正则硬扛。新手建议先引 Jsoup少踩解析的坑。4.2 配置文件怎么写config.properties是唯一需要你改的地方把平台地址和账号填进去# 教学平台根地址 platform.baseUrlhttps://your-platform.example.edu # 登录页与表单提交地址 platform.loginPage/webapps/login platform.loginUrl/webapps/login/verify # 账号密码 auth.usernameyour_id auth.passwordyour_password # 下载根目录 download.rootDir./downloads参数说明baseUrl后面拼loginPage和loginUrl组成完整地址。download.rootDir用相对路径时是相对于你执行命令的目录建议用绝对路径避免找不到文件。4.3 编译与运行用 Maven 的话两条命令搞定# 编译打包 mvn clean package # 运行指定配置文件路径 java -jar target/blackboard-downloader.jar --config ./config.properties如果没用 Maven手动编译也行javac -encoding UTF-8 -d out src/main/java/com/example/bbd/*.java java -cp out com.example.bbd.Main运行后你会看到控制台先打印登录结果然后逐门课列出文件清单最后开始下载。建议第一次加--dry-run参数只打印不下载确认清单对了再真下。4.4 常见报错对照现象原因解决登录后课程页返回登录页Cookie 没更新或没带上打印每次Set-Cookie确认覆盖保存课程列表为空解析选择器/正则不匹配把返回 HTML 存下来对着结构改规则下载文件是 0 字节下载 URL 需要额外鉴权头检查请求是否带 Cookie 和 Referer文件名乱码编码不一致统一用 UTF-8 读写响应头看 charset中文文件名建目录失败含非法字符走sanitize替换5. 避坑与排查那些让我重跑好几遍的坑5.1 坑一登录成功但后续请求全被踢回登录页现象是登录接口返回 200但紧接着请求课程页拿回来的 HTML 是登录页。原因通常是登录成功后服务端换了新的会话 Cookie而代码里还在用登录前那个。解决方法是每次请求后都检查Set-Cookie响应头有新的就覆盖保存。我一开始图省事只在初始化时存一次结果卡了整整一个下午。5.2 坑二正则解析遇到嵌套标签直接崩用正则匹配a href...时如果页面里链接标签带换行或者嵌套了span正则就匹配不到或者匹配错。现象是课程列表少了几门或者文件名带了一堆 HTML 标签。解决办法是换 Jsoup用doc.select(a.course-link)这种选择器结构变了改选择器就行不用跟正则较劲。5.3 坑三文件名里的斜杠导致建目录失败课程名或文件名里带/、:、?这些字符时Paths.get会把它当成路径分隔符直接抛InvalidPathException。现象是下载到一半突然报错退出。解决办法就是前面sanitize那一步把所有非法字符统一替换成下划线。这个坑不分平台只要文件名来自网页就一定会遇到。5.4 坑四重复运行把文件下一遍又一遍没有存在性判断时每次运行都会把所有文件重新下载。现象是第二次运行还是慢得要命磁盘里出现一堆重复文件。解决办法是在下载前用Files.exists(target)判断存在就跳过并打印「已存在」。想更严谨可以比对文件大小或最后修改时间。5.5 坑五请求太密被平台限流一口气发几百个下载请求平台可能返回 429 或直接断开连接。现象是下载到几十个之后开始大量失败。解决办法是在每次下载之间加一个短暂休眠比如Thread.sleep(200)把节奏放慢。别小看这 200 毫秒它能让整个任务稳定跑完比失败重试省心得多。6. 二次开发换平台、加并发、做增量拿到这个项目后最值钱的改造方向有三个我按投入产出比排一下。第一适配你自己的教学平台。这是最常见的需求。改动集中在CourseCrawler和FileCrawler两个类的解析规则上。做法是先用浏览器打开你的平台F12 看课程列表和文件列表的 DOM 结构找到稳定的选择器优先用 id 或语义化 class别用会变的样式类然后替换掉代码里的选择器。会话层一般不用动因为登录流程大同小异。改完先跑--dry-run验证清单对了再下载。第二加并发下载。单线程下载几百个文件确实慢。可以用ExecutorService开一个固定大小的线程池比如 4 到 8 个线程把FileItem列表提交进去并行下载。但要注意两点一是并发数别开太大否则触发限流二是每个线程要用独立的HttpURLConnection别共享连接对象。下面是个简单的改造骨架// 并发下载骨架 ExecutorService pool Executors.newFixedThreadPool(4); for (FileItem item : items) { pool.submit(() - { try { downloader.download(item, rootDir, cookie); System.out.println(完成: item.getFileName()); } catch (IOException e) { System.err.println(失败: item.getFileName() - e.getMessage()); } }); } pool.shutdown(); pool.awaitTermination(1, TimeUnit.HOURS);参数说明newFixedThreadPool(4)里的 4 是并发数建议从 4 起步稳定了再往上加。awaitTermination保证主线程等所有下载任务结束再退出不然程序会提前关掉。第三做增量下载。结合前面「文件已存在就跳过」的判断再进一步把每次下载的文件名和大小记到一个本地清单文件里下次运行先读清单只下新增或变更的文件。这样每学期只需要第一次全量下之后每次运行都是秒级完成。清单格式用简单的文件名|大小一行一条就行不用上数据库。验证改造是否成功我的习惯是准备一个小号课程文件少的先在小号上跑通全流程确认登录、解析、下载、跳过都正常再切到真实账号全量跑。这样即使解析规则写错也不会浪费大量时间。从那以后我每次改解析规则都强制先跑一遍--dry-run把清单打出来肉眼核对确认无误才真下——这个习惯帮我省了无数次重下的时间。希望这个思路能帮到你把每学期的课件下载从体力活变成一条命令的事。本文还有配套的精品资源点击获取