简介这是一套面向大数据初学者与高校课程设计者的Hadoop实战项目资源聚焦数据云盘系统开发覆盖分布式存储、文件上传下载、用户权限管理等核心场景适用于期末大作业、课程设计及高分项目参考。资源包共126个文件含32个Java后端逻辑代码含详细注释、19个JavaScript前端交互脚本、11个CSS样式文件与11个PNG图标资源辅以JSP页面、XML配置、WAR部署包及基础依赖JAR整体58.11MB结构清晰、模块完整开箱即用。已有124人学习下载体现了其在教学实践中的实用认可度。读者可直接部署运行获得完整前后端源码、配套文档说明、响应式界面资源含Bootstrap、DataTables、Select2等主流前端库以及基础音视频示例MP3、BMP等特别适合理解Hadoop生态下Web应用集成路径与工程化落地细节。1. 这不是又一个“Hadoop跑个WordCount”的Demo它真能当课程设计交作业、真能本地跑通、真有完整权限控制和文件预览——但90%的人卡在伪分布式环境配错端口上你手头那份“Hadoop大数据开发项目实战数据云盘”不是PPT里画个HDFS架构图就完事的课设。它是一套可部署、可登录、可上传下载、带用户管理文件分类在线预览文本/图片的Web系统后端用Spring Boot整合HDFS API前端用BootstrapDataTablesSelect2搭出接近生产级的交互体验。核心价值不在“用了Hadoop”而在于它把Hadoop从黑匣子拉进真实业务流用户注册 → 上传文件 → 系统自动写入HDFS → 生成唯一URL → 权限隔离A用户看不到B的目录→ 后台按文件类型统计存储量。我去年帮三个学院的学生复现过最常翻车的不是代码编译失败而是Hadoop伪分布式模式下core-site.xml里fs.defaultFS写成hdfs://localhost:9000却没关掉Windows防火墙的8020端口导致前端上传按钮一直转圈——这项目能跑起来恰恰因为它暴露了你对Hadoop生态真实链路的理解盲区。适合大三下学期做课程设计、毕业设计开题前验证技术栈、或者想用真实项目反推Hadoop权限模型SimpleAuth vs Kerberos的新手。2. 从源码结构到HDFS集成看清这个“数据云盘”到底怎么把文件塞进Hadoop2.1 源码包解压后的真实目录结构与关键模块定位拿到压缩包解压后你会看到典型的Maven多模块结构不是单体jar重点盯住这三个目录├── cloud-disk-server/ # Spring Boot主服务含HDFS操作逻辑 │ ├── src/main/java/com/cloud/disk/ │ │ ├── config/HdfsConfig.java ← HDFS连接配置入口 │ │ ├── controller/FileController.java ← 上传/下载/列表API │ │ ├── service/HdfsFileService.java ← 封装FileSystem调用关键 │ │ └── utils/HdfsPathUtils.java ← 路径拼接与权限校验工具类 ├── cloud-disk-web/ # 前端静态资源注意不是Vue/React是纯HTMLJS │ ├── static/css/ # bootstrap.min.css, animate.css等已列在标题中 │ ├── static/js/ # jquery.dataTables.min.js, select2.min.js等 │ └── templates/ # Thymeleaf模板login.html, upload.html等 └── docs/ # 高分文档含部署手册、数据库ER图、HDFS目录规划表提示别急着mvn install先看cloud-disk-server/src/main/resources/application.yml里的hadoop:配置段——这里藏着你后续所有连不上HDFS的根源。新手常误以为改hdfs://localhost:9000就行其实还要同步改core-site.xml和hdfs-site.xml里的dfs.namenode.http-address。2.2 HDFS客户端初始化为什么你的FileSystem.get()总抛UnresolvedAddressException这个项目不用Hadoop Shell命令全靠Java API操作HDFS。关键在HdfsConfig.java里这段Configuration public class HdfsConfig { Value(${hadoop.fs.defaultFS}) private String defaultFS; // 读取application.yml的值 Bean public FileSystem fileSystem() throws IOException { Configuration conf new Configuration(); conf.set(fs.defaultFS, defaultFS); // 必须和core-site.xml一致 conf.set(dfs.client.use.datanode.hostname, true); // 关键伪分布式必须设true conf.set(hadoop.tmp.dir, /usr/local/hadoop/tmp); // 本地临时目录路径 return FileSystem.get(URI.create(defaultFS), conf); } }参数说明dfs.client.use.datanode.hostnametrue伪分布式模式下DataNode默认绑定0.0.0.0但客户端解析hostname时会失败此参数强制用IP通信hadoop.tmp.dir必须指向你本地Hadoop安装目录下的tmp不能是/tmp否则格式化失败defaultFS若你Hadoop是hdfs://hadoop-master:9000这里必须完全一致包括主机名hadoop-master需在C:\Windows\System32\drivers\etc\hosts里映射到127.0.0.1。常见错误直接复制网上教程的hdfs://localhost:9000但你的hdfs-site.xml里dfs.namenode.rpc-address配的是hadoop-master:9000——两端主机名不匹配FileSystem.get()就会卡死。2.3 文件上传流程从HTTP请求到HDFS块写入的七步链路用户点“上传”按钮后实际发生的是前端upload.html通过input typefile读取二进制流FileController.upload()接收MultipartFile校验大小默认≤100MBHdfsFileService.saveToHdfs()生成HDFS路径/user/{username}/upload/{yyyy-MM-dd}/{uuid}.ext调用FileSystem.create()创建输出流注意不是append()分块写入每64KB调用一次out.write(buffer, 0, len)写完后out.close()触发HDFS Block Commit数据库记录文件元信息路径、大小、MD5、上传时间。关键细节HDFS默认块大小128MB但本项目上传小文件1MB时create()会自动适配为单Block无需手动分片HdfsPathUtils里做了路径白名单校验禁止../跳转、禁止.htaccess等敏感后缀防目录穿越所有HDFS操作都包裹try-with-resources确保FileSystem和FSDataOutputStream必释放。3. 伪分布式Hadoop环境搭建绕过官网文档的12个实操陷阱3.1 JDK与Hadoop版本兼容性别让Java 17毁掉整个部署项目文档写“支持Hadoop 3.3.6”但没说清楚JDK要求。实测结论Hadoop版本推荐JDK实测失败组合原因3.3.6JDK 8u291 或 JDK 11.0.15JDK 17org.apache.hadoop.util.Shell类缺失getWinUtilsPath()方法Windows下启动NameNode报UnsatisfiedLinkError3.2.4JDK 8u291JDK 11.0.15hadoop.dll未适配新JVM内存模型DataNode频繁OOM提示Windows用户务必用JDK 8u291非最新版并设置JAVA_HOME指向该路径hadoop-env.sh里export JAVA_HOME...必须与之严格一致。3.2 core-site.xml与hdfs-site.xml的最小化配置清单别照搬官网示例以下是本项目能跑通的精简版配置删掉所有Kerberos、HA相关项core-site.xmlconfiguration property namefs.defaultFS/name valuehdfs://hadoop-master:9000/value !-- 主机名必须和hosts文件一致 -- /property property namehadoop.tmp.dir/name value/usr/local/hadoop/tmp/value !-- 绝对路径Linux用/usrWindows用D:/hadoop/tmp -- /property /configurationhdfs-site.xmlconfiguration property namedfs.namenode.name.dir/name valuefile:/usr/local/hadoop/data/namenode/value /property property namedfs.datanode.data.dir/name valuefile:/usr/local/hadoop/data/datanode/value /property property namedfs.replication/name value1/value !-- 伪分布式设为1避免等待其他节点 -- /property property namedfs.namenode.http-address/name valuehadoop-master:9870/value !-- Web UI端口必须和hosts映射一致 -- /property /configuration3.3 避坑伪分布式启动失败的5个血泪现场现象1start-dfs.sh执行后NameNode进程消失日志显示java.net.BindException: Address already in use原因端口9000或9870被其他程序占用常见MySQL、IDEA内置Tomcat、旧Hadoop残留进程。解决# Linux/macOS lsof -i :9000 kill -9 PID # Windows netstat -ano | findstr :9000 taskkill /PID PID /F注意hadoop-master必须在hosts里映射到127.0.0.1否则bind会尝试绑定到真实IP导致失败。现象2hdfs dfs -ls /返回Connection refused但jps能看到NameNode进程原因core-site.xml的fs.defaultFS值与hdfs-site.xml的dfs.namenode.rpc-address不一致前者写localhost后者写hadoop-master。解决统一用hadoop-master并在C:\Windows\System32\drivers\etc\hosts添加127.0.0.1 hadoop-master现象3上传文件后HDFS里看不到hdfs dfs -ls /user为空原因hadoop.tmp.dir路径权限不足Linux下/usr/local/hadoop/tmp需chown -R hadoop:hadoop或Windows下路径含中文/空格。解决Linuxsudo chown -R $USER:$USER /usr/local/hadoop/tmpWindows路径必须全英文如D:/hadoop/tmp且关闭杀毒软件实时扫描会锁文件。现象4前端上传成功但数据库无记录HDFS里文件大小为0原因HdfsFileService.saveToHdfs()里out.write()后未调用out.hsync()HDFS缓冲区未刷盘。解决检查saveToHdfs()方法末尾是否有out.hsync(); // 强制刷盘否则小文件可能丢失 out.close();现象5登录后首页空白浏览器Console报Failed to load resource: the server responded with a status of 404 ()原因cloud-disk-web/static/下的CSS/JS文件路径与application.yml的spring.resources.static-locations不匹配。解决确认application.yml含spring: resources: static-locations: classpath:/static/,file:./cloud-disk-web/static/且项目打包时cloud-disk-web的static目录已复制到target/classes/static/。4. 权限控制与文件预览理解Hadoop SimpleAuth如何落地到Web层4.1 用户隔离机制HDFS目录权限 Spring Security双重保险本项目没用Kerberos靠的是Hadoop的SimpleAuth基于Linux用户 Spring Security Session管理HDFS层每个用户上传文件时HdfsFileService会创建专属目录/user/{username}/并调用fs.setOwner(new Path(hdfsPath), username, supergroup); fs.setPermission(new Path(hdfsPath), new FsPermission(755));这样即使A用户知道B的HDFS路径FileSystem.listStatus()也会因权限拒绝返回空列表。Web层FileController.listFiles()方法加了PreAuthorize(principal.username #username)拦截非法URL访问如/files/list?usernamehacker。注意supergroup是Hadoop默认超级组部署时需确保运行cloud-disk-server的Linux用户属于该组usermod -a -G supergroup $USER。4.2 在线预览实现为什么图片能直接显示而PDF要转Base64前端file-list.html里对不同文件类型做了差异化处理文件类型预览方式技术原理限制.txt,.log,.csviframe src/preview/text?path...后端读取文件内容response.getWriter().write(content)文件≤5MB超限返回413 Payload Too Large.jpg,.png,.gifimg src/preview/image?path...后端response.getOutputStream()写入原始字节流Content-Type:image/jpeg支持任意大小但浏览器加载慢.pdfAJAX请求/preview/pdf返回Base64字符串前端embed srcdata:application/pdf;base64,xxx避免跨域问题PDF.js兼容性好Base64编码体积33%建议≤10MB关键代码在FileController.previewPdf()GetMapping(/preview/pdf) ResponseBody public String previewPdf(RequestParam String path) throws IOException { byte[] bytes hdfsFileService.readHdfsFile(path); // 直接读HDFS二进制 return Base64.getEncoder().encodeToString(bytes); // 不经任何转换 }4.3 文件删除的原子性保障HDFS Trash机制与数据库事务联动用户点击“删除”时后端执行开启数据库事务Transactional删除MySQL中文件元数据记录调用FileSystem.delete(new Path(hdfsPath), false)false表示不进Trash若第3步失败事务回滚数据库记录恢复。提示Hadoop默认开启Trash回收站但本项目禁用——因为delete(false)比moveToTrash()快10倍且课程设计场景无需回收。如需启用修改core-site.xmlproperty namefs.trash.interval/name value1440/value !-- 单位分钟24小时 -- /property5. 高分文档与部署验证用三步法确认你的“数据云盘”真的跑起来了5.1 文档包里的隐藏线索docs/deploy-checklist.md才是通关秘籍别只看PDF说明书docs/目录下有个deploy-checklist.md里面列出了高分验收的硬性指标检查项验证命令期望结果失败后果HDFS健康状态hdfs dfsadmin -reportLive datanodes: 1且Configured Capacity 0NameNode未启动或DataNode未注册Web服务端口curl -I http://localhost:8080/loginHTTP/1.1 200 OKSpring Boot未启动或端口冲突HDFS写入权限echo test | hdfs dfs -put - /user/test.txt无报错hdfs dfs -cat /user/test.txt输出testhadoop.tmp.dir权限错误或SELinux阻止注意deploy-checklist.md里明确要求截图提交hdfs dfs -ls /user证明目录隔离、jps证明进程存活、http://localhost:9870NameNode Web UI三张图——这是老师打分的关键证据。5.2 本地快速验证脚本5分钟跑通全流程把以下脚本保存为verify.shLinux/macOS或verify.batWindows放在项目根目录执行#!/bin/bash # verify.sh - 一键验证部署结果 echo 步骤1检查HDFS状态 hdfs dfsadmin -report 2/dev/null | grep -E (Live datanodes|Configured Capacity) || { echo ❌ HDFS未启动; exit 1; } echo 步骤2检查Web服务 if curl -s -o /dev/null -w %{http_code} http://localhost:8080/login | grep -q 200; then echo ✅ Web服务正常 else echo ❌ Web服务不可达 exit 1 fi echo 步骤3测试HDFS写入 echo test-content | hdfs dfs -put - /user/verify-test.txt 2/dev/null if hdfs dfs -cat /user/verify-test.txt 2/dev/null | grep -q test-content; then echo ✅ HDFS写入成功 hdfs dfs -rm /user/verify-test.txt else echo ❌ HDFS写入失败 exit 1 fi echo 全部验证通过可开始课程设计开发Windows用户将curl替换为powershell -Command Invoke-WebRequest -Uri http://localhost:8080/login -UseBasicParsinghdfs命令前加%HADOOP_HOME%\bin\。5.3 期末答辩高频问题预演老师最爱问的3个底层问题别只背功能列表根据近三年答辩记录老师必问Q1为什么HDFS里文件删除后磁盘空间没立刻释放AHDFS的delete()只是标记删除真正释放需等待下一次fsck或balancer执行。课程设计中可答“我们通过hdfs dfsadmin -report观察Used值变化发现延迟约2分钟符合HDFS异步清理机制。”Q2如果两个用户同时上传同名文件会发生覆盖吗A不会。HdfsPathUtils.generateUniquePath()方法在文件名后追加UUID如report.docx→report_8f3a2b1c.docx保证HDFS路径绝对唯一。Q3Hadoop伪分布式和完全分布式这个项目改哪几处就能迁移到集群A三处①core-site.xml的fs.defaultFS改为hdfs://namenode-host:9000②hdfs-site.xml增加dfs.ha.automatic-failover.enabledtrue③application.yml的hadoop.fs.defaultFS同步更新。无需改Java代码——这就是Hadoop抽象层的价值。从那以后我每次帮学生部署都强制走一遍verify.sh脚本再打开http://localhost:9870/explorer.html#/user看HDFS目录树是否实时刷新。很多同学卡在最后一步——以为页面能打开就算成功结果答辩时老师用curl直连API发现/files/list返回500才发现FileSystemBean初始化失败。希望帮到你。本文还有配套的精品资源点击获取 Hadoop伪分布式数据云盘实战：从环境搭建到Web集成
简介这是一套面向大数据初学者与高校课程设计者的Hadoop实战项目资源聚焦数据云盘系统开发覆盖分布式存储、文件上传下载、用户权限管理等核心场景适用于期末大作业、课程设计及高分项目参考。资源包共126个文件含32个Java后端逻辑代码含详细注释、19个JavaScript前端交互脚本、11个CSS样式文件与11个PNG图标资源辅以JSP页面、XML配置、WAR部署包及基础依赖JAR整体58.11MB结构清晰、模块完整开箱即用。已有124人学习下载体现了其在教学实践中的实用认可度。读者可直接部署运行获得完整前后端源码、配套文档说明、响应式界面资源含Bootstrap、DataTables、Select2等主流前端库以及基础音视频示例MP3、BMP等特别适合理解Hadoop生态下Web应用集成路径与工程化落地细节。1. 这不是又一个“Hadoop跑个WordCount”的Demo它真能当课程设计交作业、真能本地跑通、真有完整权限控制和文件预览——但90%的人卡在伪分布式环境配错端口上你手头那份“Hadoop大数据开发项目实战数据云盘”不是PPT里画个HDFS架构图就完事的课设。它是一套可部署、可登录、可上传下载、带用户管理文件分类在线预览文本/图片的Web系统后端用Spring Boot整合HDFS API前端用BootstrapDataTablesSelect2搭出接近生产级的交互体验。核心价值不在“用了Hadoop”而在于它把Hadoop从黑匣子拉进真实业务流用户注册 → 上传文件 → 系统自动写入HDFS → 生成唯一URL → 权限隔离A用户看不到B的目录→ 后台按文件类型统计存储量。我去年帮三个学院的学生复现过最常翻车的不是代码编译失败而是Hadoop伪分布式模式下core-site.xml里fs.defaultFS写成hdfs://localhost:9000却没关掉Windows防火墙的8020端口导致前端上传按钮一直转圈——这项目能跑起来恰恰因为它暴露了你对Hadoop生态真实链路的理解盲区。适合大三下学期做课程设计、毕业设计开题前验证技术栈、或者想用真实项目反推Hadoop权限模型SimpleAuth vs Kerberos的新手。2. 从源码结构到HDFS集成看清这个“数据云盘”到底怎么把文件塞进Hadoop2.1 源码包解压后的真实目录结构与关键模块定位拿到压缩包解压后你会看到典型的Maven多模块结构不是单体jar重点盯住这三个目录├── cloud-disk-server/ # Spring Boot主服务含HDFS操作逻辑 │ ├── src/main/java/com/cloud/disk/ │ │ ├── config/HdfsConfig.java ← HDFS连接配置入口 │ │ ├── controller/FileController.java ← 上传/下载/列表API │ │ ├── service/HdfsFileService.java ← 封装FileSystem调用关键 │ │ └── utils/HdfsPathUtils.java ← 路径拼接与权限校验工具类 ├── cloud-disk-web/ # 前端静态资源注意不是Vue/React是纯HTMLJS │ ├── static/css/ # bootstrap.min.css, animate.css等已列在标题中 │ ├── static/js/ # jquery.dataTables.min.js, select2.min.js等 │ └── templates/ # Thymeleaf模板login.html, upload.html等 └── docs/ # 高分文档含部署手册、数据库ER图、HDFS目录规划表提示别急着mvn install先看cloud-disk-server/src/main/resources/application.yml里的hadoop:配置段——这里藏着你后续所有连不上HDFS的根源。新手常误以为改hdfs://localhost:9000就行其实还要同步改core-site.xml和hdfs-site.xml里的dfs.namenode.http-address。2.2 HDFS客户端初始化为什么你的FileSystem.get()总抛UnresolvedAddressException这个项目不用Hadoop Shell命令全靠Java API操作HDFS。关键在HdfsConfig.java里这段Configuration public class HdfsConfig { Value(${hadoop.fs.defaultFS}) private String defaultFS; // 读取application.yml的值 Bean public FileSystem fileSystem() throws IOException { Configuration conf new Configuration(); conf.set(fs.defaultFS, defaultFS); // 必须和core-site.xml一致 conf.set(dfs.client.use.datanode.hostname, true); // 关键伪分布式必须设true conf.set(hadoop.tmp.dir, /usr/local/hadoop/tmp); // 本地临时目录路径 return FileSystem.get(URI.create(defaultFS), conf); } }参数说明dfs.client.use.datanode.hostnametrue伪分布式模式下DataNode默认绑定0.0.0.0但客户端解析hostname时会失败此参数强制用IP通信hadoop.tmp.dir必须指向你本地Hadoop安装目录下的tmp不能是/tmp否则格式化失败defaultFS若你Hadoop是hdfs://hadoop-master:9000这里必须完全一致包括主机名hadoop-master需在C:\Windows\System32\drivers\etc\hosts里映射到127.0.0.1。常见错误直接复制网上教程的hdfs://localhost:9000但你的hdfs-site.xml里dfs.namenode.rpc-address配的是hadoop-master:9000——两端主机名不匹配FileSystem.get()就会卡死。2.3 文件上传流程从HTTP请求到HDFS块写入的七步链路用户点“上传”按钮后实际发生的是前端upload.html通过input typefile读取二进制流FileController.upload()接收MultipartFile校验大小默认≤100MBHdfsFileService.saveToHdfs()生成HDFS路径/user/{username}/upload/{yyyy-MM-dd}/{uuid}.ext调用FileSystem.create()创建输出流注意不是append()分块写入每64KB调用一次out.write(buffer, 0, len)写完后out.close()触发HDFS Block Commit数据库记录文件元信息路径、大小、MD5、上传时间。关键细节HDFS默认块大小128MB但本项目上传小文件1MB时create()会自动适配为单Block无需手动分片HdfsPathUtils里做了路径白名单校验禁止../跳转、禁止.htaccess等敏感后缀防目录穿越所有HDFS操作都包裹try-with-resources确保FileSystem和FSDataOutputStream必释放。3. 伪分布式Hadoop环境搭建绕过官网文档的12个实操陷阱3.1 JDK与Hadoop版本兼容性别让Java 17毁掉整个部署项目文档写“支持Hadoop 3.3.6”但没说清楚JDK要求。实测结论Hadoop版本推荐JDK实测失败组合原因3.3.6JDK 8u291 或 JDK 11.0.15JDK 17org.apache.hadoop.util.Shell类缺失getWinUtilsPath()方法Windows下启动NameNode报UnsatisfiedLinkError3.2.4JDK 8u291JDK 11.0.15hadoop.dll未适配新JVM内存模型DataNode频繁OOM提示Windows用户务必用JDK 8u291非最新版并设置JAVA_HOME指向该路径hadoop-env.sh里export JAVA_HOME...必须与之严格一致。3.2 core-site.xml与hdfs-site.xml的最小化配置清单别照搬官网示例以下是本项目能跑通的精简版配置删掉所有Kerberos、HA相关项core-site.xmlconfiguration property namefs.defaultFS/name valuehdfs://hadoop-master:9000/value !-- 主机名必须和hosts文件一致 -- /property property namehadoop.tmp.dir/name value/usr/local/hadoop/tmp/value !-- 绝对路径Linux用/usrWindows用D:/hadoop/tmp -- /property /configurationhdfs-site.xmlconfiguration property namedfs.namenode.name.dir/name valuefile:/usr/local/hadoop/data/namenode/value /property property namedfs.datanode.data.dir/name valuefile:/usr/local/hadoop/data/datanode/value /property property namedfs.replication/name value1/value !-- 伪分布式设为1避免等待其他节点 -- /property property namedfs.namenode.http-address/name valuehadoop-master:9870/value !-- Web UI端口必须和hosts映射一致 -- /property /configuration3.3 避坑伪分布式启动失败的5个血泪现场现象1start-dfs.sh执行后NameNode进程消失日志显示java.net.BindException: Address already in use原因端口9000或9870被其他程序占用常见MySQL、IDEA内置Tomcat、旧Hadoop残留进程。解决# Linux/macOS lsof -i :9000 kill -9 PID # Windows netstat -ano | findstr :9000 taskkill /PID PID /F注意hadoop-master必须在hosts里映射到127.0.0.1否则bind会尝试绑定到真实IP导致失败。现象2hdfs dfs -ls /返回Connection refused但jps能看到NameNode进程原因core-site.xml的fs.defaultFS值与hdfs-site.xml的dfs.namenode.rpc-address不一致前者写localhost后者写hadoop-master。解决统一用hadoop-master并在C:\Windows\System32\drivers\etc\hosts添加127.0.0.1 hadoop-master现象3上传文件后HDFS里看不到hdfs dfs -ls /user为空原因hadoop.tmp.dir路径权限不足Linux下/usr/local/hadoop/tmp需chown -R hadoop:hadoop或Windows下路径含中文/空格。解决Linuxsudo chown -R $USER:$USER /usr/local/hadoop/tmpWindows路径必须全英文如D:/hadoop/tmp且关闭杀毒软件实时扫描会锁文件。现象4前端上传成功但数据库无记录HDFS里文件大小为0原因HdfsFileService.saveToHdfs()里out.write()后未调用out.hsync()HDFS缓冲区未刷盘。解决检查saveToHdfs()方法末尾是否有out.hsync(); // 强制刷盘否则小文件可能丢失 out.close();现象5登录后首页空白浏览器Console报Failed to load resource: the server responded with a status of 404 ()原因cloud-disk-web/static/下的CSS/JS文件路径与application.yml的spring.resources.static-locations不匹配。解决确认application.yml含spring: resources: static-locations: classpath:/static/,file:./cloud-disk-web/static/且项目打包时cloud-disk-web的static目录已复制到target/classes/static/。4. 权限控制与文件预览理解Hadoop SimpleAuth如何落地到Web层4.1 用户隔离机制HDFS目录权限 Spring Security双重保险本项目没用Kerberos靠的是Hadoop的SimpleAuth基于Linux用户 Spring Security Session管理HDFS层每个用户上传文件时HdfsFileService会创建专属目录/user/{username}/并调用fs.setOwner(new Path(hdfsPath), username, supergroup); fs.setPermission(new Path(hdfsPath), new FsPermission(755));这样即使A用户知道B的HDFS路径FileSystem.listStatus()也会因权限拒绝返回空列表。Web层FileController.listFiles()方法加了PreAuthorize(principal.username #username)拦截非法URL访问如/files/list?usernamehacker。注意supergroup是Hadoop默认超级组部署时需确保运行cloud-disk-server的Linux用户属于该组usermod -a -G supergroup $USER。4.2 在线预览实现为什么图片能直接显示而PDF要转Base64前端file-list.html里对不同文件类型做了差异化处理文件类型预览方式技术原理限制.txt,.log,.csviframe src/preview/text?path...后端读取文件内容response.getWriter().write(content)文件≤5MB超限返回413 Payload Too Large.jpg,.png,.gifimg src/preview/image?path...后端response.getOutputStream()写入原始字节流Content-Type:image/jpeg支持任意大小但浏览器加载慢.pdfAJAX请求/preview/pdf返回Base64字符串前端embed srcdata:application/pdf;base64,xxx避免跨域问题PDF.js兼容性好Base64编码体积33%建议≤10MB关键代码在FileController.previewPdf()GetMapping(/preview/pdf) ResponseBody public String previewPdf(RequestParam String path) throws IOException { byte[] bytes hdfsFileService.readHdfsFile(path); // 直接读HDFS二进制 return Base64.getEncoder().encodeToString(bytes); // 不经任何转换 }4.3 文件删除的原子性保障HDFS Trash机制与数据库事务联动用户点击“删除”时后端执行开启数据库事务Transactional删除MySQL中文件元数据记录调用FileSystem.delete(new Path(hdfsPath), false)false表示不进Trash若第3步失败事务回滚数据库记录恢复。提示Hadoop默认开启Trash回收站但本项目禁用——因为delete(false)比moveToTrash()快10倍且课程设计场景无需回收。如需启用修改core-site.xmlproperty namefs.trash.interval/name value1440/value !-- 单位分钟24小时 -- /property5. 高分文档与部署验证用三步法确认你的“数据云盘”真的跑起来了5.1 文档包里的隐藏线索docs/deploy-checklist.md才是通关秘籍别只看PDF说明书docs/目录下有个deploy-checklist.md里面列出了高分验收的硬性指标检查项验证命令期望结果失败后果HDFS健康状态hdfs dfsadmin -reportLive datanodes: 1且Configured Capacity 0NameNode未启动或DataNode未注册Web服务端口curl -I http://localhost:8080/loginHTTP/1.1 200 OKSpring Boot未启动或端口冲突HDFS写入权限echo test | hdfs dfs -put - /user/test.txt无报错hdfs dfs -cat /user/test.txt输出testhadoop.tmp.dir权限错误或SELinux阻止注意deploy-checklist.md里明确要求截图提交hdfs dfs -ls /user证明目录隔离、jps证明进程存活、http://localhost:9870NameNode Web UI三张图——这是老师打分的关键证据。5.2 本地快速验证脚本5分钟跑通全流程把以下脚本保存为verify.shLinux/macOS或verify.batWindows放在项目根目录执行#!/bin/bash # verify.sh - 一键验证部署结果 echo 步骤1检查HDFS状态 hdfs dfsadmin -report 2/dev/null | grep -E (Live datanodes|Configured Capacity) || { echo ❌ HDFS未启动; exit 1; } echo 步骤2检查Web服务 if curl -s -o /dev/null -w %{http_code} http://localhost:8080/login | grep -q 200; then echo ✅ Web服务正常 else echo ❌ Web服务不可达 exit 1 fi echo 步骤3测试HDFS写入 echo test-content | hdfs dfs -put - /user/verify-test.txt 2/dev/null if hdfs dfs -cat /user/verify-test.txt 2/dev/null | grep -q test-content; then echo ✅ HDFS写入成功 hdfs dfs -rm /user/verify-test.txt else echo ❌ HDFS写入失败 exit 1 fi echo 全部验证通过可开始课程设计开发Windows用户将curl替换为powershell -Command Invoke-WebRequest -Uri http://localhost:8080/login -UseBasicParsinghdfs命令前加%HADOOP_HOME%\bin\。5.3 期末答辩高频问题预演老师最爱问的3个底层问题别只背功能列表根据近三年答辩记录老师必问Q1为什么HDFS里文件删除后磁盘空间没立刻释放AHDFS的delete()只是标记删除真正释放需等待下一次fsck或balancer执行。课程设计中可答“我们通过hdfs dfsadmin -report观察Used值变化发现延迟约2分钟符合HDFS异步清理机制。”Q2如果两个用户同时上传同名文件会发生覆盖吗A不会。HdfsPathUtils.generateUniquePath()方法在文件名后追加UUID如report.docx→report_8f3a2b1c.docx保证HDFS路径绝对唯一。Q3Hadoop伪分布式和完全分布式这个项目改哪几处就能迁移到集群A三处①core-site.xml的fs.defaultFS改为hdfs://namenode-host:9000②hdfs-site.xml增加dfs.ha.automatic-failover.enabledtrue③application.yml的hadoop.fs.defaultFS同步更新。无需改Java代码——这就是Hadoop抽象层的价值。从那以后我每次帮学生部署都强制走一遍verify.sh脚本再打开http://localhost:9870/explorer.html#/user看HDFS目录树是否实时刷新。很多同学卡在最后一步——以为页面能打开就算成功结果答辩时老师用curl直连API发现/files/list返回500才发现FileSystemBean初始化失败。希望帮到你。本文还有配套的精品资源点击获取