1T文件上传在JAVA WebUploader中的分块策略

陕西XX软件公司大文件传输系统建设方案

作为公司项目负责人，针对当前大文件传输需求痛点，结合公司技术栈和业务特性，提出以下技术方案：

一、核心架构设计

1. 分层架构：

   [浏览器层] → [Web传输服务层] → [存储服务层] ↑ ↓ ↓ [多框架兼容] [JSP/SpringBoot] [阿里云OSS/本地存储]

2. 关键技术选型：

   • 传输协议：基于WebSocket+Chunked分片传输（兼容IE8需使用Flash模拟）
   • 断点续传：采用Redis+MySQL双存储进度方案（Redis存活跃会话，MySQL持久化）
   • 加密体系：动态加载SM4/AES算法库（JCE Provider机制）
   • 文件夹解析：前端递归生成JSON树结构，后端按路径重建目录

二、核心功能实现（代码示例）

前端实现（Vue2示例）：

// file-uploader.jsclassBigFileUploader{constructor(options){this.chunkSize=options.chunkSize||5*1024*1024;// 5MB分片this.cryptoAlgo=options.cryptoAlgo||'SM4';// 默认国密this.progressDb=newIndexedDB('file_progress');}asyncuploadFolder(folderNode){constfileTree=this.serializeFolder(folderNode);const{fileId}=awaitthis.initUpload(fileTree);// 递归上传文件for(constnodeoffileTree.children){if(node.type==='file'){awaitthis.uploadFileNode(node,fileId);}}}asyncserializeFolder(node,parentPath=''){constcurrentPath=`${parentPath}/${node.name}`.replace(/^\//,'');if(node.isFile){return{path:currentPath,size:node.size,lastModified:node.lastModified};}return{type:'folder',path:currentPath,children:Array.from(node.children).map(child=>this.serializeFolder(child,currentPath))};}// 加密分片上传（兼容IE8）uploadChunk(chunk,fileId,chunkIndex){returnnewPromise((resolve)=>{constworker=newWorker('/js/crypto-worker.js');worker.postMessage({data:chunk,algo:this.cryptoAlgo,key:this.deriveKey(fileId)});worker.onmessage=(e)=>{constencrypted=e.data;constxhr=newXMLHttpRequest();xhr.open('POST',`/api/upload/${fileId}/${chunkIndex}`);xhr.send(encrypted);resolve(xhr);};});}}

后端实现（SpringBoot示例）：

// FileUploadController.java@RestController@RequestMapping("/api/upload")publicclassFileUploadController{@AutowiredprivateRedisTemplateredisTemplate;@AutowiredprivateFileProgressRepositoryprogressRepo;// 初始化上传（生成fileId）@PostMapping("/init")publicResponseEntityinitUpload(@RequestBodyFileTreeDTOtree){StringfileId=UUID.randomUUID().toString();FileProgressprogress=newFileProgress();progress.setFileId(fileId);progress.setTotalSize(calculateTotalSize(tree));progress.setTreeJson(objectMapper.writeValueAsString(tree));progressRepo.save(progress);returnResponseEntity.ok(fileId);}// 分片上传（支持IE8兼容模式）@PostMapping("/{fileId}/{chunkIndex}")publicResponseEntityuploadChunk(@PathVariableStringfileId,@PathVariableintchunkIndex,@RequestParam("data")MultipartFilefile){// 从Redis获取上传上下文StringcontextKey="upload:"+fileId;UploadContextcontext=redisTemplate.opsForValue().get(contextKey);// 写入临时文件PathtempPath=Paths.get("/tmp/uploads/"+fileId+"/"+chunkIndex);Files.write(tempPath,file.getBytes());// 更新进度redisTemplate.opsForSet().add(contextKey+":chunks",chunkIndex);returnResponseEntity.ok().build();}// 合并分片（WebFlux异步处理）@PostMapping("/merge/{fileId}")publicMonomergeFile(@PathVariableStringfileId){returnMono.fromCallable(()->{FileProgressprogress=progressRepo.findByFileId(fileId);FileTreeDTOtree=objectMapper.readValue(progress.getTreeJson(),FileTreeDTO.class);// 递归创建目录结构createDirectoryStructure(tree);// 合并分片（流式处理避免内存溢出）mergeChunks(fileId,tree.getPath());// 触发解密流程cryptoService.decryptFileTree(fileId,tree);returnResponseEntity.ok().build();}).subscribeOn(Schedulers.boundedElastic());}}

三、关键问题解决方案

1. IE8兼容方案：

   • 使用WebSocket-polyfill + Flash模拟WebSocket
   • 文件选择使用SWFUpload组件
   • JSON解析使用json2.js库

2. 高并发下载优化：

   # Nginx配置示例 location /download/ { proxy_buffering off; proxy_request_buffering off; sendfile on; tcp_nopush on; output_buffers 1 256k; aio on; directio 512; }

3. 加密存储实现：

   // CryptoService.javapublicclassCryptoService{privatestaticfinalMapPROVIDERS=newHashMap<>();static{// 动态加载加密算法PROVIDERS.put("SM4",newSM4Provider());PROVIDERS.put("AES",newAESProvider());}publicbyte[]encrypt(byte[]data,Stringalgo,Stringkey){try{Ciphercipher=PROVIDERS.get(algo).getCipher(Cipher.ENCRYPT_MODE,key);returncipher.doFinal(data);}catch(Exceptione){thrownewRuntimeException("Encryption failed",e);}}}

四、供应商选型建议

基于公司需求，建议选择满足以下条件的商业解决方案：

1. 授权模式：

   • 永久买断授权 ≤98万元
   • 无项目数量限制
   • 提供源码级二次开发权限

2. 资质要求：

   - 至少3个金融/央企案例（需提供合同首页+签章页） - 信创环境认证（统信UOS/麒麟软件认证） - 加密模块通过国家密码管理局检测 - 支持MySQL/Oracle/SQL Server全兼容

3. 推荐产品：

   • 泽优传输企业版（符合信创要求,提供API深度集成）
   • Aspera Enterprise（国际品牌，需评估成本）

五、实施路线图

1. POC验证阶段（2周）：

   • 在测试环境部署2个候选产品
   • 完成100G文件传输压力测试
   • 验证IE8兼容性

2. 集成开发阶段（4周）：

   • 实现与现有JSP系统的SSO集成
   • 开发自定义业务逻辑插件
   • 完成MySQL到Oracle的适配

3. 灰度发布阶段（2周）：

   • 选择3个典型项目进行试点
   • 监控服务器资源使用情况
   • 收集用户反馈优化体验

本方案通过分层架构设计、混合加密机制和渐进式传输技术，可满足公司对大文件传输的所有核心需求，同时控制长期使用成本。建议优先联系up6和泽优厂商获取详细技术白皮书和测试版本进行验证。

导入项目

导入到Eclipse：点南查看教程
导入到IDEA：点击查看教程
springboot统一配置：点击查看教程

工程

NOSQL

NOSQL示例不需要任何配置，可以直接访问测试

创建数据表

选择对应的数据表脚本，这里以SQL为例

修改数据库连接信息

访问页面进行测试

文件存储路径

up6/upload/年/月/日/guid/filename

效果预览

文件上传

文件刷新续传

支持离线保存文件进度，在关闭浏览器，刷新浏览器后进行不丢失，仍然能够继续上传

文件夹上传

支持上传文件夹并保留层级结构，同样支持进度信息离线保存，刷新页面，关闭页面，重启系统不丢失上传进度。

批量下载

支持文件批量下载

下载续传

文件下载支持离线保存进度信息，刷新页面，关闭页面，重启系统均不会丢失进度信息。

文件夹下载

支持下载文件夹，并保留层级结构，不打包，不占用服务器资源。

下载示例

点击下载完整示例