news 2026/4/23 0:57:11

一套万能通用的异步处理方案

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
一套万能通用的异步处理方案

前言

良好的系统设计必须要做到开闭原则,随着业务的不断迭代更新,核心代码也会被不断改动,出错的概率也会大大增加。但是大部分增加的功能都是在扩展原有的功能,既要保证性能又要保证质量,我们往往都会使用异步线程池来处理,然而却增加了很多不确定性因素。由此我设计了一套通用的异步处理 SDK,可以很轻松的实现各种异步处理!

目的

通过异步处理不仅能够保证方法能够得到有效的执行而且不影响主流程

更重要的是各种兜底方法保证数据不丢失,从而达到最终一致性

优点

无侵入设计,独立数据库,独立定时任务,独立消息队列,独立人工执行界面(统一登录认证)

使用 spring 事务事件机制,即使异步策略解析失败也不会影响业务

如果你的方法正在运行事务,会等事务提交后或回滚后再处理事件

就算事务提交了,异步策略解析失败了,我们还有兜底方案执行(除非数据库有问题,消息队列有问题,方法有 bug)

原理

容器初始化 bean 完成后遍历所有方法,把有@AsyncExec注解的方法缓存起来

方法运行时通过 AOP 切面发布事件

事务事件监听处理异步执行策略

@TransactionalEventListener(fallbackExecution = true, phase = TransactionPhase.AFTER_COMPLETION)
  • fallbackExecution=true没有事务正在运行,依然处理事件

  • TransactionPhase.AFTER_COMPLETION事务提交后和事务回滚后都处理事件

组件

  • kafka 消息队列

  • xxl job 定时任务

  • mysql 数据库

  • spring 切面

  • vue 界面

设计模式

  • 策略

  • 模板方法

  • 动态代理

流程图

数据库脚本

CREATETABLE`async_scene` ( `id`bigintNOTNULL AUTO_INCREMENT COMMENT'主键ID', `application_name`varchar(100) NOTNULLDEFAULT''COMMENT'应用名称', `method_sign`varchar(50) NOTNULLDEFAULT''COMMENT'方法签名', `scene_name`varchar(200) NOTNULLDEFAULT''COMMENT'业务场景描述', `async_type`varchar(50) NOTNULLDEFAULT''COMMENT'异步策略类型', `queue_name`varchar(200) NOTNULLDEFAULT''COMMENT'队列名称', `theme_value`varchar(100) NOTNULLDEFAULT''COMMENT'消费主题', `exec_count`intNOTNULLDEFAULT'0'COMMENT'失败重试次数', `exec_deleted`intNOTNULLDEFAULT'0'COMMENT'执行后是否删除', `async_version`varchar(50) NOTNULLDEFAULT''COMMENT'组件版本号', `create_time` datetime NOTNULLDEFAULTCURRENT_TIMESTAMPCOMMENT'创建时间', `update_time` datetime NOTNULLDEFAULTCURRENT_TIMESTAMPCOMMENT'更新时间', `cdc_crt_time` datetime NOTNULLDEFAULTCURRENT_TIMESTAMPCOMMENT'记录新增时间', `cdc_upd_time` datetime NOTNULLDEFAULTCURRENT_TIMESTAMPONUPDATECURRENT_TIMESTAMPCOMMENT'记录修改时间', PRIMARY KEY (`id`) USING BTREE, UNIQUEKEY`uk_application_sign` (`application_name`,`method_sign`) USING BTREE, KEY`idx_cdc_upd_time` (`cdc_upd_time`) ) ENGINE=InnoDBCOMMENT='异步场景表'; CREATETABLE`async_req` ( `id`bigintNOTNULL AUTO_INCREMENT COMMENT'主键ID', `application_name`varchar(100) NOTNULLDEFAULT''COMMENT'应用名称', `sign`varchar(50) NOTNULLDEFAULT''COMMENT'方法签名', `class_name`varchar(200) NOTNULLDEFAULT''COMMENT'全路径类名称', `method_name`varchar(100) NOTNULLDEFAULT''COMMENT'方法名称', `async_type`varchar(50) NOTNULLDEFAULT''COMMENT'异步策略类型', `exec_status`tinyintNOTNULLDEFAULT'0'COMMENT'执行状态 0:初始化 1:执行失败 2:执行成功', `exec_count`intNOTNULLDEFAULT'0'COMMENT'执行次数', `param_json` longtext COMMENT'请求参数', `remark`varchar(200) NOTNULLDEFAULT''COMMENT'业务描述', `create_time` datetime NOTNULLDEFAULTCURRENT_TIMESTAMPCOMMENT'创建时间', `update_time` datetime NOTNULLDEFAULTCURRENT_TIMESTAMPCOMMENT'更新时间', PRIMARY KEY (`id`) USING BTREE, KEY`idx_applocation_name` (`application_name`) USING BTREE, KEY`idx_exec_status` (`exec_status`) USING BTREE ) ENGINE=InnoDBDEFAULTCHARSET=utf8mb4 COMMENT='异步处理请求'; CREATETABLE`async_log` ( `id`bigintNOTNULL AUTO_INCREMENT COMMENT'主键ID', `async_id`bigintNOTNULLDEFAULT'0'COMMENT'异步请求ID', `error_data` longtext COMMENT'执行错误信息', `create_time` datetime NOTNULLDEFAULTCURRENT_TIMESTAMPCOMMENT'创建时间', PRIMARY KEY (`id`) USING BTREE, KEY`idx_async_id` (`async_id`) USING BTREE ) ENGINE=InnoDBDEFAULTCHARSET=utf8mb4 COMMENT='异步处理日志';

异步策略

安全级别

执行状态

流程图

apollo 配置

# 开关:默认关闭 async.enabled=true # 应用名称 spring.application.name=xxx # 数据源 druid async.datasource.driver-class-name=com.mysql.jdbc.Driver async.datasource.url=jdbc:mysql://127.0.0.1:3306/fc_async?useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&useSSL=false&allowMultiQueries=true&rewriteBatchedStatements=true async.datasource.username=user async.datasource.password=xxxx async.datasource.filters=config async.datasource.connectionProperties=config.decrypt=true;config.decrypt.key=yyy #静态地址 spring.resources.add-mappings=true spring.resources.static-locations=classpath:/static/ # 以下配置都有默认值 # 核心线程数 async.executor.thread.corePoolSize=10 # 最大线程数 async.executor.thread.maxPoolSize=50 # 队列容量 async.executor.thread.queueCapacity=10000 # 活跃时间 async.executor.thread.keepAliveSeconds=600 # 执行成功是否删除记录:默认删除 async.exec.deleted=true # 自定义队列名称前缀:默认应用名称 async.topic=${spring.application.name} # 重试执行次数:默认5次 async.exec.count=5 # 重试最大查询数量 async.retry.limit=100 # 补偿最大查询数量 async.comp.limit=100 # 登录拦截:默认false async.login=false

用法

1,异步开关
scm.async.enabled=true
2,在需要异步执行的方法加注解 (必须是spring代理方法)
@AsyncExec(type = AsyncExecEnum.SAVE_ASYNC, remark = "数据字典")
3,人工处理地址

http://localhost:8004/async/index.html

注意

1,应用名称
spring.application.name
2,队列名称
${async.topic:${spring.application.name}}_async_queue
3,自己业务要做幂等
4,一个应用公用一个队列

自产自消

5,定时任务
  • 异步重试定时任务(2分钟重试一次,可配置重试次数)

  • 异步补偿定时任务(一小时补偿一次,创建时间在一小时之前的)

效果展示

GitHub 地址

https://github.com/xiongyanokok/fc-async

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/21 20:54:11

从实验室到实战场:WEEX BUILDERS 巴黎站,AI 交易的开发者叙事正在成形

巴黎的夜,比想象中更热闹。在塞纳河畔不远的一处活动空间里,终端界面在台上同时亮起,策略回测曲线与系统日志在投影幕上不断刷新。这里不是一场常规分享会,而是 WEEX BUILDERS 全球巡回巴黎站 的现场——开发者、量化研究者与技术…

作者头像 李华
网站建设 2026/4/17 5:23:57

【C++】异常处理机制全解析

文章目录一、C 异常的底层实现机制1. 核心思想:异常表 栈展开 (Stack Unwinding)2. 零成本异常处理(GCC/Clang)3. MSVC 的 SEH 实现二、核心关键字的原理1. throw:异常触发的核心2. try:异常监控域标记3. catch&#…

作者头像 李华
网站建设 2026/4/17 22:27:21

Jimeng LoRA保姆级教程:文件夹自动扫描+safetensors识别+自然排序配置

Jimeng LoRA保姆级教程:文件夹自动扫描safetensors识别自然排序配置 1. 项目简介 今天给大家介绍一个特别实用的工具——Jimeng LoRA测试系统。如果你正在训练LoRA模型,或者需要测试不同训练阶段的模型效果,这个工具能帮你节省大量时间。 …

作者头像 李华
网站建设 2026/4/18 9:27:41

零基础玩转SDPose-Wholebody:一键部署全身姿态检测模型

零基础玩转SDPose-Wholebody:一键部署全身姿态检测模型 1. 项目概述 SDPose-Wholebody是一个基于扩散先验技术的全身姿态估计模型,能够精准检测人体133个关键点。这个模型特别适合想要快速上手人体姿态检测的初学者,因为它提供了完整的Dock…

作者头像 李华
网站建设 2026/4/22 0:45:37

通义千问轻量模型:开发者API文档检索效率提升35%

通义千问轻量模型:开发者API文档检索效率提升35% 1. 引言:开发者每天浪费在找文档上的时间 如果你是一名开发者,下面这个场景你一定不陌生:为了调用一个API,你需要先找到它的官方文档。你打开搜索引擎,输…

作者头像 李华
网站建设 2026/4/21 6:00:39

深度学习项目训练环境:快速搭建与实战应用

深度学习项目训练环境:快速搭建与实战应用 你是否经历过这样的场景:花三天配环境,调两天报错,跑一小时显存溢出,最后发现是CUDA版本和PyTorch不兼容?或者刚下载完代码,却卡在“ModuleNotFoundE…

作者头像 李华