贛州章貢區(qū)房價google優(yōu)化排名
目錄
一. 現(xiàn)狀·問題
二. 分析原因
三. 采取措施
四. 實踐步驟
五. 效能提升
資料獲取方法
一. 現(xiàn)狀·問題
針對現(xiàn)如今高并發(fā)場景的業(yè)務(wù)系統(tǒng),“并發(fā)問題” 終歸是必不可少的一類(占比接近10%),每次出現(xiàn)問題和事故后,需要耗費大量人力成本排查分析并修復。那如果能在事前盡可能避免豈不是很香?
二. 分析原因
- 當前并發(fā)測試多數(shù)依賴測試人員進行腳本測試,同時還依賴了研發(fā)和產(chǎn)品識別出并發(fā)操作的場景用例。
- 對于并發(fā)測試,大概兩條路子:
- 所有修改同樣數(shù)據(jù)的命令式接口都測一遍?【耗費巨大測試成本】
- 保證黃金流程的接口,研發(fā)從頭扒代碼?!究赡軙z漏,耗費一定研發(fā)成本】
🤔自我反思
- 作為研發(fā),是不是在剛開發(fā)接口時候,識別到并發(fā)場景隨著單元測試階段同時進行并發(fā)測試,這樣的成本是最小的,收益是最高效的!
三. 采取措施
并發(fā)測試前置
采用CI持續(xù)集成機制,依靠行云流水線,底層利用junit5單元測試框架并發(fā)parallel引擎,嵌入同步數(shù)據(jù)庫的自定義unit test腳本,將每個并發(fā)case維護成單元測試,數(shù)據(jù)自我閉環(huán),可重復執(zhí)行!
將核心的并發(fā)場景進行及時的運行驗證,最早洞察,最早驗證,最小成本,最大保障!
四. 實踐步驟
前提:配置junit-platform.properties
# src/test/resources/junit-platform.properties
junit.jupiter.execution.parallel.enabled=true
junit.jupiter.execution.parallel.config.strategy=fixed
junit.jupiter.execution.parallel.config.fixed.parallelism=20
單接口并發(fā)-@RepeatedTest
- ManualCheckAppConcurrentTest 出庫復核并發(fā)測試「單接口并發(fā)」-> 手動復核 10個線程
👉 核心代碼塊
public class ManualCheckAppConcurrentTest extends ConcurrentTest {@ResourceManualCheckAppService manualCheckAppService;//記錄執(zhí)行成功的線程數(shù)static int successThreadCount = 0;///// 單接口并發(fā)///@DisplayName("(單接口并發(fā))并發(fā)測試【手動確認復核】")@Description("(10個線程)場景:復核1件,一共5件,應(yīng)該有5個線程成功,5個線程失敗:沒有查詢到容器明細記錄" +"使用友好式分布式鎖防止并發(fā),并發(fā)后等待重試,保證順序執(zhí)行無異常!")@Execution(CONCURRENT)@RepeatedTest(value = 10, name = "{displayName}:{totalRepetitions}-{currentRepetition}")public void testConfirmChecked(TestInfo testInfo) {manualCheckAppService.confirmChecked(mockConfirmCheckedDto());successThreadCount++;}/*** 斷言最終結(jié)果:數(shù)據(jù)無問題,線程執(zhí)行無問題*/@AfterAllpublic static void assertResult() {//線程執(zhí)行成功數(shù)期望:一共5件,每個線程復核1件,共有5個線程成功Assertions.assertEquals(5, successThreadCount);//數(shù)據(jù)成功期望:沒有待復核的容器明細了,因為都復核成功了,一共5件ConfirmCheckedDto confirmCheckedDto = mockConfirmCheckedDto();List<ContainerDetailPo> containerDetailPos = SpringUtil.getBean(ContainerDetailDao.class).selectUncheckDetailsBySoAndSku(confirmCheckedDto.getTaskNo(), confirmCheckedDto.getShipmentOrderNo(), confirmCheckedDto.getSku(), confirmCheckedDto.getWarehouseNo());Assertions.assertTrue(CollectionUtils.isEmpty(containerDetailPos));}@Test@Sql({"/concurrent/manualCheck.sql"})@Overridevoid prepareData()
多場景并發(fā)-@Execution(CONCURRENT)
- CheckAppConcurrentTest 出庫復核并發(fā)測試「多場景并發(fā)」-> 手動復核|自動復核
👉 核心代碼塊
public class CheckAppConcurrentTest extends ConcurrentTest {@ResourceManualCheckAppService manualCheckAppService;@ResourceAutoCheckAppService autoCheckAppService;///// 多場景并發(fā)///@DisplayName("(多場景并發(fā))并發(fā)測試【自動確認復核】")@Description("與手動復核發(fā)生并發(fā)場景,期望可能存在業(yè)務(wù)異常(自定義鎖沖突發(fā)生的消息)")@Execution(CONCURRENT)@Testpublic void testAutoCheckBySo() {autoCheckAppService.autoCheckBySo(Lists.newArrayList("SO-6_6_601-1492066800186167296"), mockAutoCheckBySoDto());}@DisplayName("(多場景并發(fā))并發(fā)測試【手動確認復核】")@Description("與自動復核發(fā)生并發(fā)場景,期望可能存在業(yè)務(wù)異常(自定義鎖沖突發(fā)生的消息)")@Execution(CONCURRENT)@Testpublic void testConfirmChecked() {manualCheckAppService.confirmChecked(mockConfirmCheckedDto());}/*** 斷言最終結(jié)果:數(shù)據(jù)無問題*/@AfterAllpublic static void assertResult() {//數(shù)據(jù)成功期望:沒有待復核的容器明細了,無論是手動復核還是自動復核,都會全部復核完ConfirmCheckedDto confirmCheckedDto = mockConfirmCheckedDto();List<ContainerDetailPo> containerDetailPos = SpringUtil.getBean(ContainerDetailDao.class).selectUncheckDetailsBySoAndSku(confirmCheckedDto.getTaskNo(), confirmCheckedDto.getShipmentOrderNo(), confirmCheckedDto.getSku(), confirmCheckedDto.getWarehouseNo());Assertions.assertTrue(CollectionUtils.isEmpty(containerDetailPos));}@Test@Sql({"/concurrent/manualCheck.sql"})@Overridevoid prepareData() {}
并發(fā)單測基類-@Transactional
ConcurrentTest?建議抽出并發(fā)測試基類(主要目的:準備數(shù)據(jù)、設(shè)置路由、數(shù)據(jù)清除、獨立執(zhí)行)
@Tag("parallel")分組: 并發(fā)測試用例,有助于單獨執(zhí)行套件! ?
👉 核心代碼塊
@SpringBootTest(classes = WebApplication.class)
@Tag("parallel")
public abstract class ConcurrentTest {/*** 并發(fā)測試場景的前提數(shù)據(jù)準備* { @Sql 數(shù)據(jù)腳本配置 }*/@Transactional@Order(0)@Rollback(false)abstract void prepareData();/*** 設(shè)置當前線程數(shù)據(jù)源*/@BeforeTransactionpublic void setThreadDataSource() {DataSourceContextHolder.clearDataSourceKey();//多數(shù)據(jù)源,分庫分表DataSourceContextHolder.setDataSource("ds0");}/*** 清除數(shù)據(jù)*/@Rollback(false)@AfterAllpublic static void clearData(){new DatabaseSyncTest().execute("wms_check","wms_check_test");}
數(shù)據(jù)準備-@Sql
如何準備數(shù)據(jù)?
=> 新建一個專門單元測試/并發(fā)測試的空數(shù)據(jù)庫
準備測試場景的前置數(shù)據(jù)SQL腳本
👉 源腳本
DELETE FROM ck_task;
INSERT INTO ck_task (id, task_no, sku_qty, total_qty, platform_no, status, warehouse_no, create_user,update_user, create_time, update_time, ts, deleted, suggest_platform, uuid,parent_task_no, pick_differ_allow, operation_type, picking_flag, task_type,ext_info,subtask_qty, tenant_code, current_stream_no, confluence, batch_no, requirements)
VALUES (1492071049884340224, 'T6X6X60122021100000329', 1.0000, 5.0000, '', 0, '6_6_601', 'xiaoyan', 'xiaoyan','2022-02-11 17:45:26', '2022-02-11 17:45:26', '2022-02-11 17:45:26', 0, '', 'zyr1228003', '', 0, 0, 0, 0, null,null, 'TC30020150', 0, 1, 'cj006001', '{"allowBatchCheck": true}');
數(shù)據(jù)回滾-@ParameterizedTest
CI自動同步數(shù)據(jù)庫表結(jié)構(gòu):?測試環(huán)境數(shù)據(jù)庫->單測數(shù)據(jù)庫
利好:(研發(fā)無需被動維護schema,自動與真實數(shù)據(jù)庫結(jié)構(gòu)同步)
只需要將下面單測copy到代碼中,將fromDb和toDb參數(shù)修改成自己數(shù)據(jù)庫即可!
👉 源代碼
@DisplayName("單元測試MYSQL-DB結(jié)構(gòu)同步")@SneakyThrows@ParameterizedTest@CsvSource("wms_check,wms_check_test")public void execute(String fromDb, String toDb) {ResultSet resultSet = null;Class.forName("com.mysql.jdbc.Driver");try (Connection connection = DriverManager.getConnection("***","user", "***");Statement statement = connection.createStatement()) {String initDb = "DROP DATABASE IF EXISTS " + toDb + ";CREATE DATABASE " + toDb + ";";log.info(initDb);statement.executeUpdate(initDb);resultSet = statement.executeQuery("SHOW TABLES FROM " + fromDb + ";");List<String> tableNames = Lists.newArrayList();while (resultSet.next()) {tableNames.add(resultSet.getString("Tables_in_" + fromDb));}for (String tableName : tableNames) {String syncSql = "DROP TABLE IF EXISTS " + toDb + "." + tableName + ";" +"CREATE TABLE " + toDb + "." + tableName + " LIKE " + fromDb + "." + tableName + ";";log.info(syncSql);statement.executeUpdate(syncSql);}} finally {if(resultSet != null){resultSet.close();}}}
配置CI-@行云流水線
建議在提測流水線增加,不要再日常dev流水線(集成測試相對耗時)
只執(zhí)行并發(fā)單測用例-Dtest.mode 基于junit5 @Tag
JUnit 5 User Guide
mvn test -Dtest.mode=parallel
配置IDEA-本地測試
—— 只運行并發(fā)測試用例
執(zhí)行結(jié)果
單接口并發(fā)單測
多場景并發(fā)單測
五. 效能提升
5.1需求交付效率提升
5.1.1降低測試周期階段時長
2022-02月實踐后
因為「并發(fā)測試」前置到「研發(fā)單元測試」環(huán)節(jié),所以「測試階段」時長縮短 (2.5 天 -> 1 天)
2022-Q1
2022-Q2
2022-Q3
2022-Q4
「測試周期」階段停留時長和占比,呈下降趨勢!
5.1.2縮短需求交付全周期
2022-02月實踐后
因為「測試周期」縮短,研發(fā)單元測試成本幾乎不變,所以「需求交付全周期」隨之縮短(55 天 -> 35 天)!
5.2人效提升
5.2.1提升驗證全面性
「case by case」 ,通過單元測試「斷言機制」,最細粒度全方位驗證!
在【開發(fā)階段】識別到接口存在并發(fā)問題,及時編寫單元測試進行驗證,針對分布式鎖和樂觀鎖等常用防并發(fā)手段,對應(yīng)不同的assert方式:
- 數(shù)據(jù)庫樂觀鎖:通過判斷最終數(shù)據(jù)保證執(zhí)行無問題
- 分布式友好鎖:不會報錯,會等待,最終所有請求處理成功
- 分布式?jīng)_突鎖:直接報錯,斷言異常信息
- ......
5.2.2降低測試人力成本
減少花大量時間專項測試N個接口并發(fā)測試成本,「最早發(fā)現(xiàn),最早處理,最小成本」!
根據(jù)下圖可見,從編碼階段、單元測試階段、接口測試階段、集成測試階段、預發(fā)布階段等軟件生命周期中,越早發(fā)現(xiàn)問題,付出成本越小。
5.2.3提升需求吞吐量
2022-02月實踐后
因為減少人力成本,所以會直接提升需求的吞吐量(200個 -> 225個)!
5.3過程質(zhì)量提升
5.3.1降低問題的發(fā)生概率
「并發(fā)測試前置」 到研發(fā)單元測試環(huán)節(jié),可減少缺陷數(shù),降低問題發(fā)生概率!
5.3.2減少線上問題數(shù)
👉 今年線上問題-并發(fā)問題 類別為 0
5.3.2減少Bug數(shù)
👉過程質(zhì)量中并發(fā)問題趨勢逐步降低
資料獲取方法
【留言777】
各位想獲取源碼等教程資料的朋友請點贊 + 評論 + 收藏,三連!
三連之后我會在評論區(qū)挨個私信發(fā)給你們~