當(dāng)前位置:首頁 > 公眾號精選 > 架構(gòu)師社區(qū)
[導(dǎo)讀]相信有經(jīng)驗的同學(xué)都清楚,當(dāng)db的讀寫量過高時,我們會備份一份或多份的從庫用于做數(shù)據(jù)的讀取,然后主庫就主要承擔(dān)寫入的功能。

目錄

  • 前言

  • 環(huán)境部署

  • 開始項目

    • 目錄結(jié)構(gòu)

    • 建表

    • 主從數(shù)據(jù)源配置

    • 設(shè)置路由

    • 數(shù)據(jù)源的注解

    • aop切換數(shù)據(jù)源

  • 最后

前言

相信有經(jīng)驗的同學(xué)都清楚,當(dāng)db的讀寫量過高時,我們會備份一份或多份的從庫用于做數(shù)據(jù)的讀取,然后主庫就主要承擔(dān)寫入的功能(也有讀取需要,但壓力不大),當(dāng)db分好主從庫后,我們還需要在項目實現(xiàn)自動連接主從庫,達(dá)到讀寫分離的效果。實現(xiàn)讀寫分離并不困難,只要在數(shù)據(jù)庫連接池手動控制好對應(yīng)的db服務(wù)地址即可,但那樣就會侵入業(yè)務(wù)代碼,而且一個項目操作數(shù)據(jù)庫的地方可能很多,如果都手動控制的話無疑會是很大的工作量,對此,我們有必要改造出一套方便的工具。

以Java語言來說,如今大部分的項目都是基于Spring Boot框架來搭建項目架構(gòu)的,結(jié)合Spring本身自帶的AOP工具,我們可以很容易就構(gòu)建能實現(xiàn)讀寫分離效果的注解類,用注解的話可以達(dá)到對業(yè)務(wù)代碼無入侵的效果,而且使用上也比較方便。

下面就簡單帶大家寫個demo。

環(huán)境部署

數(shù)據(jù)庫:MySql

庫數(shù)量:2個,一主一從

關(guān)于mysql的主從環(huán)境部署網(wǎng)上有很多文章可以參考,這里不做介紹了。

開始項目

首先,毫無疑問,先開始搭建一個SpringBoot工程,然后在pom文件中引入如下依賴:

com.alibabadruid-spring-boot-starter1.1.10org.mybatis.spring.bootmybatis-spring-boot-starter1.3.2tk.mybatismapper-spring-boot-starter2.1.5mysqlmysql-connector-java8.0.16 org.springframework.bootspring-boot-starter-jdbcprovidedorg.springframework.bootspring-boot-starter-aopprovided org.springframework.bootspring-boot-starter-weborg.projectlomboklomboktruecom.alibabafastjson1.2.4org.springframework.bootspring-boot-starter-testtestorg.springframework.bootspring-boot-starter-data-jpa

目錄結(jié)構(gòu)

引入基本的依賴后,整理一下目錄結(jié)構(gòu),完成后的項目骨架大致如下:讀寫分離原來這么簡單,一個小注解就夠了

建表

創(chuàng)建一張表user,在主庫執(zhí)行sql語句同時在從庫生成對應(yīng)的表數(shù)據(jù)

DROP TABLE IF EXISTS `user`;
CREATE TABLE `user` (
  `user_id` bigint(20) NOT NULL COMMENT '用戶id',
  `user_name` varchar(255) DEFAULT '' COMMENT '用戶名稱',
  `user_phone` varchar(50) DEFAULT '' COMMENT '用戶手機(jī)',
  `address` varchar(255) DEFAULT '' COMMENT '住址',
  `weight` int(3) NOT NULL DEFAULT '1' COMMENT '權(quán)重,大者優(yōu)先',
  `created_at` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '創(chuàng)建時間',
  `updated_at` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新時間',
  PRIMARY KEY (`user_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

INSERT INTO `user` VALUES ('1196978513958141952', '測試1', '18826334748', '廣州市海珠區(qū)', '1', '2019-11-20 10:28:51', '2019-11-22 14:28:26');
INSERT INTO `user` VALUES ('1196978513958141953', '測試2', '18826274230', '廣州市天河區(qū)', '2', '2019-11-20 10:29:37', '2019-11-22 14:28:14');
INSERT INTO `user` VALUES ('1196978513958141954', '測試3', '18826273900', '廣州市天河區(qū)', '1', '2019-11-20 10:30:19', '2019-11-22 14:28:30');

主從數(shù)據(jù)源配置

application.yml,主要信息是主從庫的數(shù)據(jù)源配置

server:
  port: 8001
spring:
  jackson:
   date-format: yyyy-MM-dd HH:mm:ss
   time-zone: GMT+8
  datasource: type: com.alibaba.druid.pool.DruidDataSource
    driver-class-name: com.mysql.cj.jdbc.Driver
    master:
      url: jdbc:mysql://127.0.0.1:3307/user?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&failOverReadOnly=false&useSSL=false&zeroDateTimeBehavior=convertToNull&allowMultiQueries=true username: root
      password:
    slave:
      url: jdbc:mysql://127.0.0.1:3308/user?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&failOverReadOnly=false&useSSL=false&zeroDateTimeBehavior=convertToNull&allowMultiQueries=true username: root
      password:

因為有一主一從兩個數(shù)據(jù)源,我們用枚舉類來代替,方便我們使用時能對應(yīng)

@Getter
public enum DynamicDataSourceEnum {
    MASTER("master"),
    SLAVE("slave");
    private String dataSourceName;
    DynamicDataSourceEnum(String dataSourceName) {
        this.dataSourceName = dataSourceName;
    }
}

數(shù)據(jù)源配置信息類 DataSourceConfig,這里配置了兩個數(shù)據(jù)源,masterDb和slaveDb

@Configuration
@MapperScan(basePackages = "com.xjt.proxy.mapper", sqlSessionTemplateRef = "sqlTemplate")
public class DataSourceConfig {
    
     // 主庫
      @Bean
      @ConfigurationProperties(prefix = "spring.datasource.master")
      public DataSource masterDb() { return DruidDataSourceBuilder.create().build();
      }

    /**
     * 從庫
     */
    @Bean
    @ConditionalOnProperty(prefix = "spring.datasource", name = "slave", matchIfMissing = true)
    @ConfigurationProperties(prefix = "spring.datasource.slave")
    public DataSource slaveDb() { return DruidDataSourceBuilder.create().build();
    }

    /**
     * 主從動態(tài)配置
     */
    @Bean
    public DynamicDataSource dynamicDb(@Qualifier("masterDb") DataSource masterDataSource,
        @Autowired(required = false) @Qualifier("slaveDb") DataSource slaveDataSource) {
        DynamicDataSource dynamicDataSource = new DynamicDataSource();
        Map targetDataSources = new HashMap<>();
        targetDataSources.put(DynamicDataSourceEnum.MASTER.getDataSourceName(), masterDataSource); if (slaveDataSource != null) {
            targetDataSources.put(DynamicDataSourceEnum.SLAVE.getDataSourceName(), slaveDataSource);
        }
        dynamicDataSource.setTargetDataSources(targetDataSources);
        dynamicDataSource.setDefaultTargetDataSource(masterDataSource); return dynamicDataSource;
    }
    @Bean
    public SqlSessionFactory sessionFactory(@Qualifier("dynamicDb") DataSource dynamicDataSource) throws Exception {
        SqlSessionFactoryBean bean = new SqlSessionFactoryBean();
        bean.setMapperLocations(
            new PathMatchingResourcePatternResolver().getResources("classpath*:mapper/*Mapper.xml"));
        bean.setDataSource(dynamicDataSource); return bean.getObject();
    }
    @Bean
    public SqlSessionTemplate sqlTemplate(@Qualifier("sessionFactory") SqlSessionFactory sqlSessionFactory) { return new SqlSessionTemplate(sqlSessionFactory);
    }
    @Bean(name = "dataSourceTx")
    public DataSourceTransactionManager dataSourceTx(@Qualifier("dynamicDb") DataSource dynamicDataSource) {
        DataSourceTransactionManager dataSourceTransactionManager = new DataSourceTransactionManager();
        dataSourceTransactionManager.setDataSource(dynamicDataSource); return dataSourceTransactionManager;
    }
}

設(shè)置路由

設(shè)置路由的目的為了方便查找對應(yīng)的數(shù)據(jù)源,我們可以用ThreadLocal保存數(shù)據(jù)源的信息到每個線程中,方便我們需要時獲取

public class DataSourceContextHolder {
    private static final ThreadLocalDYNAMIC_DATASOURCE_CONTEXT = new ThreadLocal<>();
    public static void set(String datasourceType) {
        DYNAMIC_DATASOURCE_CONTEXT.set(datasourceType);
    }
    public static String get() { return DYNAMIC_DATASOURCE_CONTEXT.get();
    }
    public static void clear() {
        DYNAMIC_DATASOURCE_CONTEXT.remove();
    }
}

獲取路由

public class DynamicDataSource extends AbstractRoutingDataSource {
    @Override
    protected Object determineCurrentLookupKey() { return DataSourceContextHolder.get();
    }
}

AbstractRoutingDataSource的作用是基于查找key路由到對應(yīng)的數(shù)據(jù)源,它內(nèi)部維護(hù)了一組目標(biāo)數(shù)據(jù)源,并且做了路由key與目標(biāo)數(shù)據(jù)源之間的映射,提供基于key查找數(shù)據(jù)源的方法。

數(shù)據(jù)源的注解

為了可以方便切換數(shù)據(jù)源,我們可以寫一個注解,注解中包含數(shù)據(jù)源對應(yīng)的枚舉值,默認(rèn)是主庫,

@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.METHOD)
@Documented
public @interface DataSourceSelector {

    DynamicDataSourceEnum value() default DynamicDataSourceEnum.MASTER;
    boolean clear() default true;
}

aop切換數(shù)據(jù)源

到這里,aop終于可以現(xiàn)身出場了,這里我們定義一個aop類,對有注解的方法做切換數(shù)據(jù)源的操作,具體代碼如下:

@Slf4j
@Aspect
@Order(value = 1)
@Component
public class DataSourceContextAop {

 @Around("@annotation(com.xjt.proxy.dynamicdatasource.DataSourceSelector)")
    public Object setDynamicDataSource(ProceedingJoinPoint pjp) throws Throwable {
        boolean clear = true;
        try {
            Method method = this.getMethod(pjp);
            DataSourceSelector dataSourceImport = method.getAnnotation(DataSourceSelector.class);
            clear = dataSourceImport.clear();
            DataSourceContextHolder.set(dataSourceImport.value().getDataSourceName());
            log.info("========數(shù)據(jù)源切換至:{}", dataSourceImport.value().getDataSourceName()); return pjp.proceed();
        } finally { if (clear) {
                DataSourceContextHolder.clear();
            }

        }
    }
    private Method getMethod(JoinPoint pjp) {
        MethodSignature signature = (MethodSignature)pjp.getSignature(); return signature.getMethod();
    }

}

到這一步,我們的準(zhǔn)備配置工作就完成了,下面開始測試效果。

先寫好Service文件,包含讀取和更新兩個方法,

@Service
public class UserService {

    @Autowired
    private UserMapper userMapper;

    @DataSourceSelector(value = DynamicDataSourceEnum.MASTER)
    public int update(Long userId) {
        User user = new User();
        user.setUserId(userId);
        user.setUserName("老薛"); return userMapper.updateByPrimaryKeySelective(user);
    }

    @DataSourceSelector(value = DynamicDataSourceEnum.SLAVE)
    public User find(Long userId) {
        User user = new User();
        user.setUserId(userId); return userMapper.selectByPrimaryKey(user);
    }
}

根據(jù)方法上的注解可以看出,讀的方法走從庫,更新的方法走主庫,更新的對象是userId為1196978513958141952的數(shù)據(jù),

然后我們寫個測試類測試下是否能達(dá)到效果,

@RunWith(SpringRunner.class)
@SpringBootTest
class UserServiceTest {

    @Autowired
    UserService userService;

    @Test
    void find() {
        User user = userService.find(1196978513958141952L);
        System.out.println("id:" + user.getUserId());
        System.out.println("name:" + user.getUserName());
        System.out.println("phone:" + user.getUserPhone());
    }

    @Test
    void update() {
        Long userId = 1196978513958141952L;
        userService.update(userId);
        User user = userService.find(userId);
        System.out.println(user.getUserName());
    }

}

測試結(jié)果:

1、讀取方法 讀寫分離原來這么簡單,一個小注解就夠了2、更新方法

讀寫分離原來這么簡單,一個小注解就夠了執(zhí)行之后,比對數(shù)據(jù)庫就可以發(fā)現(xiàn)主從庫都修改了數(shù)據(jù),說明我們的讀寫分離是成功的。當(dāng)然,更新方法可以指向從庫,這樣一來就只會修改到從庫的數(shù)據(jù),而不會涉及到主庫。

最后

哈哈,開個玩笑。

上面測試的例子雖然比較簡單,但也符合常規(guī)的讀寫分離配置。值得說明的是,讀寫分離的作用是為了緩解寫庫,也就是主庫的壓力,但一定要基于數(shù)據(jù)一致性的原則,就是保證主從庫之間的數(shù)據(jù)一定要一致。如果一個方法涉及到寫的邏輯,那么該方法里所有的數(shù)據(jù)庫操作都要走主庫。

假設(shè)寫的操作執(zhí)行完后數(shù)據(jù)有可能還沒同步到從庫,然后讀的操作也開始執(zhí)行了,如果這個讀取的程序走的依然是從庫的話,那么就會出現(xiàn)數(shù)據(jù)不一致的現(xiàn)象了,這是我們不允許的。

發(fā)一下項目的github地址,有興趣的同學(xué)可以看下,記得給個star哦



	

免責(zé)聲明:本文內(nèi)容由21ic獲得授權(quán)后發(fā)布,版權(quán)歸原作者所有,本平臺僅提供信息存儲服務(wù)。文章僅代表作者個人觀點,不代表本平臺立場,如有問題,請聯(lián)系我們,謝謝!

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫毥谦F公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險,如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點: 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運(yùn)營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團(tuán))股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉