เป็น 2020-12-01 ใช่มั้ยครับ ถ้าเราเขียน Unit test ไว้ เทสนี้ก็น่าจะผ่านได้ง่ายๆ ปกติไม่มีอะไร

เรื่องมันมีอยู่ว่า ถ้าสมมติวันนี้เป็นวันที่ 31 ธันวาคม 2021 แล้วโค้ดชุดนี้เอาไว้บอกว่าควรจะจ่ายเงินเดือนเราตอนวันที่เท่าไร ลองทายดูมั้ยครับว่าจะเกิดอะไรขึ้น

รู้จักกับ DateTimeFormatter กันก่อน

ผมสังเกตุเห็น อย่างน้อยก็ใน Codebase ที่ผมทำงานด้วยอยู่ว่า Java Developer ส่วนใหญ่จะยังคุ้นเคยกับ Date API ที่มีมาตั้งแต่ Java 1.0 หน้าตาประมาณโค้ดข้างล่างครับ

ซึ่ง จะเห็นได้ว่า Date API ตัวเก่าของ Java นั้นมีปัญหาเยอะมาก อย่างเช่นการที่จะปั้นเวลาซักอย่างก็เริ่มที่ปี 1900 แล้วบวกไปเอาหรือเดือนที่เริ่มที่ index ที่ 0 ซึ่งไม่ใช่ว่าทางทีมพัฒนา Java จะไม่พยายามแก้ปัญหานี้นะครับ ความพยายามแรกคือ Calendar class ที่ออกมาใน Java 1.1 แต่ก็ยังมีปัญหาหลายๆ อย่างอยู่ จน Java Developer หลายคนเลือกที่จะไปใช้ 3rd Party Library อย่าง Joda-Time แทน ซึ่งหลังจาก Oracle ได้ยึด Java ไปก็เลยเกิด Date/Time API ตัวใหม่ขึ้นมาใน Java 8 ซึ่งมีพื้นฐานหลายๆ อย่างมาจาก Joda-Time ครับ

ซึ่งใน API ตัวใหม่นอกจาก LocalDate, LocalTime ฯลฯ ตัว API ยังมาพร้อมกับ Formatter กับ Parser ตัวใหม่ด้วยครับชื่อว่า DateTimeFormatter ซึ่งช่วยให้เรา Parse เวลาเข้ามาได้ง่ายขึ้นพร้อมกับ constants อีกจำนวนนึงที่ช่วยให้เราประหยัดเวลาในการปั้น Date format ไปได้เยอะเลย แถมยัง Thread-safe ด้วยนะ

Pattern letters and Symbols for Formatting and Parsing

เวลาที่เรา Format Date/Time เนี่ย pattern ส่วนใหญ่ที่เราต้องทำคงหนีไม่พ้น yyyy-MM-dd ดูเผินๆ มันก็ตรงตัวใช่มั้ยครับ อาจจะมีแค่ M เดือน (Month-of-year) ที่ต้องเปลี่ยนไปใช้ M ใหญ่ เพราะมันดันไปพ้องกับอีก m นึงในหน่วยเวลาคือ นาที (minute-of-hour)

ซึ่งพวกเราน่าจะคุ้นเคยกับ pattern พวกนี้ดีอยู่แล้วใช่มั้ยครับ แล้วผมจะเขียนบล็อกนี้มาทำไมนะ ผมถามอีกทีว่า พวกเราน่าจะคุ้นเคยกับ pattern พวกนี้ดีอยู่แล้วใช่มั้ยครับ?

พอดีวันนี้ ในขณะที่ผมไต่ไปตาม codebase ที่ผมดูแลอยู่ผมไปสะดุดกับ pattern หน้าตาแบบภาพบนสุดเลยครับคือ YYYY-MM-dd ซึ่ง ถ้ามองผ่านๆ ผมก็อาจจะไม่คิดอะไร แต่ผมดันไปเอะใจว่า ผมเคยเห็นแต่ yyyy-MM-dd นี่นา แล้ว YYYY กับ yyyy มันต่างกันยังไงนะ

เรื่องของปี (ต่างๆ)

ถ้าเทียบจากตาราง Pattern Letters and Symbols ในหัวข้อที่แล้ว เราจะเจอว่า y เนี่ยมันคือ year-of-era ส่วน Y มันเป็น week-based-year ซึ่งในส่วนของ Presentation ก็มีความหมายว่า year เหมือนกัน และถ้ามองดูดีๆ จะเห็นว่าเรามี u ด้วยซึ่งมีความหมายว่า year เหมือนกัน

ส่วนที่ยิ่งประหลาดไปอีกคือ Example ครับ จะเห็นว่า u กับ y เนี่ยเหมือนกันเลยคือ 2004; 04 แต่ว่า Y เนี่ยดันเป็น 1996; 96 อะไรของ Java วะคับ อะไรคือ year-of-era อะไรคือ week-based-year แล้วมันต่างจากปีที่เรารู้จักกันยังไง ผมจะสรุปสั้นๆ ให้ฟัง

Year-of-era (y เล็ก หรือ u)

ตัวเนี่ยไม่มีอะไรซับซ้อนเลยครับ มันคือปีอย่างที่เรารู้จักกันนี่แหละ หรือถ้าทางเทคนิคหน่อยคือปีในทาง Gregorian calendar ที่เราใช้กันอยู่เป็นปกติหรือ ค.ศ. นั่นเองครับ ถ้าเทียบกับปีปัจจุบันคือ 2021

Week-based-year (Y ใหญ่)

ตัวนี้แหละที่เป็นสาเหตุให้ผมต้องเขียนบล็อกนี้ขึ้นมา Week-based-year คือการนับปีตามสัปดาห์ครับ ซึ่งเราก็น่าจะเอะต่อว่า แล้วสัปดาห์นี่มันเริ่มนับยังไงนะ บางปฏิทินก็นับวันอาทิตย์ บางก็นับวันจันทร์ ในส่วนของ Java นี้นับปฏิทินเริ่มที่วันจันทร์ครับตามมาตรฐาน ISO 8601

ถ้ายังงงอยู่ งั้นลองดูตัวอย่างนี้นะครับ (จริงๆ App Calendar ของ Apple นี่มันก็แอบสปอยอยู่นะ) ถ้าเราใช้ YYYY (Week-based-year) ตอนเรา Format date ในวันที่ 31 ธันวาคม 2021 แทนที่มันจะออกมาเป็น 2021-12-31 สิ่งที่คืนกลับมาจาก DateFormatter จะกลายเป็น 2022-12-31 ครับ เพราะว่าในสัปดาห์นี้ตั้งแต่วันจันทร์ที่ 27 ธันวาคม 2021

แต่ละสัปดาห์เริ่มนับวันจันทร์จริงเหรอ?

พอยิ่งขุดลึกลงไปอีก ผมเลยเจอว่าการที่จะนับแต่ละสัปดาห์จะเริ่มวันจันทร์หรือวันอาทิตย์ ขึ้นอยู่กับ Locale ที่เราใช้ในการ Format ครับโดยเราสามารถใส่หรือไม่ใส่ก็ได้เป็น arguments ตัวที่สองของ DateTimeFormatter.ofPattern() ซึ่ง default Locale จะเป็น Locale.US ซึ่งนับวันอาทิตย์เป็นวันเริ่มต้นของสัปดาห์ครับ ทำให้ในเคสข้างบนของเรามันจะนับ YYYY เป็นปี 2022 ตั้งแต่วันอาทิตย์ที่ 26 ธันวาคม 2021 เลย

แต่ถ้าเราอยากให้นับสัปดาห์เริ่มที่วันจันทร์เราสามารถเปลี่ยนไปใช้ Locale อื่นได้ครับ อย่างเช่น Locale.FRANCE จะเริ่มในวันจันทรแทน ซึ่งจะทำให้เคสวันอาทิตย์ที่ 26 ธันวาคม 2021 ยังคงเป็นปี 2021 อยู่ครับ

แล้วเราควรจะใช้ตัวไหนดี u, y, Y

ถ้าตอบแบบ Consult คงต้องตอบว่า It’s depends แต่ว่าผมสรุปให้คร่าวๆ ครับ

u (year)

ผมเข้าใจว่าในทาง Meaning ตัวนี้น่าจะเหมาะกับเราที่สุดครับ เพราะมันเป็นปีตรงๆ โดยไม่มีอะไร Constraint เลย แต่ผมเข้าใจที่หลายคนไม่เลือกใช้ เพราะมันน่าจะงงๆ เวลาไปเขียนร่วมกับหน่วยอื่นๆ คนเลยนิยม y มากกว่า

y (year-of-era)

ตัวนี้คนน่าจะใช้เยอะสุด แล้วน่าจะสับสนน้อยสุด เพราะเราชินกับมันมาจากหลายๆ ภาษา และโดยตัวมันเองก็สื่อออกมาด้วย แต่ตามที่มัน Design มามันถูกออกแบบให้ใช้คู่กับตัว G (era) ด้วยครับ แต่ถ้าเราไม่ใช้ผมว่าก็ไม่ผิดอะไรนะ ส่วนตัวผม Prefer ตัวนี้นะ

Y (week-based-year)

ตัวนี้เหมาะกับ calculation อะไรก็ตามที่เราต้องทำเป็น week-based ครับ ซึ่งอาจจะใช้กับงานที่เป็น batch รันรายสัปดาห์แล้วเก็บแค่ปีกับสัปดาห์

ก็ประมาณนี้ครับ คิดว่าใครที่อ่านมาถึงตรงนี้น่าจะได้อะไรติดไม้ติดมือกลับไปบ้าง ผมกำลังสงสัยว่าภาษาอื่นๆ น่าจะมีเรื่องนี้เหมือนกัน ซึ่งต้องบอกว่า เวลา เนี่ยเป็นหนึ่งในเรื่องที่ยากของ Computer เลยครับและถ้าเราไม่ระวัง เราจะเจอบั๊กแปลกๆ ที่ชอบมาในเวลาแปลกๆ อย่างสิ้นปีได้ ถ้าชอบบล็อกแนวนี้ก็ฝากกดไลค์ กดแชร์ หรือคอมเมนต์ด้วยนะครับ แล้วเจอกันใหม่บล็อกหน้าครับ

Reference

• Chapter 12 - manning.com/books/modern-java-in-action
• baeldung.com/java-datetimeformatter
• stackoverflow.com/questions/26431882/differ..
• stackoverflow.com/questions/41177442/uuuu-v..

Example

สมมติว่าเรามี Service ที่ไว้ยิง HTTP Request ไปที่ API อื่นแบบง่ายๆ หน้าตาประมาณนี้

@Service
public class ActivityService {

    RestTemplate restTemplate = new RestTemplate();

    public ResponseSecond getEndpointOne() {
        String url = "http://localhost:8000/1";
        ResponseSecond response = restTemplate.getForObject(url, ResponseSecond.class);
        return response;
    }
}

และมี Controller ที่เรียกใช้ Service นี้หน้าตาประมาณนี้

@RestController
public class ActivityController {

    @Autowired
    ActivityService activityService;

    @GetMapping(path = "/")
    public ResponseEntity<String> getActivity() throws Throwable {
        try {
            ResponseSecond one = activityService.getEndpointOne();
            ResponseSecond two = activityService.getEndpointOne();
            ResponseSecond three = activityService.getEndpointOne();

            String response = "";
            if (one != null && two != null && three != null) {
                response = one.getMessage() + " " + two.getMessage() + " " + three.getMessage();
            }
            return ResponseEntity.ok(response);
        } catch (Exception e) {
            throw e.getCause();
        }
    }

ก็ดูทำงานได้ปกติใช่มั้ยครับ แต่สิ่งที่เกิดคือ มันจะทำงานแบบ Synchronous ก็คือ getEndpointOne แต่ละตัวต้องถูกทำให้เสร็จก่อนที่จะเรียกตัวถัดไป ซึ่งสมมติว่าแต่ละ Endpoint ต้องทำงาน 1 วิ นั่นคือ 3 วิเลยกว่า controller นี้จะวิ่งจนครบ loop

ทำให้มัน Async เถอะ

อย่างแรกที่เราต้องแก้คือ Service ครับ โดยเราจะใช้ความสามารถของ Annotation ชื่อ @Async มาทำให้ Method ของเรานั้นสามารถที่จะเรียกแบบ Asynchronous ได้ แต่มีข้อแม้สองข้อครับคือ

• Method ที่เราจะทำให้เป็น Async นั้นต้องเป็น public method
• Method ที่เรียกใช้งาน Async Method นั้นต้องอยู่คนละ Class กันครับ เพราะ Async ทำ self-invocation ไม่ได้

พอรู้แบบนี้แล้ว ขั้นแรกคือเราต้องแปลง method ที่เราจะทำให้มันเป็น async ให้หน้าตาประมาณนี้ครับ

@Async
public CompletableFuture<ResponseSecond> getEndpointOne() {
    String url = "http://localhost:8000/1";
    ResponseSecond response = restTemplate.getForObject(url, ResponseSecond.class);
    return CompletableFuture.completedFuture(response);
}

จะเห็นว่ามีสิ่งที่เพิ่มขึ้นมา 3 อย่างคือ

• @Async ที่เป็นการระบุว่า Method นี้สามารถเรียกใช้แบบ Asynchronous ได้
• Return type signature จะถูกครอบด้วย CompletableFuture<T> ครับ
• Return value จะต้องเพิ่ม CompletableFuture.completedFuture() ครอบไปครับ

ในส่วนของ method ที่เรียกใช้งาน Async method นั้นจะเปลี่ยนไปหน้าตาประมาณนี้ครับ

public ResponseEntity<String> getAsync() throws Throwable {
    try {
        CompletableFuture<ResponseSecond> one = activityService.getEndpointOne();
        CompletableFuture<ResponseSecond> two = activityService.getEndpointOne();
        CompletableFuture<ResponseSecond> three = activityService.getEndpointOne();

        CompletableFuture.allOf(one, two, three);
        String response = "";
        if (one != null && two != null && three != null) {
            response = one.get().getMessage() + " " + two.get().getMessage() + " " + three.get().getMessage();
        }
        return ResponseEntity.ok(response);
    } catch (Exception e) {
        throw e.getCause();
    }
}

จะเห็นว่าในส่วนที่เรียก method จะเปลี่ยน return type เป็น CompletableFuture<T> แทนครับ และจะมีโค้ดเพิ่มขึ้นมาคือ CompletableFuture.allOf(<async method>) ซึ่งจะทำหน้าที่เรียกและรอ return future value ให้เราจนกว่า async method ที่เรียกข้างในทำงานเสร็จทั้งหมดครับ ซึ่งหลังจากนั้นเราสามารถใช้ method get() เรียก CompletableFuture เพื่อดึงค่าออกมาจาก async method ได้เลย

แต่ถ้าเราเรียกตอนนี้จะเห็นว่ามันยังเรียกแต่ละ method แบบ sychronous กันอยู่ทำให้ใช้เวลารวมทั้งหมดอยู่ 3 วิ (ถ้าแต่ละ method ใช้ 1 วิ) ซึ่งเกิดจากการที่ Executor ของเรายังเป็น applicationTaskExecutor ซึ่งรันอยู่บน single thread อยู่ครับ โดยเราสามารถเปลี่ยนไปใช้ Executor แบบ Async โดยการเพิ่ม Async Config ตามตัวอย่างข้างล่างได้ครับ

@Configuration
@EnableAsync
public class AsyncConfig {
    @Bean
    public Executor asyncExecutor() {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        return executor;
    }
}

ซึ่งพอถึงจุดนี้ใน Service ของเราก็จะทำงานผ่าน asyncExecutor แล้วครับ แต่ถ้าเราสั่งให้ controller เราทำงานจะเห็นว่ามันยังทำงานอยู่ที่ 3 วิ อยู่ ทำไมมันยังไม่เร็วขึ้นนะ?

corePoolSize vs maxPoolSize

สาเหตุที่มันยังทำงานแบบ synchronous อยู่ทั้งๆ ที่เราใช้ asyncExecutor เป็นเพราะว่ามันยังใช้ Thread เดียวอยู่ครับ ซึ่งถ้าเราไปดู Implementation ของ ThreadPoolTaskExecutor จะเห็นว่าเซต corePoolSize อยู่ที่ 1 เลยทำให้มันเป็น single thread แต่เราสามารถเพิ่มจำนวน thread ที่ stand by อยู่ได้ผ่าน method: setCorePoolSize ได้ โดยในที่นี้จะเซตเป็น 3 เท่าจำนวน tasks ที่เราจะแยก Thread ออกสูงสุดครับ

COPY

@Configuration
@EnableAsync
public class AsyncConfig {
    @Bean
    public Executor asyncExecutor() {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        executor.setCorePoolSize(3);
        executor.setMaxPoolSize(5);
        return executor;
    }
}

อีกส่วนคือ maxPoolSize ซึ่งเป็นตัวกำหนดว่า Java จะแตก Thread ได้มากที่สุดกี่ตัวครับ ซึ่ง default จะเป็นเท่ากับจำนวน Integer เลย ซึ่งเราควรจะกำหนดไว้เพื่อกันไม่ให้ Java แตก Thread ออกมามากเกินไปครับ ในที่นี้จะกำหนดเป็น 5

ซึ่งพอถึงจุดนี้ตัว Controller นี้จะทำงานอยู่ที่ประมาณ 1 วิ + นิดหน่อยครับ แล้วถ้าเราดูที่ service ปลายทางได้เราจะเห็นว่ามันยิง HTTP Request ออกมาแทบจะเวลาเดียวกันแล้วครับ

Reference

• เริ่มที่บล็อกนี้ได้ จะพาทัวร์ CompletableFuture API แบบง่ายๆ แต่ถ้าพูดถึง Thread Pool ไว้สั้นมาก จนอาจจะเผลอเลื่อนเลยไป https://medium.com/sipios/how-to-make-parallel-calls-in-java-springboot-application-and-how-to-test-them-dcc27318a0cf
• บล็อกนี้พาทัวร์ CompletableFutureAPI แบบ Advance กว่าลิ้งค์ข้างบน https://www.baeldung.com/java-completablefuture
• บล็อกนี้จะคล้ายๆ ลิ้งค์แรก แต่มีสิ่งที่เลอค่าตรง Limitation ของ @Async ที่สองบล็อกก่อนหน้าไม่ได้พูดถึง https://www.baeldung.com/spring-async
• บล็อกนี้พาไปทัวร์ Future API (เข้าใจว่าโบราณกว่า CompletableFuture) แต่จุดที่น่าสนใจคือพาเรามารู้จัก Thread Pools นี่แหละ https://www.baeldung.com/java-future
• บล็อกนี้อธิบายว่าเราควรเลือกใช้ corePoolSize กับ maxPoolSize ยังไง https://www.baeldung.com/java-threadpooltaskexecutor-core-vs-max-poolsize

2 - 3 วันที่ผ่านมาพยายามต่อ Redis บน ElastiCache แล้ว Error ตลอดเวลาเรียกใช้ จะมี Log ขึ้นประมาณข้างล่างนี้ แล้วแก้จนมันใช้ได้แล้วเอาขึ้น Server ไปละ นี่คือเรื่องของมัน

org.springframework.data.redis.RedisConnectionFailureException: Unable to connect to Redis; nested exception is io.lettuce.core.RedisConnectionException: Unable to connect to ███████-cache.███████.com:6379

Caused by: io.lettuce.core.RedisConnectionException: Unable to connect to ███████-cache.███████.com:6379
e
Caused by: javax.net.ssl.SSLHandshakeException: General SSLEngine problem

Caused by: javax.net.ssl.SSLHandshakeException: General SSLEngine problem

Caused by: java.security.cert.CertificateException: No subject alternative DNS name matching ███████-cache.███████.com found.

สันนิษฐานแรกคือน่าจะเกี่ยวกับ In-Transit Encryption feature ของ ElastiCache’s Redis ซึ่งถูกเลือกไว้แล้ว แล้วหลังจาก Research ไปซักระยะเลยเจอว่า ElastiCache’s Redis allow ให้ Connect ผ่าน VPC เท่านั้น

Amazon ElastiCache Nodes, deployed within a VPC, can never be accessed from the Internet or from EC2 Instances outside the VPC. Source

ระหว่างนั้นเลยไปทดลองสร้างเครื่อง EC2 ในวง VPC เดียวกันมา Connect แต่ก็เจอปัญหา Error: Connection reset by peer เวลาต่อจาก redis-cli ที่วิ่งอยู่บน Stunnel แล้ว ซึ่งแก้เท่าไรก็ยังไม่ได้ และไม่ได้เกี่ยวกับ IAM Role ด้วยเพราะลอง FullAccessElastiCache ก็ยังไม่ได้

สุดท้ายพี่กานต์ลองใช้ Python Redis client ยิงดูปรากฏว่าติด หน้าตาโค้ดประมาณนี้ เลยรู้สึกว่าไม่ใช่ละ

import redis

r = redis.Redis(host='███████-cache.███████.com', port=6379, db=0, ssl=True)
r.set('foo', 'bar')
print(r.get('foo'))

ซึ่งมีจุดที่ remind อย่างนึงคือ ssl=True เลยพุ่งเป้ากลับมาที่เรื่อง SSL Certificate น่าจะมีปัญหาอะไรบางอย่าง หลังจากนั้นพยายามลองเซต spring.redis.ssl=true ใน application.properties ก็ยังไม่ได้ขึ้น Exception เหมือนตอนแรก ก็เลยมานั่งมอง Exception ละเอียดๆ อีกทีจนไปสะดุดตาอันสุดท้าย

Caused by: java.security.cert.CertificateException: No subject alternative DNS name matching ███████-cache.███████.com found.

Search ไปๆ มาๆ เลยมาเจอบล็อกนี้ [Solved] java.security.cert.CertificateException: No subject alternative names present ใจความหลักๆ เหมือนกันคือต่อ LDAP ไม่ได้ เพราะ Java 1.8.0_181 เปิด “Endpoint identification” เป็น default เพื่อให้ใช้กับ LDAPS connection ได้ ซึ่งก็มีวิธีปิดอยู่ง่ายๆ คือไปเพิ่ม property ข้างล่างก็ได้ละ

-Dcom.sun.jndi.ldap.object.disableEndpointIdentification=true

ซึ่งถึงแม้มันจะไม่ได้แก้ปัญหาของ ElastiCache ต่อไม่ได้ตรงๆ แต่ได้ keyword สำคัญมากคือ disableEndpointIdentification ลิ้งค์ต่อๆ มาเลยยังพุ่งเป้าไปที่เรื่องนี้อยู่ แล้วมาเจอกับ issues นี้ใน github CertificateException while connecting to Azure redis cluster. #1296 ซึ่งเจอกับ Redis เต็มๆ แต่เป็น Azure แต่ที่สำคัญคือ อันนี้เป็นปัญหาบน Library: Redisson ซึ่งเป็น Redis Java Client เหมือนกัน และก็ยิ่งย้ำความเชื่อว่ามันเป็นเรื่อง EndpointIdentification นี่แหละ

ณ จุดนี้คือกลับมานั่งทำความเข้าใจอีกทีว่า spring-data-redis ใช้อะไรอยู่ข้างล่าง จาก Official Document เลยค้นพบว่าข้างล่างมันใช้ Lettuce เป็น Client อยู่ เลยมาเจอ issue Lettuce can’t connect to Redis Cluster + SSL but can connect to same Redis server + SSL if treated as Standalone node. #1454 ซึ่งคำตอบแรกของ issue นี้ คือคำตอบเลย

There are a couple of things you can do about:

1. If the Redis IP addresses can be mapped onto a hostname, then please configure a MappingSocketAddressResolver through ClientResources to map IP addresses into hostnames that are listed in the SSL certificate
2. Reach out to the Azure support team so that they fix the SSL certificates and include all cluster IP addresses
3. (least favorable option) Disable SSL certificate validation. That can be done with RedisURI.setVerifyPeer(false) when using Lettuce directly. For Spring, you should be able to register a LettuceClientConfigurationBuilder customizer to invoke LettuceSslClientConfigurationBuilder.disablePeerVerification().

ซึ่งทำให้เราได้คีย์เวิร์คสำคัญมาคือ disablePeerVerification (มันต้องเหมือนข้างบนแน่ๆ) คำถามถัดมาคือ เราจะ disable มันยังไงใน Spring เลยต้องไปหาวิธีใช้ LettuceSslClientConfigurationBuilder อยู่ซักพักใหญ่ๆ เลย ซึ่งอ่าน Doc เฉยๆ ก็เขียนยังไม่เป็นด้วยประสบการณ์ Java แค่นี้

สุดท้ายเลยไปเริ่มจากตัวอย่างของ repository นี้ spring-data-redis-lettuce ซึ่งยกตัวอย่าง custom LettuceConnectionFactory ไว้ได้โอเคเลย แล้วทำให้เริ่มจากตรงนี้จนมาเป็น ลองผิดลองถูก อ่าน Document ของ LettuceClientConfigurationBuilder จนได้โค้ดของ configuration ข้างล่างนี้

import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.redis.connection.RedisStandaloneConfiguration;
import org.springframework.data.redis.connection.lettuce.LettuceClientConfiguration;
import org.springframework.data.redis.connection.lettuce.LettuceConnectionFactory;
import org.springframework.data.redis.core.StringRedisTemplate;

@Configuration
public class RedisClientConfig {
    @Value("${spring.redis.host}")
    private String redisHost;

    @Value("${spring.redis.port}")
    private int redisPort;

    @Bean
    public StringRedisTemplate redisTemplate(LettuceConnectionFactory lettuceConnectionFactory) {
        final StringRedisTemplate template = new StringRedisTemplate();
        template.setConnectionFactory(lettuceConnectionFactory);
        return template;
    }

    @Bean
    LettuceConnectionFactory lettuceConnectionFactory() {
        LettuceClientConfiguration clientConfig = LettuceClientConfiguration.builder()
                .useSsl()
                .disablePeerVerification()
                .build();
        RedisStandaloneConfiguration serverConfig = new RedisStandaloneConfiguration(redisHost, redisPort);

        return new LettuceConnectionFactory(serverConfig, clientConfig);
    }
}

แล้วใน application.properties จะเหลือแค่

spring.cache.type=redis
spring.redis.host=███████-cache.███████.com
spring.redis.port=6379
spring.cache.redis.time-to-live=18000

Resources

• Official documentation ของ AWS ใช้ต่อ Redis ใน ElastiCache
• Connect to a Cluster’s Node a.k.a. วิธี Build redis-cli
• ElastiCache for Redis In-Transit Encryption (TLS) a.k.a. วิธีเซต Stunnel
• How do I connect to an Amazon ElastiCache In-Transit encryption-enabled Redis node using redis-cli? a.k.a. วิธีเซต Stunnel
• สองบล็อกนี้แนะนำให้ไปใช้ stunnel วิธีเดียวกับ AWS Official ถ้าจะต่อเข้าไป Redis ใน ElastiCache
• Making a secure connection to ElastiCache (Redis)
• How to Fix Redis CLI Error Connection Reset by Peer
• Example how to config RedisConnectionFactory (link)
• Spring Official Document: Configuring the Lettuce Connector (link)
• Lettuce can’t connect to Redis Cluster + SSL but can connect to same Redis server + SSL if treated as Standalone node. #1454 a.k.a. Issue ที่เป็นคำตอบ
• spring-data-redis-lettuce a.k.a. ตัวอย่าง Implement Custom LettuceConnection
• Lettuce Host/Peer Verification a.k.a. วิธีใช้ Builder กับ Peer verification
• Lettuce SSL มาจากตรงนี้ก่อน

1. ลง Liquibase ใน pom.xml

<dependencies>
    <dependency>
        <groupId>org.liquibase</groupId>
        <artifactId>liquibase-core</artifactId>
        <version>3.6.2</version>
    </dependency>
</dependencies>

เพิ่ม configuration ให้ liquibase ใน application.properties

 ## Liquibase
 spring.liquibase.enabled=true
 spring.liquibase.parameters.EnumDataType=ENUM('VALUE1', 'VALUE2', 'VALUE3')
 spring.liquibase.contexts=local

ตัวสำคัญคือ spring.liquibase.contexts ตัวนี้เหมือนคอยบอกว่าเรารัน Spring โหมดอะไรอยู่ แล้วทำให้เราใช้ connection database ที่เราเซตไว้ใน spring ได้ด้วย

อีกจุดนึงคือ spring.liquibase.parameters อันนี้เป็น custom parameter ที่เราเอาไว้ใช้ใน Changeset ซึ่งบางครั้งของ database คนละแบบจะต่างกันอย่างเช่น type ENUM ของ H2 เก็บเป็น enum ได้เลย แต่ PostgreSQL ตัว spring จะแปลงเป็น INT เลยต้องมาประกาศไว้ด้วย

Usage

1. เพิ่มไฟล์ ChangeLog master ไฟล์นี้เป็นเหมือนไฟล์หลักไว้บอกว่ามี migration step อะไรบ้างผ่าน property ชื่อ include.file ไฟล์กับชื่อจะอยู่ที่ /resources/db/changelog/db.changelog-master.yaml ตัวนี้สามารถตั้งค่าให้ไปอยู่ที่อื่น ชื่ออื่นได้ แต่อันนี้คือชื่อ default หน้าตาของไฟล์จะประมาณ

    databaseChangeLog:
      - include:
          file: db/changelog/001-add-user-table.yaml

1. สร้าง ChangeSet ตัวนี้ไว้บอกว่าใน migration นี้มี change อะไรเกี่ยวกับ database บ้าง ตัวอย่างเช่นของ user

    databaseChangeLog:
      - changeSet:
          id: 001-add-user-table
          author: man
          changes:
            - createTable:
                columns:
                  - column:
                      constraints:
                        nullable: false
                        primaryKey: true
                        primaryKeyName: user_pkey
                      name: id
                      type: UUID
                  - column:
                      constraints:
                        nullable: false
                      name: name
                      type: VARCHAR(250)
                  - column:
                      constraints:
                        nullable: false
                      name: type
                      type: ${EnumDataType}
                  - column:
                      name: is_admin
                      type: BOOLEAN
                  - column:
                      name: created_at
                      type: TIMESTAMP
                tableName: user

ใน changeSet ต้องบอกว่ามันเป็น changeSet ซึ่งมี property หลักๆ ที่ใช้คือ

• id: อันนี้เอาไว้เป็น identifier ไม่ unique ก็ได้ลองแล้วติด แต่ best practice คือจะรันเลขหรือรันเป็นชื่อก็ได้ นี่เลยเอาทั้งสองอย่างแล้วเอาให้เป็นชื่อเดียวกับไฟล์ของ changeset เลยจะได้หาง่ายๆ
• author: ก็คือใครสร้าง changeset นี้
• changes: อันนี้เป็นตัวบอกว่าเราจะทำอะไรเกี่ยวกับ database ในตัวอย่างข้างล่างคือ createTable

โน๊ตนิดหน่อยเกี่ยวกับ createTable คือมันต้องการ key หลักสองอย่างคือ columns, tableName ก็ตามตัวเลย แต่ใน columns จะมีรายละเอียดนิดหน่อย

    - column:
        constraints:
          nullable: false
          primaryKey: true
          primaryKeyName: user_pkey
        name: id
        type: UUID

ใน column required หลักๆ คือ name กับ type ซึ่งตามที่ใช้ใน SQL ที่สร้างของ database ตัวนั้นเลย ส่วน constraints เป็น optional

ในตัวอย่างจะเห็น type: ${EnumDataType} อันนี้จะเอามาจากที่เราประกาศไว้ใน spring.liquibase.parameters ใน application.properties มาใส่ให้

    - addUniqueConstraint:
        constraintName: uq_admin_name_user
        columnNames: name, is_admin
        tableName: user

อีกตัวอย่างเป็นการสร้าง unique constraints ของ table อันนี้ใช้คำสั่ง addUniqueConstraint ในเลเวลเดียวกับ createTable เลย ตรงนี้ required แค่ tableName กับ columnNames ส่วนชื่อถ้าไม่ใส่มันจะเรียงๆ ให้จาก properties ที่เราใส่ไป แนะนำให้ใส่ดีกว่า

How it work

เวลาที่ Spring ทำงาน มันจะสั่งรัน liquibase update ให้อัตโนมัติซึ่ง ถ้ายังไม่เคยมี liquibase ทำครั้งแรกมันจะสร้าง table ไว้เก็บ migration step หรือ changelog ด้วยหน้าตาแบบนี้

exampledb> select * from databasechangelog;
+-------------------------------------+----------+-------------------------------------------------------+----------------------------+-----------------+------------+------------------------------------+-------------------------------------------------------------------
| id                                  | author   | filename                                              | dateexecuted               | orderexecuted   | exectype   | md5sum                             | description
|-------------------------------------+----------+-------------------------------------------------------+----------------------------+-----------------+------------+------------------------------------+-------------------------------------------------------------------
| 001-add-user-table           | man      | db/changelog/001-add-user-table.yaml           | 2020-10-27 10:12:27.875734 | 1               | EXECUTED   | 8:09d73c59f70e73a65420a4eb3f044bc8 | createTable tableName=user
+-------------------------------------+----------+-------------------------------------------------------+----------------------------+-----------------+------------+------------------------------------+-------------------------------------------------------------------

สำคัญอย่างนึงคือตัว changeset ถ้าถูก execute ไปแล้วห้ามกลับไปแก้เด็ดขาด เพาะ md5sum มันจะไม่ตรงกัน แล้วมันจะไม่ยอม migrate ให้ ถึงแม้ว่า liquibase-maven-plugin จะสั่ง clear checksum ได้ แต่ดีที่สุดคืออย่าไปยุ่งกับมันเลย

Unit test setup

ถ้าเรา setup เท่าข้างบนแล้วไปรัน unit test เลย สิ่งที่เกิดขึ้นคือ

java.lang.IllegalStateException: Failed to load ApplicationContext
...
Caused by: org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'liquibase' defined in class path resource [org/springframework/boot/autoconfigure/liquibase/LiquibaseAutoConfiguration$LiquibaseConfiguration.class]: Invocation of init method failed; nested exception is java.lang.ArrayIndexOutOfBoundsException: 1

ซึ่งหาเท่าไรใน Stackoverflow ก็หาไม่เจอ (ลองแล้วทุก link) แต่วิธีแก้คือให้ไปเพิ่ม liquibase property ใน application.properties ของเทสก็จะได้ละ

spring.liquibase.enabled=true
spring.liquibase.parameters.EnumDataType=ENUM('VALUE1', 'VALUE2', 'VALUE3')

Further reading

จริงๆ อยากให้มันสร้าง changeLog จาก Entity ได้เลยแต่ยังหาวิธีไม่ได้ แล้วก็ liquibase-maven-plugin ใช้กับ intelliJ ก็ยังเอ๋อๆ อยู่

อีกอย่างคือ ในตัวอย่างที่ยกมามีแต่ forward migration ยังไม่มี rollback ซึ่งจริงๆ มัน support rollback นะ แล้วก็เขียนอยู่ใน changeSet นะแหละ แต่ยังไม่ได้ดูเพิ่ม

Note

Liquibase Maven plugin

เอาไว้สั่ง liquibase แบบไม่ต้อง start Spring แต่ต้องลง dependencies ของมันเองด้วย

<dependencies>
    <dependency>
        <groupId>org.liquibase</groupId>
        <artifactId>liquibase-maven-plugin</artifactId>
        <version>3.6.2</version>
    </dependency>
</dependencies>

...

<build>
    <plugins>
        <plugin>
            <groupId>org.liquibase</groupId>
            <artifactId>liquibase-maven-plugin</artifactId>
            <version>3.6.2</version>
            <configuration>
                <propertyFile>src/main/resources/liquibase.properties</propertyFile>
            </configuration>
        </plugin>
    </plugins>
</build>

liquibase.properties

อันนี้เอาไว้ให้ liquibase-maven-plugin คุยกับ database ได้โดยไม่ต้องง้อ Spring เพราะปกติ Spring จะเป็นคนรัน Liquibase ให้อยู่แล้ว

changeLogFile=src/main/resources/db/changelog/db.changelog-master.yaml
url=jdbc:postgresql://localhost:5432/exampledb
driver=org.postgresql.Driver
username=user
password=password

Reference

• ถ้า setup ง่ายๆ ดูตามนี้ได้ แต่ไฟล์ changelog, changeset เค้าใช้เป็น XML ซึ่งอ่านยากกว่า YAML https://www.baeldung.com/liquibase-refactor-schema-of-java-app
• วิธีเพิ่ม unique constraint ให้ table https://docs.liquibase.com/change-types/community/add-unique-constraint.html
• อันนี้ช่วยหาคำตอบตอน Spring context, profile หาไม่เจอกับ liquibase https://stackoverflow.com/questions/40088915/using-spring-boot-profiles-with-liquibase-changeset-context-attribute-to-manage
• อันนี้ช่วยหาคำตอบตอนหาไฟล์ master changelog ไม่เจอ https://stackoverflow.com/questions/41990295/java-illegalstateexception-cannot-find-changelog-location-class-path-resourc
• ตัวอย่างนี้ดีเพราะใช้ YAML แล้วก็รู้เรื่อง liquibase.parameters จากที่นี่แหละ https://reflectoring.io/database-migration-spring-boot-liquibase/
• อันนี้ช่วยหาคำตอบให้ตอนงงๆ liquibase.properties ว่าตกลงใช้ไม่ใช้ https://watson.earth/2018/09/21/combining-spring-boot-and-liquibase/
• อันนี้ดูค้างไว้เรื่อง Rollback, pre-condition ของ changeset ว่าใช้ยังไง https://docs.liquibase.com/concepts/advanced/preconditions.html
• อันนี้ดีมาก เป็น Best Practice ของ Liquibase เองเลย หลายๆ อย่างได้มาจากอันนี้แหละ https://www.liquibase.org/get-started/best-practices
• อันนี้พูดถึง liquibase-maven-plugin โดยเฉพาะ https://docs.liquibase.com/tools-integrations/maven/home.html