Transformer là kiến trúc trí tuệ nhân tạo cốt lõi của thời đại học sâu hiện đại, tạo nền tảng cho hầu hết các hệ thống AI sinh nội dung ngày nay.
Ra đời
Transformer được giới thiệu trong bài báo “Attention Is All You Need” năm 2017 nhằm thay thế các mô hình tuần tự như RNN và LSTM.
Ý tưởng cốt lõi: loại bỏ xử lý tuần tự và thay bằng cơ chế attention song song.
Attention
Attention giúp mô hình xác định phần thông tin quan trọng trong câu.
- Query: truy vấn
- Key: khóa so sánh
- Value: giá trị truyền đi
Kiến trúc
Transformer gồm encoder và decoder, kết hợp nhiều lớp attention và feed-forward network.
Ứng dụng
- Chatbot
- Dịch máy
- Sinh mã nguồn
- Tìm kiếm ngữ nghĩa
Giới hạn
Transformer tiêu tốn tài nguyên lớn và có thể sinh thông tin sai lệch.
Kết luận
Transformer là nền tảng của AI hiện đại, mở ra kỷ nguyên mô hình ngôn ngữ lớn.