Mô hình học sâu nhúng cú pháp

Bài báo “Mô hình học sâu nhúng cú pháp cho tác vụ gán nhãn ngữ nghĩa văn bản y sinh”.

Tác giả: Tuấn Nguyên Hoài Đức, Lưu Trường Dương, Huỳnh Quốc Duy.

Trích trong Tạp chí Phát triển Khoa học và Công nghệ.

Trình bày việc xây dựng một mô hình học sâu cho tác vụ gán nhãn ngữ nghĩa trên văn bản Y Sinh. Gán nhãn ngữ nghĩa là tác vụ thiết thực giúp máy tính hiểu rõ sự kiện chính được nói đến trong mỗi câu, và là tiền đề quan trọng để giải quyết được hàng loạt tác vụ khác liên quan đến ngữ nghĩa như rút trích sự kiện, rút trích thực thể, hệ hỏi đáp... Gán nhãn ngữ nghĩa là tác vụ phụ thuộc lĩnh vực. Trong lĩnh vực Y Sinh, ngữ nghĩa không chỉ dựa trên khung đối số vị ngữ khác biệt rất nhiều so với lĩnh vực tổng quát mà còn được chuyển tải bằng những cấu trúc ngữ pháp và quan hệ phụ thuộc phức tạp hơn. Ba loại tri thức được tích hợp vào mô hình học sâu để thích ứng với đặc thù này, gồm có tri thức ngữ cảnh có được từ mô hình ngôn ngữ tiền huấn luyện trên ngữ liệu lớn của chuyên ngành Y Sinh, tri thức về phụ thuộc giữa các từ có được từ cây phân tích quan hệ phụ thuộc và tri thức về cấu trúc ngữ pháp câu có được từ cây phân tích ngữ pháp thành phần. Để xử lý hiệu quả các loại tri thức ngữ pháp vốn dĩ được biểu diễn như đồ thị, Mạng Đồ thị Chú ý (Graph Attention Network) được chọn để phát huy thế mạnh học trên đồ thị của nó. Ngoài ra, nhúng chỉ định vị ngữ (Predicate Indicator Embedding) cũng được tích hợp để góp phần nâng cao hiệu quả mô hình. Kết quả thực nghiệm cho thấy hai loại tri thức cú pháp nêu trên kết hợp với nhúng chỉ định vị ngữ có thể giúp F1 tăng đến 20%.

Đọc toàn văn:

http://stdjns.scienceandtechnology.com.vn/index.php/stdjns/article/view/1279/1644

Mô hình học sâu nhúng cú pháp

Bình luận của bạn

*

*

*

*

 Captcha

Gửi bình luận nhập lại