Chuyển đổi thủ ngữ sang giọng nói và văn bản
Sáu sinh viên Trường Đại học Bách Khoa (ĐHQG.HCM) đã nghiên cứu chế tạo một thiết bị dùng AI để chuyển ngôn ngữ ký hiệu (thủ ngữ) sang giọng nói và văn bản, giúp người khiếm thanh và khiếm thính có thể giao tiếp dễ dàng với cộng đồng.
Nhóm tác giả gồm Nguyễn Quang Đức, Lê Đỗ Thanh Bình, Phan Quốc Long, Nguyễn Thành Lưu, Bùi Ngô Hoàng Long (cùng khóa 2018, khoa Khoa học và Kỹ thuật Máy tính) và Cao Khánh Gia Hy (khóa 2020, khoa Quản lý Công nghiệp).
“Thiết bị giao tiếp thông minh dành cho người khiếm thanh, khiếm thính – Speak your mind” (SYM) là thiết bị giao tiếp sử dụng công nghệ AI để chuyển ngôn ngữ ký hiệu sang văn bản và giọng nói phát ra từ các thiết bị điện thoại thông minh để những người khiếm thanh, khiếm thính dễ dàng trao đổi thông tin với mọi người. Sản phẩm là một thiết bị tích hợp phần mềm thông minh nhằm hỗ trợ người khiếm thanh có thể tương tác với mọi người một cách dễ dàng và thuận tiện hơn bằng cách chuyển đổi thủ ngữ thành văn bản và giọng nói. Thiết bị bao gồm bao gồm hai thành phần: mô-đun camera được gắn trên nón và ứng dụng trên điện thoại Android.
Chuỗi hình ảnh thủ ngữ của người dùng được ghi nhận từ camera sẽ đi qua bộ nhận diện các điểm chốt của bàn tay MediaPipe của Facebook và được trích xuất thành các đặc trưng. Mô hình AI được huấn luyện trước bằng mạng học sâu sẽ dự đoán từ tương ứng. Kết quả này sẽ xuất ra dưới dạng văn bản và giọng nói thông qua Text2Speech API của Google. Camera nhỏ gọn và các linh kiện điện tử được lắp đặt trong hộp nhựa gắn vào nón của người dùng. Vật liệu sử dụng cho hộp chứa linh kiện điện tử là nhựa sinh học (Polylactic Acid – PLA) không độc hại, không gây ảnh hưởng đến sức khỏe người tiêu dùng và có khả năng dễ phân hủy, thân thiện với môi trường.
Khi người dùng nhấn nút khởi động của thiết bị, camera này sẽ ghi nhận và chuyển dòng hình ảnh vào ứng dụng của chúng tôi đã cài đặt sẵn trên điện thoại thông minh của người dùng. Ứng dụng sẽ sử dụng các công nghệ ở trên để chuyển dòng hình ảnh thủ ngữ thành văn bản và giọng nói tương ứng hiện lên màn hình và phát ra loa. Bằng cách này, người đối diện có thể hiểu được điều mà người khiếm thanh, khiếm thính cần truyền đạt mà không cần phải học qua thủ ngữ. Ngoài ra, ứng dụng còn có chức năng lưu lại thủ ngữ cùng với văn bản và phát âm tương ứng. Chức năng này giúp cho những người muốn học thủ ngữ có thể lưu trữ bài học một cách dễ dàng. Nói cách khác, hệ thống của chúng tôi vừa là thiết bị dịch thủ ngữ sang văn bản và lời nói, vừa là ứng dụng hỗ trợ học thủ ngữ hiệu quả.
Đối tượng khách hàng mục tiêu trước mắt của sản phẩm hướng đến trong 3 năm tới là cá nhân những người khiếm thanh, khiếm thính và phụ huynh của những người bị khiếm thanh, khiếm thính tại Việt Nam. Tính độc đáo và sáng tạo của SYM còn là toàn bộ sản phẩm được mã hóa bằng tiếng Việt, dễ dàng sử dụng đối với khách hàng. Bên cạnh đó, thiết bị cũng tích hợp các ngôn ngữ khác nhau đáp ứng các đối tượng khách hàng. Giá thành sản phẩm thấp cũng là một ưu thế của dự án, SYM định giá sản phẩm phân phối đến tay người dùng chỉ từ 800.000 – 1 triệu đồng.
Đọc chi tiết tại:
Chuyển đổi thủ ngữ sang giọng nói và văn bản
Máy in 3D bê tông cỡ lớn
Đây là thành quả nghiên cứu của nhóm nghiên cứu MiKen – 3DCP của PGS.TS Trần Văn Miền (giảng viên Bộ môn Vật liệu Xây dựng, Khoa Kỹ thuật Xây dựng, Trường Đại học Bách Khoa - ĐHQG-HCM).
Buồng khử khuẩn toàn thân di động
Thiết bị là sản phẩm kết hợp giữa Trung tâm Phát triển khoa học và công nghệ trẻ (Thành đoàn TP.Hồ Chí Minh) cùng các chuyên gia, nhà khoa học của Trường Đại học Bách Khoa (Đại học Quốc gia TP.Hồ Chí Minh).
Bộ phận dẫn khí hỗ trợ điều trị COVID-19
Thiết bị y tế kết nối mặt nạ thở có ống cấp khí kết nối với màng lọc khuẩn bằng công nghệ in 3D được giảng viên Trường Đại học Bách Khoa (Đại học Quốc gia TP.Hồ Chí Minh) nghiên cứu và thiết kế thành công.
Tàu không người lái phục vụ quan trắc tự động
Tàu không người lái phục vụ quan trắc tự động (USV) nhỏ gọn và di động là sáng chế liên ngành, do nhóm nghiên cứu của TS.Trần Ngọc Huy (trường Đại học Bách Khoa – Đại học Quốc gia TP.Hồ Chí Minh) chế tạo.
Máy bay phun thuốc trừ sâu điều khiển từ xa
Sản phẩm do nhóm nghiên cứu của TS.Vũ Ngọc Ánh (trường Đại học Bách Khoa – Đại học Quốc gia TP.Hồ Chí Minh) chế tạo phục vụ cho nông nghiệp.
Mô hình chốt bảo vệ tiện ích
Ngô Triệu Nhân - sinh viên năm 4 ngành Xây dựng Trường Đại học Bách Khoa (Đại học Quốc gia TP.Hồ Chí Minh) đã lên ý tưởng thiết kế mô hình “chốt bảo vệ” và xuất sắc giành giải Nhất tại cuộc thi INSEE Prize 2019.
Tấm cách nhiệt aerogel làm từ rơm
Nhằm khai thác các đặc tính nổi trội này của aerogel, các sinh viên của trường Đại học Bách Khoa (Đại học Quốc gia TP.Hồ Chí Minh) đã nghiên cứu và biến rơm thành tấm cách nhiệt thân thiện với môi trường.
Biến chất thải dệt nhuộm thành khí và nước
Đây là nghiên cứu của nhóm sinh viên chương trình chất lượng cao khoa Kỹ thuật Hóa học, trường Đại học Bách Khoa - Đại học Quốc gia TP.Hồ Chí Minh.
Diệt khuẩn cho điện thoại bằng đèn UV
Hộp đèn UV diệt vi khuẩn điện thoại là một trong những sản phẩm nổi bật của các bạn sinh viên trường Đại học Bách Khoa (Đại học Quốc gia TP.Hồ Chí Minh) được giới thiệu tại Vietnam Startup Day 2019.
- Vòng Sơ Khảo Cuộc Thi Đại Sứ Văn Hóa Đọc Năm 2024
- Hoạt động chào mừng "Ngày sách Việt Nam 21/4/2024"
- Ngày hội văn hóa đọc lần V
- Cuộc Thi Ảnh “Khoảnh Khắc VNUHCM Libraries”
- Ngày hội văn hóa đọc lần II
- Ngày hội văn hóa đọc lần IV
- Ngày hội văn hóa đọc lần III
- Tiếp GS Omer Mert Denizci, Trường ĐH Marmara Thổ Nhĩ Kỳ
- Tiếp Cô Claudia Tarzariol Từ The University Of Trento, Italy (Unitrento)
- Tiến sĩ kiều bào Mỹ tặng sách trị giá 150.000 USD cho sinh viên bách khoa
- Khảo sát ý kiến bạn đọc
-
Trực tuyến:7
-
Hôm nay:2213
-
Tuần này:29191
-
Tuần trước:28342
-
Tháng trước:54625
-
Tất cả:4018294