07/02/2023
Nếu các bạn chưa nghe qua hay biết đến chatGPT thì nên tìm hiểu để biết. Trong cái note này tôi tường thuật cuộc trò chuyện giữa tôi và chatGPT. Nói cho công bằng, chatGPT quả thật là một tiến bộ đáng kể trong trí năng nhân tạo, nhưng vẫn còn rất nhiều hạn chế. Nó chưa thể ứng dụng một cách nghiêm chỉnh trong y học và khoa học.
ChatGPT là gì?
ChatGPT là viết tắt của ‘Chat Generative Pre-trained Transformer’, một sản phẩm trí năng nhân tạo của công ti OpenAI [1]. ChatGPT trong thực tế là một loại ngôn ngữ tự nhiên (natural language), một dạng chatterbox hay chatbot có thể nói chuyện với con người, như trả lời câu hỏi của chúng ta (con người). Nó được xem là một dạng ‘trên thông thiên văn, dưới tường địa lí’.
ChatGPT được giới thiệu đến công chúng vào cuối tháng 11 năm ngoái, và lập tức gây ‘bão’ trong kĩ nghệ xuất bản khoa học và không gian mạng. Tại sao gây bão? Tại vì ChatGPT có thể viết bản tóm tắt (abstract) của một bài báo khoa học tương đối hoàn chỉnh [2], và người đọc khó phân biệt được đó là do máy viết hay do nhà khoa học viết! Chẳng những thế, ChatGPT còn có thể trả lời rất nhiều câu hỏi về bất cứ lãnh vực nào. Có lẽ chính vì thế mà tờ Harvard Business Review (HBR) viết rằng ChatGPT thật sự có ích trong một số công việc, từ việc tạo ra software, cho ra ý tưởng đến viết một bài nói chuyện trong đám cưới.
Wow! Chúng ta thử kiểm tra xem HBR viết có quá không?
Trò chuyện với ChatGPT
Trong cái note này tôi thử trò chuyện với ChatGPT như là một cách tìm hiểu hiệu quả của nó. Tôi chọn chủ đề bệnh loãng xương, dịch tễ học và tiếng Anh. Tôi tập trung vào một số khái niệm trong chuyên ngành mà tôi biết rõ (vì tôi là tác giả đề xướng). Tôi đặt những câu hỏi đơn giản và tương đối ngắn, và thỉnh thoảng ‘nhờ’ chatGPT cung cấp những tài liệu tham khảo. Tôi thử hỏi bằng tiếng Anh, nhưng với một số câu hỏi tôi còn hỏi bằng tiếng Việt để so sánh câu trả lời xem có nhứt quán hay không.
Ngoài chủ đề loãng xương, tôi cũng nhờ chatGPT sửa tiếng Anh vài câu văn đơn giản nhưng viết chưa hoàn chỉnh về mặt văn phạm. Sau đó, tôi đưa ra một bản tóm tắt (abstract) đã được công bố xem chatGPT có thể chỉnh sửa tốt hơn.
Tôi phải nói thêm rằng đây chỉ là một thử nghiệm đơn giản, chẳng có giả thuyết hay thiết kế thí nghiệm gì cả. Các câu hỏi có thể xem là ngẫu hứng, hay mô phỏng theo một cuộc trò chuyện thường ngày giữa một nghiên cứu sinh và người thầy (ChatGPT).
Những câu hỏi và trả lời được liệt kê trong file pdf dưới đây [3]. Các bạn có thể download và đọc qua để biết và có những nhận xét của mình. Còn ở đây, tôi có những nhận xét ban đầu như sau.
Vài nhận xét
Nhìn chung, qua những câu hỏi và trả lời, tôi thấy ChatGPT có thể đưa ra những câu trả lời đáng tin. Tuy nhiên, khi đến phần tài liệu tham khảo hay những chủ đề chuyên biệt thì ChatGPT không còn tin cậy được nữa. Còn về tiếng Anh thì ChatGPT chỉ ở trình độ wiki mà thôi, nó thiếu cái ‘insight’ (chiều sâu) của một bài văn. Dưới đây là vài nhận xét cụ thể:
1. ChatGPT có thể đưa ra một số câu trả lời khả tín
Khi tôi hỏi loãng xương là gì (tiếng Anh: ‘Can you tell me what is osteoporosis?’) thì chatGPT đưa ra câu trả lời tương đối đạt, chứ chưa sâu. ChatGPT trả lời rằng “Osteoporosis is a medical condition characterized by weak and brittle bones, leading to a higher risk of fractures” thì ok, nhưng không đề cập đến khía cạnh vi cấu trúc của xương, và đó là một thiếu sót.
Khi được hỏi hiệu quả của denosubmab trong điều trị loãng xương, tôi thấy câu trả lời tương đối tốt. Tuy không đầy đủ, nhưng những thông tin căn bản về thuốc thì rất ‘được’, đủ để người mới học hay tìm hiểu về loãng xương có thể học hỏi thêm.
Khi được hỏi bổ sung vitamin D có hiệu quả phòng ngừa gãy xương hay không (‘Does vitamin D supplement reduce fracture risk?’) thì chatGPT trả lời khá tốt. Điều vui là phần cuối của câu trả lời chatGPT khuyến cáo là nên hỏi nhân viên y tế để có lời khuyên cá nhân hoá.
2. ChatGPT có thể hiểu tiếng Việt chút chút
Khi tôi hỏi bằng tiếng Việt (‘Loãng xương là gì?’), chatGPT trả lời rằng: ‘Loãng xương là một tình trạng y khoa, được định nghĩa bởi xương yếu và dễ vỡ, dẫn đến nguy cơ gãy xương cao hơn.’ Câu trả lời này thật ra là bản dịch của câu trả lời bằng tiếng Anh ở trên. Tuy nhiên cách dịch hơi … ngô nghê (‘tình trạng y khoa‘) và câu văn chưa thông và chưa đầu đủ (‘nguy cơ gãy xương cao hơn‘).
Khi tôi hỏi yếu tố nguy cơ gãy xương bằng tiếng Anh (‘what are risk factors for bone fracture?’) thì chatGPT liệt kê một danh sách khá đúng. Khi tôi hỏi bằng tiếng Việt (‘Yếu tố nguy cơ loãng xương là gì?’) thì câu trả lời, một lần nữa, là bản dịch của câu trả lời bằng tiếng Anh. Tuy nhiên, câu trả lời tương đối đầy đủ và đúng.
3. ChatGPT có thể đưa ra những ví dụ, thậm chí công thức cụ thể
Trong phần hỏi về dịch tễ học, tôi hỏi công thức tính NNT (number needed to treat) thì nó đưa ra công thức đúng và kèm theo lời giải thích rất cụ thể. Ngoài ra, khi được hỏi về ví dụ của khái niệm ‘sai lệch đồng căn’ (collider bias) nó cũng trình bày một ví dụ dễ hiểu.
4. ChatGPT thiếu cập nhựt thông tin?
Khi tôi hỏi tỉ lệ hiện hành về bệnh loãng xương ở Việt Nam, chatGPT xin lỗi là không có dữ liệu. Câu trả lời này không đúng vì trong thực tế có một số dữ liệu về gánh nặng loãng xương ở Việt Nam đã được công bố. Có lẽ chatGPT chưa cập nhựt thông tin. Tuy nhiên, khi hỏi về tỉ lệ hiện hành về bệnh loãng xương ở Úc thì nó trả lời khá tốt với những con số đúng.
6. Những câu trả lời của ChatGPT không chuyên sâu
Thật vậy, nếu chỉ nói trong lãnh vực loãng xương, những câu trả lời của chatGPT chỉ là loại kiến thức căn bản, chớ hoàn toàn thiếu ‘insight’. Ví dụ như định nghĩa về loãng xương mà chatGPT đưa ra chỉ là kiến thức dành cho công chúng, không thể nào dành cho giảng dạy trong đại học được. Tương tự, rất nhiều câu trả lời về di truyền học thì chỉ là bề mặt và căn bản, chatGPT tỏ ra rất … ngây thơ.
7. ChatGPT có thể ‘phịa’ câu trả lời
Thỉnh thoảng (?) tôi thấy chatGPT trả lời sai, rồi phịa ra câu trả lời luôn! Trong khi ‘nó’ cung cấp một định nghĩa đúng về khái niệm NNT, khi được hỏi ai là người đề xướng khái niệm này nó trả lời là David Sackett (trong khi đó câu trả lời đúng là A. Laupacis). Tương tự, nó có thể định nghĩa đúng về Garvan Fracture Risk Calculator, nhưng khi hỏi ai là người sáng chế nó trả lời là ‘E. Seeman’ (đúng ra là tôi).
8. ChatGPT rất sai về tài liệu tham khảo
Qua thử nghiệm nhiều câu hỏi về tài liệu tham khảo, tôi có thể nói rằng chatGPT sai thảm hại phần này. Chẳng hạn như khi tôi hỏi ảnh hưởng của ăn chay đến loãng xương (‘What is the effect of veganism on bone mineral density?’) thì câu trả lời cũng khá chính xác. Tuy nhiên, đến câu hỏi tài liệu tham khảo (‘Can you give some references?’) thì chatGPT cung cấp câu trả lời là ‘Le LT, et al. (2016) “Vegetarian diets and bone health.” American Journal of Clinical Nutrition, vol. 103, no. 3, pp. 993-1005.’ Hoàn toàn sai.
Khi tôi hỏi “Osteogenomic Profile” là gì, thì câu trả lời cũng khá đúng, nhưng tài liệu tham khảo thì hoàn toàn sai và không có thật.
Khi tôi hỏi tài liệu tham khảo cho Garvan Fracture Risk Calcultor thì chatGPT cung cấp 3 tài liệu tham khảo mà tác giả đều là ‘Seeman E’, nhưng cái này hoàn toàn sai. Nói cách khác, ChatGPT đưa ra những tài liệu tham khảo không có thật!
9. ChatGPT có thể nhầm lẫn khái niệm
Khi tôi hỏi ‘Skeletal Age‘ (khái niệm mới) là gì, thì ngạc nhiên thay chatGPT trả lời bằng cách lấy định nghĩa của ‘Bone Age’ (tuổi xương). Ở đây, rõ ràng là chatGPT không chỉ trả lời sai mà còn lẫn lộn về khái niệm. Nói cách khác, chatGPT không biết sự thật.
Một nhầm lẫn tiêu biểu là khi tôi hỏi nó định nghĩa khái niệm ‘hazard’ thì nó lấy cách giải thích trong sách phổ thông, chứ không phải trong khoa học. Tuy nhiên, trong phần trả lời ‘hazard ratio’ thì nó nói đúng.
10. Tiếng Anh của chatGPT tương đối thấp
Khi tôi nhờ chatGPT sửa câu văn đơn giản (“Can you correct the following sentence: ‘It is an index quantifying the fragility of bone‘”), chatGPT trả lời rất chuẩn mực: “It is an index that quantifies the fragility of bones.“
Khi tôi nhờ chatGPT viết lại câu kết luận của một nghiên cứu trên BMJ 25/1/2023 như sau:
Can you rewrite the following “A healthy lifestyle is associated with slower memory decline, even in the presence of the APOE ε4 allele. This study might offer important information to protect older adults against memory decline.”
chatGPT trả lời:
“Slowing memory decline is linked to a healthy lifestyle, even with APOE ε4 allele present. This research may provide crucial insights for safeguarding senior citizens against memory loss.”
Như các bạn thấy, câu trả lời là một cách paraphrase câu văn gốc, nhưng cách dùng chữ thì không đúng với chuẩn mực y khoa (‘linked to’), hoặc văn nói (safeguard) vốn ít dùng trong y văn.
Tóm lại:
ChatGPT là một công cụ trí năng nhân tạo có thể giúp ích cho một số việc. ChatGPT có thể đưa ra những câu trả lời tương đối (chỉ ‘tương đối’) khả tín. Thời gian để có câu trả lời tương đối nhanh, đa số các câu hỏi đơn giản chatGPT chỉ mất vài giây là có câu trả lời. Tuy nhiên, có nhiều câu trả lời của chatGPT không đáng tin cậy, thậm chí sai hoàn toàn, và do đó không nên xem những câu trả lời đó là thông tin để tham khảo.
Một điểm quan trọng cần chú ý là những câu trả lời của chatGPT chỉ là loại kiến thức bề mặt, nên thiếu chiều sâu một cách nghiêm trọng. Do đó, không nên dùng chatGPT trong việc soạn bài báo khoa học.
Có vẻ chatGPT thiếu khả năng hiểu sự phức tạp của ngôn ngữ con người và đàm thoại chuyên sâu, nên những câu văn nó chỉnh sửa rất tầm thường và không có tính tinh tế của cách dùng chữ. Có lẽ chatGPT được ‘huấn luyện’ dựa vào những thông tin đầu vào (input) mà nó không thể nào hiểu hết câu chữ đằng sau những thông tin đó, nên nó đưa ra bản sửa khá nông cạn, và không phân biệt được bối cảnh của cách dùng chữ.
Thật ra, nhà sản xuất chatGPT cũng có viết rõ rằng mặc dù những người kiến tạo ra ChatGPT đã có nhiều biện pháp giảm các sai sót, nhưng nó có thể thỉnh thoảng đưa ra những thông tin sai lệch hay cho ra những nội dung mang tính thiên lệch và xúc phạm. Câu tuyên ngôn của nhà sản xuất có ý nghĩa lớn đến vấn đề đạo đức trong việc sử dụng chatGPT. Trong tương lai, các giảng viên đại học chắc sẽ khổ tâm với sinh viên sử dụng chatGPT, và các biên tập của các tập san khoa học sẽ đau đầu với các tác giả sử dụng chatGPT để soạn bài báo khoa học.
Cũng như bất cứ công cụ trí năng nhân tạo nào, chatGPT lệ thuộc vào những dữ liệu đầu vào. Nếu dữ liệu đầu vào là rác thì câu trả lời (đầu ra) cũng là rác rưởi. Trong tương lai, chatGPT có thể tốt hơn, nhưng hiện nay thì nó chưa thể là một công cụ đưa ra những lời khuyên y tế, càng không thể là một công cụ để viết văn khoa học. Những quảng bá rùm beng về công hiệu của ChatGPT theo tôi phần lớn chỉ là ngoa ngôn hơn là thực chất.
____
[1] https://openai.com/blog/chatgpt
[2] https://www.nature.com/articles/d41586-023-00056-7
[3] https://nguyenvantuan830970966.files.wordpress.com/2023/01/a-conversation-with-chatgpt-1.pdf
https://nguyenvantuan.info/2023/01/30
Không có nhận xét nào:
Đăng nhận xét