Liên Liên
17/02/2023
DetectGPT: Nghiên cứu từ Stanford dùng để nhận biết văn bản do AI tạo ra. (Sử dụng ảnh gốc từ Pixabay).
Vào ngày 26/1/2023, một nhóm nghiên cứu từ Stanford đã giới thiệu một nghiên cứu mới, có tên là DetectGPT, dùng để nhận biết văn bản do AI tạo ra.
Nghiên cứu này tạm thời được đăng trên arXiv, với tiêu đề là: DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature.
Giới thiệu sơ về DetectGPT
Điều đáng chú ý là nghiên cứu này được thực hiện bởi những chuyên gia về xử lý ngôn ngữ tự nhiên ở Stanford.
Stanford hiện đang được xếp hạng là trường Đại học đứng thứ hai trên toàn thế giới về xử lý ngôn ngữ tự nhiên (theo xếp hạng từ trang CSRankings: Computer Science Rankings, về lĩnh vực xử lý ngôn ngữ tự nhiên, dựa trên dữ liệu từ năm 2012 đến năm 2022).
Một điều đáng chú ý khác là nghiên cứu này có sự hướng dẫn từ giáo sư Christopher D. Manning, một trong những chuyên gia hàng đầu về xử lý ngôn ngữ tự nhiên trên toàn thế giới.
Tại sao cần sử dụng công cụ DetectGPT?
Các mô hình ngôn ngữ lớn (large language models - LLM) đã được chứng minh là có thể tạo ra các phản hồi trôi chảy và chất lượng cho nhiều người dùng.
Các mô hình như GPT-3, PaLM và ChatGPT có thể trả lời một cách thuyết phục những câu hỏi phức tạp về khoa học, toán học, các sự kiện lịch sử và hiện tại, và các xu hướng xã hội.
Mặc dù các mô hình ngôn ngữ lớn vẫn còn một số hạn chế, nhưng khả năng của LLM đã có thể sử dụng để thay thế con người trong một số trường hợp; ví dụ như, viết báo và tiểu luận.
Điều này dẫn đến một số vấn đề trong xã hội, ví dụ như, làm cho tính công bằng khi đánh giá học sinh khó khăn hơn, làm giảm hiệu quả học tập của học sinh, và có thể làm phổ biến các bài báo thuyết phục khác nhưng không chính xác.
Thật không may, con người chỉ hoạt động tốt hơn một chút so với ‘chance' (vì đây là bài toán phân lớp, xác suất đúng là 50%), khi phân loại văn bản là do máy tạo ra (machine-generated) hay do con người viết (human-written text).
Để giáo viên và những người đọc tin tức có thể tự tin hơn khi xem xét các văn bản, thì các công cụ dùng để nhận biết văn bản do AI tạo ra là khá cần thiết.
DetectGPT nhận biết văn bản do AI tạo ra như thế nào?
Ở đây, mình sẽ cố gắng tóm tắt một cách dễ hiểu các ý chính của công cụ DetectGPT, về chi tiết, bạn đọc có thể xem qua ở bài báo gốc.
Ví dụ, ký hiệu X là đoạn văn bản ban đầu, là đoạn văn bản đầu vào mà chúng ta cần xác định liệu đoạn văn bản này là do con người viết hay là do máy tạo ra.
Công cụ DetectGPT có 3 bước chính như sau:
Bước 1: Perturb
Perturb tạm dịch là ‘nhiễu loạn'. Ở bước này, công cụ DetectGPT sẽ tạo ra các phiên bản khác của X, tạm gọi là X1, X2, … Xn. Những đoạn văn bản X1, X2, … Xn này, vẫn có nội dung giống X. Điều khác biệt ở đây là những đoạn văn bản này đã được thay đổi một số từ hoặc xóa một số từ.
Ví dụ như trong hình bên dưới đây, chúng ta có thể thấy rằng việc thay cụm từ ‘made a move' thành từ ‘moved' sẽ không làm thay đổi nghĩa của câu.
3 bước mô tả cách thức hoạt động của công cụ DetectGPT. (Ảnh: chụp màn hình từ hình 1 từ file pdf của nghiên cứu về DetectGPT).
Bước 2: Score
Mỗi mô hình ngôn ngữ sau khi huấn luyện xong, sẽ có lưu lại một bộ tham số, ở đây tạm gọi là tham số của mô hình.
Từ đoạn văn bản X (đoạn văn bản gốc), và các đoạn văn bản tạo ra ở bước 1, X1, X2, … Xn; chúng ta sẽ sử dụng bộ tham số của mô hình để tính ‘log probability’ (probability dịch sang tiếng Việt là xác suất) cho các đoạn văn bản này.
Bước 3: Compare
Ở bước này, DetectGPT sẽ tiến thành so sánh ‘log probability’ của đoạn văn bản gốc X, và ‘log probability’ của các đoạn văn bản X1, X2, … Xn.
DetectGPT hoạt động dựa trên giả thiết như sau:
Nếu văn bản là do máy tạo ra thì ‘log probability’ của các đoạn văn bản X1, X2, … Xn sẽ luôn luôn nhỏ hơn ‘log probability’ của đoạn văn bản gốc X. (Biểu đồ đỏ của hình dưới đây). Bạn có thể thấy ‘log probability’ của đoạn văn bản X sẽ nằm trên đỉnh của ngọn núi, còn ‘log probability’ của các đoạn văn bản X1, X2, … Xn sẽ nằm ở hai bên của ngọn núi.
Trong khi đó, nếu văn bản là do con người viết, thì ‘log probability’ của các đoạn văn bản X1, X2, … Xn sẽ nằm lộn xộn ở các nơi, và không theo quy luật nào cả khi chúng ta so sánh chúng với ‘log probability’ của đoạn văn bản X. (Biểu đồ xanh của hình dưới đây).
Mô tả sự khác nhau giữa ‘log probability’ của văn bản do máy tạo ra và văn bản do con người viết. (Ảnh: chụp màn hình từ hình 2 từ file pdf của nghiên cứu về DetectGPT).
Giả thiết này đã được nhóm tác giả kiểm chứng qua các thực nghiệm trong nghiên cứu, và cho thấy giả thiết này cho ra kết quả tốt hơn các nghiên cứu khác.
DetectGPT vượt trội hơn những công cụ hiện có ở điểm nào?
Điểm nổi bật nhất của DetectGPT là công cụ này sử dụng phương pháp zero-shot. Điều này có nghĩa là DetectGPT không cần sử dụng bất kỳ bộ dữ liệu nào khác cho việc huấn luyện DetectGPT.
Thay vào đó, DetectGPT chỉ sử dụng dữ liệu đầu vào, các tham số của mô hình mà sinh ra đoạn văn bản đó, và một vài mô hình liên quan khác.
Xem thêm:
ChatGPT có khả năng suy luận logic như con người không?
Những ví dụ vui về hạn chế của các mô hình trí tuệ nhân tạo
ChatGPT ra mắt ấn tượng khi phá vỡ các cột mốc của Instagram, Spotify, và Facebook
Những hạn chế nổi bật của các mô hình trí tuệ nhân tạo
ChatGPT của OpenAI có thể làm được những việc gì?
ChatGPT ra mắt bản thu phí, 20 đô mỗi tháng, có nên sử dụng?
Điểm chuẩn ngành trí tuệ nhân tạo 2022
Có thể học trí tuệ nhân tạo ở đâu?
ChatGPT có thể vượt qua bài kiểm tra Turing không?
Nguồn tham khảo:
Bài viết có tham khảo và dịch một số đoạn từ nghiên cứu: “DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature” - arXiv Jan 2023, bởi nhóm tác giả: Eric Mitchell, Yoonho Lee, Alexander Khazatsky, Christopher D. Manning, và Chelsea Finn
https://www.ntdvn.net/khoa-hoc
Không có nhận xét nào:
Đăng nhận xét