ChatGPT là gì? ChatGPT (Chat Generative Pre-trained Transformer) là một chatbot trí tuệ nhân tạo được phát triển bởi OpenAI và ra mắt vào tháng 11/2022. Nó được xây dựng dựa trên các họ mô hình ngôn ngữ lớn (LLM) GPT-3.5 và GPT-4 của OpenAI và đã được tinh chỉnh (một cách tiếp cận để chuyển giao học tập) bằng cách sử dụng cả kỹ thuật học tập có giám sát và tăng cường.
ChatGPT được ra mắt dưới dạng nguyên mẫu vào ngày 30 tháng 11 năm 2022 và nhanh chóng thu hút sự chú ý nhờ các câu trả lời chi tiết và câu trả lời rõ ràng trên nhiều lĩnh vực kiến thức. Tuy nhiên, độ chính xác thực tế không đồng đều của nó đã được xác định là một nhược điểm đáng kể. Sau khi phát hành ChatGPT, định giá của OpenAI ước tính đạt 29 tỷ USD vào năm 2023.
ChatGPT ban đầu được phát hành vào tháng 11/2022 dựa trên GPT-3.5; GPT-4, mẫu OpenAI mới nhất, được phát hành vào ngày 14 tháng 3 năm 2023 và có sẵn cho người dùng ChatGPT Plus.
Qúa trình phát triển
ChatGPT là một thành viên của dòng mô hình ngôn ngữ biến áp được đào tạo trước (GPT). Nó đã được tinh chỉnh (một cách tiếp cận để chuyển giao học tập) so với phiên bản cải tiến của OpenAI GPT-3 được gọi là “GPT 3.5”. Quá trình tinh chỉnh đã thúc đẩy cả học tập có giám sát cũng như học tăng cường trong một quá trình gọi là học tăng cường từ phản hồi của con người (RLHF). Cả hai cách tiếp cận đều sử dụng máy bay huấn luyện của con người để cải thiện hiệu suất của mô hình. Trong trường hợp học có giám sát, mô hình được cung cấp các cuộc trò chuyện trong đó các giảng viên chơi cả hai bên: người dùng và trợ lý AI. Trong bước học tăng cường, các huấn luyện viên của con người trước tiên xếp hạng các câu trả lời mà mô hình đã tạo ra trong một cuộc trò chuyện trước đó. Các bảng xếp hạng này được sử dụng để tạo ra ‘mô hình phần thưởng’ mà mô hình đã được tinh chỉnh thêm bằng cách sử dụng một số lần lặp lại Tối ưu hóa chính sách gần (PPO). Các thuật toán Tối ưu hóa chính sách gần mang lại lợi ích hiệu quả về chi phí cho các thuật toán tối ưu hóa chính sách khu vực đáng tin cậy; Chúng phủ nhận nhiều hoạt động tốn kém về mặt tính toán với hiệu suất nhanh hơn. Các mô hình được đào tạo hợp tác với Microsoft về cơ sở hạ tầng siêu máy tính Azure của họ, sử dụng GPU Nvidia, “siêu máy tính được phát triển cho OpenAI là một hệ thống duy nhất với hơn 285.000 lõi CPU, 10.000 GPU và 400 gigabit mỗi giây kết nối mạng cho mỗi máy chủ GPU”.
Ngoài ra, OpenAI tiếp tục thu thập dữ liệu từ người dùng ChatGPT có thể được sử dụng để đào tạo thêm và tinh chỉnh ChatGPT. Người dùng có thể ủng hộ hoặc bỏ phiếu phản hồi mà họ nhận được từ ChatGPT và điền vào trường văn bản với phản hồi bổ sung.
Các tính năng và hạn chế của chatGPT
Tính năng
Ở đây ChatGPT được hỏi một câu hỏi thông thường: Jimmy Wales có bị giết trong các cuộc biểu tình ở Quảng trường Thiên An Môn không? ChatGPT trả lời đúng “không”, nhưng đưa ra không chính xác tuổi của xứ Wales vào thời điểm đó là 23 thay vì 22
Mặc dù chức năng cốt lõi của chatbot là bắt chước người giao tiếp của con người, ChatGPT rất linh hoạt. Ví dụ, nó có thể viết và gỡ lỗi các chương trình máy tính, soạn nhạc, teleplay, truyện cổ tích và bài luận của sinh viên; trả lời các câu hỏi kiểm tra (đôi khi, tùy thuộc vào bài kiểm tra, ở cấp độ cao hơn mức trung bình của người làm bài kiểm tra); viết thơ và lời bài hát; mô phỏng một hệ thống Linux; mô phỏng toàn bộ phòng chat; Chơi các trò chơi như tic-tac-toe; và mô phỏng máy ATM. Dữ liệu đào tạo của ChatGPT bao gồm các trang con người và thông tin về các hiện tượng internet và ngôn ngữ lập trình, chẳng hạn như hệ thống bảng thông báo và ngôn ngữ lập trình Python.
So với người tiền nhiệm của nó, InstructGPT, ChatGPT cố gắng giảm các phản hồi có hại và lừa đảo. Trong một ví dụ, trong khi InstructGPT chấp nhận tiền đề của lời nhắc “Hãy cho tôi biết khi Christopher Columbus đến Hoa Kỳ vào năm 2015” là trung thực, ChatGPT thừa nhận bản chất phản thực tế của câu hỏi và đóng khung câu trả lời của nó như một sự xem xét giả định về những gì có thể xảy ra nếu Columbus đến Hoa Kỳ vào năm 2015, sử dụng thông tin về các chuyến đi của Christopher Columbus và sự thật về thế giới hiện đại – bao gồm cả nhận thức hiện đại về hành động của Columbus.
Không giống như hầu hết các chatbot, ChatGPT nhớ các lời nhắc trước đó được đưa ra cho nó trong cùng một cuộc trò chuyện; Các nhà báo đã gợi ý rằng điều này sẽ cho phép ChatGPT được sử dụng như một nhà trị liệu được cá nhân hóa. Để ngăn chặn các đầu ra xúc phạm được trình bày và tạo ra từ ChatGPT, các truy vấn được lọc thông qua API kiểm duyệt toàn công ty của OpenAI, và các lời nhắc có khả năng phân biệt chủng tộc hoặc phân biệt giới tính sẽ bị loại bỏ.
Vào tháng 3/2023, OpenAI đã thông báo bổ sung hỗ trợ cho các plugin cho ChatGPT. Điều này bao gồm cả các plugin do OpenAI tạo ra, chẳng hạn như duyệt web và giải thích mã, cũng như các plugin bên ngoài từ các nhà phát triển như Expedia, OpenTable, Zapier, Shopify, Slack và Wolfram.
Giới hạn
ChatGPT gặp nhiều hạn chế. OpenAI thừa nhận rằng ChatGPT “đôi khi viết những câu trả lời nghe có vẻ hợp lý nhưng không chính xác hoặc vô nghĩa”. Hành vi này phổ biến đối với các mô hình ngôn ngữ lớn và được gọi là ảo giác trí tuệ nhân tạo. Mô hình phần thưởng của ChatGPT, được thiết kế xung quanh sự giám sát của con người, có thể được tối ưu hóa quá mức và do đó cản trở hiệu suất, còn được gọi là luật Goodhart.
ChatGPT có kiến thức hạn chế về các sự kiện xảy ra sau tháng 9/2021. Theo BBC, kể từ tháng 12 năm 2022, ChatGPT không được phép “bày tỏ quan điểm chính trị hoặc tham gia vào các hoạt động chính trị”.
Trong quá trình đào tạo ChatGPT, người đánh giá thích các câu trả lời dài hơn, bất kể nội dung hiểu thực tế hay thực tế. Dữ liệu đào tạo cũng bị sai lệch thuật toán, có thể được tiết lộ khi ChatGPT phản hồi lời nhắc bao gồm mô tả về con người. Trong một trường hợp, ChatGPT đã tạo ra một bản rap chỉ ra rằng phụ nữ và các nhà khoa học da màu kém hơn các nhà khoa học da trắng và nam giới
