Tin tức về AI

Chặn AI dùng nội dung website để huấn luyện: 1 dòng robots.txt mới và điều chủ website cần biết trước 2027

Posted on by agentmuseai
Chủ shop nhỏ bảo vệ nội dung website của mình trước các cánh tay robot AI bằng tấm khiên màu cam
07
Th11

Bạn có muốn ChatGPT, Gemini hay Claude học từ bài viết trên website của mình không? Từ ngày 30/10/2026, câu trả lời của bạn đã có cách thể hiện gọn hơn nhiều. Chỉ một dòng trong file robots.txt là đủ để chặn AI dùng nội dung website để huấn luyện.

Bốn hãng AI lớn nhất — Google, Microsoft, OpenAI và Anthropic — vừa đồng thuận cùng một tín hiệu chung. Trước đây, mỗi hãng một cách riêng. Chủ website phải khai báo từng con bot một. Giờ đây, một nhóm quy tắc duy nhất có thể nói với cả bốn hãng cùng lúc.

Bài viết này giải thích tín hiệu mới đó là gì, nó khác gì với chặn Googlebot hay chặn AI Overviews, và bạn nên làm gì trước năm 2027.

Chuyện gì vừa xảy ra ngày 30/10/2026?

Ngày 30/10/2026, cả bốn hãng cùng công bố một cơ chế chung trong cùng một ngày. Google đăng bài “Supporting a shared AI training control for websites” trên blog Google Search Central. Microsoft đăng “Your content, your choice” trên blog Bing. OpenAI đăng “Making it easier for websites to express AI training preferences”. Anthropic thì đi xa hơn một bước về mặt kỹ thuật.

Cùng ngày 30/10/2026, Kevin Kelley, kỹ sư của Anthropic, gửi bản dự thảo Internet-Draft lên nhóm làm việc AI Preferences (AIPREF) của IETF, tổ chức chuẩn hóa các giao thức internet. Mã của dự thảo là draft-kelley-aipref-training-preference-signal-00. Dự thảo này hết hạn ngày 03/05/2027 nếu không được cập nhật.

Cần nói rõ một điểm. Đây mới là dự thảo cá nhân, chưa phải chuẩn chính thức của IETF. Tài liệu ghi rõ nó “không được IETF chứng thực và không có vị thế chính thức trong quy trình chuẩn hóa của IETF”. Cam kết của bốn hãng là thật. Nhưng quá trình chuẩn hóa thì chưa xong.

Vì sao sự kiện này đáng chú ý? Vì trước nay, chủ website muốn từ chối AI huấn luyện phải làm riêng từng hãng. Muốn chặn OpenAI thì khai GPTBot. Muốn chặn Google thì khai Google-Extended. Muốn chặn Anthropic thì khai ClaudeBot. Mỗi hãng một tên, một cách hiểu. Giờ đây, bốn hãng đồng ý đọc chung một tín hiệu.

Dòng robots.txt mới hoạt động ra sao?

Tín hiệu mới là một “policy token” có tên __usage_ai-training. Bạn đặt nó vào file robots.txt như sau (dạng khối code trong bài):

User-Agent: __usage_ai-training
Disallow: /

Hai dòng này nghĩa là: tôi không muốn nội dung của toàn bộ website này được dùng để huấn luyện mô hình AI tạo sinh. Bạn cũng có thể mở ngoại lệ cho từng phần. Ví dụ trong dự thảo:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Nhóm quy tắc này cho phép AI dùng nội dung trong thư mục /press-kit/, nhưng không dùng phần còn lại của website.

Có một điểm kỹ thuật cần hiểu đúng. __usage_ai-training không phải tên của một con bot thật. Không có crawler nào tự xưng là __usage_ai-training khi truy cập website của bạn. Nó là một token chính sách. Nó nằm ở vị trí thường ghi tên bot trên dòng User-Agent, nhưng bản chất nó nêu một cách sử dụng bị từ chối, chứ không chỉ một con bot cụ thể.

Dự thảo cũng định nghĩa rõ “AI training” nghĩa là gì. Đó là việc dùng nội dung “để thay đổi các tham số đã học của mô hình AI tạo sinh”. Định nghĩa này lấy từ nhóm từ vựng của AIPREF. Việc huấn luyện mô hình chỉ để phân loại, xếp hạng hay chấm điểm thì không tính là AI training theo định nghĩa này.

Quan trọng hơn, tín hiệu này không phải lệnh chặn thu thập dữ liệu. Dự thảo ghi rõ token này “không phải chỉ thị về hành vi thu thập dữ liệu”. Nó nêu ý muốn về cách nội dung được dùng. Nó không ngăn bot vào website của bạn. Phần mềm nào không triển khai cơ chế này sẽ bỏ qua nhóm quy tắc đó.

Ba công tắc khác nhau: huấn luyện, tìm kiếm, câu trả lời AI

Đây là phần dễ nhầm nhất, và cũng là phần quan trọng nhất của bài viết. Có ba việc hoàn toàn khác nhau. Mỗi việc có một công tắc riêng.

Thứ nhất là huấn luyện mô hình. Đây là việc AI lấy nội dung của bạn để dạy cho mô hình mới. Tín hiệu __usage_ai-training chỉ quản lý đúng việc này.

Thứ hai là thu thập dữ liệu để lập chỉ mục tìm kiếm. Đây là việc Googlebot hay Bingbot vào website, đọc nội dung, rồi đưa trang của bạn lên trang kết quả tìm kiếm. Tín hiệu mới không chạm tới việc này. Chặn AI dùng nội dung website để huấn luyện không làm mất thứ hạng tìm kiếm của bạn. Google và Microsoft đều khẳng định điều này.

Thứ ba là trích dẫn nội dung trong câu trả lời AI. Đây là việc ChatGPT, Gemini hay Copilot đọc trang của bạn rồi trả lời người dùng, có kèm link nguồn. Việc này dùng dữ liệu tìm kiếm trực tiếp, không phải dữ liệu huấn luyện. Vì vậy, chặn huấn luyện cũng không gỡ website của bạn khỏi AI Overviews hay khỏi câu trả lời của ChatGPT.

Việc cần kiểm soát Công tắc tương ứng Tín hiệu mới có tác dụng không?
AI lấy nội dung để huấn luyện mô hình mới __usage_ai-training trong robots.txt Có, khi hãng triển khai xong
Googlebot/Bingbot lập chỉ mục để xếp hạng tìm kiếm Quy tắc robots.txt cho Googlebot, Bingbot Không, hai việc này tách riêng
AI trích dẫn trang của bạn trong câu trả lời Cài đặt grounding riêng của từng hãng (ví dụ Microsoft có thêm tùy chọn AI grounding) Không, cần công tắc riêng

Điểm này liên quan trực tiếp tới bài trước của Net5s về cách AI Overviews thay đổi SEO. Nếu mục tiêu của bạn là vẫn được AI trích dẫn, thì chặn huấn luyện không giúp cũng không hại. Muốn điều chỉnh việc trích dẫn, bạn cần dùng công tắc khác, của riêng từng hãng.

Lịch triển khai của từng hãng

Bốn hãng cùng cam kết ngày 30/10/2026, nhưng lịch triển khai không giống nhau. Không hãng nào bật ngay trong ngày công bố. Đây là lịch đã công bố tới đầu tháng 11/2026.

Microsoft có ngày cụ thể nhất. Bing bắt đầu áp dụng các tùy chọn mới từ ngày 01/02/2027, theo từng lần Bingbot thu thập lại trang. Microsoft còn mở thêm một tùy chọn riêng về AI grounding, tức là việc nội dung có được dùng trong câu trả lời AI của Bing và Copilot hay không. Cài đặt tạm thời này mở trong Bing Webmaster Tools từ ngày 15/12/2026. Các website đang dùng thẻ NoArchive hoặc NoCache làm công cụ kiểm soát AI cần lưu ý: Microsoft sẽ ngừng đọc hai thẻ này cho mục đích AI từ ngày 01/03/2027.

Google nói sẽ hỗ trợ trong năm 2027. Ghi chú Google thêm vào tài liệu về crawler ngày 30/10/2026 ghi rõ hơn là “đầu năm 2027”. Cách Google áp dụng cũng đã rõ: khi không có quy tắc Google-Extended cụ thể, Google sẽ hiểu token chung này tương đương với Google-Extended: Disallow. Nếu bạn đã khai Google-Extended riêng, quy tắc riêng đó vẫn có hiệu lực và được ưu tiên.

OpenAI cam kết sẽ áp dụng, nhưng chưa công bố ngày cụ thể. Hãng chỉ nói sẽ triển khai “trong những tháng tới” và sẽ cập nhật thêm khi tính năng sẵn sàng.

Anthropic là hãng đi trước về mặt thực hành. Hãng đã bắt đầu triển khai hỗ trợ, trước hết với ClaudeBot. Việc mở rộng sang các dịch vụ khác sẽ diễn ra dần trong những tháng tới.

Tóm lại, mốc cứng duy nhất tới lúc này là ngày 01/02/2027 của Microsoft. Còn lại đều là “năm 2027” hoặc “những tháng tới”. Nghĩa là nhóm quy tắc mới chưa có tác dụng ngay hôm nay ở mọi hãng. Nó là sự chuẩn bị cho năm 2027.

Có nên chặn AI dùng nội dung website của mình không?

Không có đáp án đúng cho mọi website. Quyết định này phụ thuộc vào nội dung của bạn là gì, và bạn kiếm tiền từ nó ra sao. Dưới đây là khung cân nhắc thực tế cho doanh nghiệp nhỏ.

Bạn nên cân nhắc chặn, nếu nội dung là tài sản riêng của bạn. Ví dụ: giáo trình khóa học trả phí, báo cáo nghiên cứu độc quyền, dữ liệu giá do chính bạn khảo sát, bài viết chuyên sâu mà bạn bỏ nhiều công sức. Với những nội dung này, việc AI học rồi trả lời thay bạn có thể lấy mất khách hàng mà không mang lại lượt truy cập nào.

Bạn nên cân nhắc mở, nếu website của bạn sống nhờ được tìm thấy. Ví dụ: shop bán hàng, dịch vụ địa phương, blog chia sẻ kiến thức miễn phí để kéo khách. Với những website này, nội dung xuất hiện càng nhiều nơi càng tốt. Chặn huấn luyện không làm mất thứ hạng tìm kiếm, nhưng cũng không mang lại lợi ích rõ ràng nào. Trong khi đó, nội dung của bạn có mặt trong dữ liệu huấn luyện có thể giúp thương hiệu được AI nhắc tới nhiều hơn.

Có ba lưu ý nữa trước khi bạn quyết định.

Thứ nhất, chặn hôm nay không xóa được những gì AI đã học trước đây. Tín hiệu này chỉ áp dụng cho việc huấn luyện trong tương lai, tính từ lúc hãng triển khai và thu thập lại nội dung. Nó không bắt mô hình “quên” dữ liệu cũ.

Thứ hai, chặn huấn luyện không ngăn được việc sao chép nội dung trái phép. Bot xấu, trình thu thập dữ liệu không tuân thủ robots.txt, vẫn có thể lấy nội dung của bạn. Tín hiệu này dựa trên sự tự nguyện tuân thủ của các hãng lớn. Nó không phải rào chắn kỹ thuật tuyệt đối.

Thứ ba, bạn có thể chặn một phần thay vì chặn toàn bộ. Ví dụ: chặn thư mục chứa tài liệu nội bộ và nội dung trả phí, nhưng mở phần blog công khai và trang sản phẩm. Cơ chế Allow trong robots.txt cho phép làm điều này.

Chủ shop nhỏ cân nhắc giữa lợi ích hiển thị trên mạng và bảo vệ nội dung riêng
Chặn hay mở không có đáp án đúng cho mọi website. Quan trọng là nội dung đó có phải tài sản riêng của bạn hay không.

Cách chặn AI dùng nội dung website trong 10 phút

Nếu bạn đã quyết định chặn, các bước thực hiện rất nhanh. Toàn bộ chỉ nằm trong file robots.txt của website.

Bước 1, mở file robots.txt hiện tại của bạn. Gõ địa chỉ tenmien.vn/robots.txt trên trình duyệt. Đọc kỹ các nhóm quy tắc đang có. Đừng xóa bất kỳ dòng nào nếu bạn chưa hiểu nó làm gì.

Bước 2, thêm nhóm quy tắc mới vào cuối file. Nội dung như sau (dạng khối code trong bài):

User-Agent: __usage_ai-training
Disallow: /

Nếu bạn chỉ muốn chặn một phần, thay dấu / bằng đường dẫn thư mục cần chặn. Ví dụ Disallow: /tai-lieu-noi-bo/ chỉ chặn thư mục đó.

Bước 3, giữ nguyên các quy tắc cũ cho tới khi các hãng triển khai xong. Vì Microsoft chỉ bắt đầu từ 01/02/2027 và Google từ đầu năm 2027, nên các quy tắc riêng từng hãng vẫn cần thiết trong lúc chờ. Cụ thể, bạn nên giữ lại: GPTBot cho OpenAI, Google-Extended cho Google, ClaudeBot cho Anthropic và CCBot cho Common Crawl. Chỉ khi nào hãng xác nhận đã hỗ trợ token chung, bạn mới có thể cân nhắc dọn dẹp các quy tắc cũ.

Bước 4, kiểm tra lại file sau khi lưu. Mở lại tenmien.vn/robots.txt để chắc chắn nội dung đã cập nhật. Nếu website dùng WordPress, bạn có thể sửa robots.txt trong phần cài đặt của plugin Yoast SEO hoặc Rank Math, không cần vào hosting. Một số website dùng Cloudflare có thể dùng thêm tính năng Content Signals mà Cloudflare ra mắt ngày 24/09/2025. Đây là lựa chọn bổ sung, không thay thế robots.txt.

Bước 5, ghi chú lại ngày bạn thêm quy tắc. Bạn sẽ cần mốc này để đối chiếu khi hãng công bố đã triển khai xong, hoặc khi bạn muốn đổi quyết định.

Màn hình laptop hiển thị cài đặt robots.txt với robot AI bị tấm khiên chặn lại
Chỉ cần thêm một nhóm quy tắc mới vào cuối file robots.txt, không cần sửa các quy tắc đang chạy.

4 hiểu lầm thường gặp

Hiểu lầm 1: thêm dòng này là Google sẽ không index website nữa. Sai. Tín hiệu mới không phải lệnh chặn thu thập dữ liệu. Googlebot vẫn vào website và lập chỉ mục bình thường. Thứ hạng tìm kiếm không thay đổi vì tín hiệu này.

Hiểu lầm 2: thêm dòng này là ChatGPT sẽ không trích dẫn website của mình nữa. Sai. Việc trích dẫn trong câu trả lời dùng dữ liệu tìm kiếm trực tiếp. Muốn điều chỉnh việc này, bạn cần công tắc grounding riêng của từng hãng, như tùy chọn AI grounding mới của Microsoft.

Hiểu lầm 3: thêm một dòng là có hiệu lực ngay hôm nay. Sai. Chưa hãng nào bật ngay trong ngày 30/10/2026. Mốc sớm nhất là 01/02/2027 của Microsoft. Google dự kiến đầu năm 2027. OpenAI và Anthropic triển khai dần trong những tháng tới.

Hiểu lầm 4: robots.txt là tường lửa chặn được mọi bot AI. Sai. robots.txt là thỏa thuận tự nguyện. Các hãng lớn tuân thủ vì uy tín và pháp lý. Nhưng bot xấu, trình thu thập dữ liệu không khai báo danh tính, vẫn có thể phớt lờ file này. Muốn chặn ở mức kỹ thuật, bạn cần thêm lớp bảo vệ ở tường lửa hoặc CDN.

Checklist cho chủ website trước năm 2027

Đây là những việc nên làm ngay, theo thứ tự thời gian.

Trước ngày 20/11/2026, đọc lại điều khoản thương mại cập nhật của Meta. Điều khoản này cho phép Meta dùng bot đọc website gắn với Facebook, Instagram hoặc WhatsApp của doanh nghiệp. Đây là diễn biến riêng, ngoài tín hiệu robots.txt, nhưng cùng liên quan tới việc AI dùng nội dung website của bạn. Net5s đã nhắc tới điều này trong bản tin AI đầu tháng 11/2026.

Trước ngày 15/12/2026, nếu website của bạn có lưu lượng từ Bing, hãy vào Bing Webmaster Tools. Microsoft mở cài đặt tạm thời về AI grounding từ ngày này. Bạn nên xem và chọn theo ý mình, trước khi các tùy chọn cũ hết hiệu lực.

Trước ngày 01/02/2027, quyết định có chặn huấn luyện hay không. Nếu chặn, thêm nhóm __usage_ai-training vào robots.txt. Đồng thời giữ lại các quy tắc GPTBot, Google-Extended, ClaudeBot và CCBot đang có.

Trước ngày 01/03/2027, kiểm tra lại nếu website của bạn đang dùng thẻ NoArchive hoặc NoCache để kiểm soát AI trên Bing. Từ ngày này, Microsoft ngừng đọc hai thẻ này cho mục đích AI. Bạn cần chuyển sang cơ chế mới.

Trong năm 2027, theo dõi thông báo triển khai của Google và OpenAI. Khi hãng xác nhận đã hỗ trợ token chung, bạn có thể dọn dẹp các quy tắc riêng lẻ nếu muốn. Nhưng giữ lại cũng không hại gì.

Cuối cùng, đừng quên kiểm tra định kỳ. Tín hiệu này còn là dự thảo, hết hạn ngày 03/05/2027 nếu không được cập nhật. Chuẩn cuối cùng có thể thay đổi. Chủ website nên xem lại quyết định của mình mỗi quý một lần, thay vì cài một lần rồi quên.

Kết luận

Ngày 30/10/2026 là lần đầu tiên bốn hãng AI lớn nhất cùng đồng ý một cách nói chung về việc huấn luyện. Một dòng trong robots.txt, thay vì bốn quy tắc riêng lẻ. Đó là tiến bộ thật, nhưng chưa phải giải pháp hoàn chỉnh.

Tín hiệu mới chỉ quản lý việc huấn luyện. Nó không ảnh hưởng thứ hạng tìm kiếm. Nó không gỡ website của bạn khỏi câu trả lời AI. Và nó chưa có hiệu lực ngay hôm nay: mốc sớm nhất là 01/02/2027 của Microsoft, còn Google, OpenAI và Anthropic triển khai dần trong năm 2027.

Vì vậy, việc cần làm của chủ website không phải là vội vàng chặn hay vội vàng mở. Việc cần làm là hiểu rõ ba công tắc khác nhau, quyết định dựa trên loại nội dung của mình, rồi cài đặt đúng và ghi chú lại để theo dõi. Một quyết định có suy nghĩ luôn tốt hơn một phản xạ sợ hãi.

Nếu bạn chưa chắc website của mình đang mở hay chặn AI ở mức nào, đội ngũ Net5s có thể kiểm tra giúp. Gói dịch vụ thiết kế website trọn gói của Net5s giá 3.690.000đ, tặng kèm chatbot AI tư vấn khách hàng, cùng 10 khuyến mãi gồm hosting, tên miền, SSL và 20 bài chuẩn SEO. Bạn cũng có thể xem cách AI Agent trên website đang giúp doanh nghiệp nhỏ tự tư vấn và chốt đơn, hoặc tìm hiểu cách AI hỗ trợ SEO cho website của mình. Liên hệ hotline 0858 745 402 để được tư vấn cụ thể cho website của bạn.

Có thể bạn quan tâm

Bài viết liên quan