Empat perusahaan AI terbesar dunia, yaitu OpenAI, Google, Microsoft, dan Anthropic, pada 30 Oktober 2026 sepakat mengadopsi satu sinyal bersama di dalam berkas robots.txt yang memungkinkan pemilik situs menolak kontennya dipakai untuk pelatihan model AI. Artinya, pemilik website tidak lagi harus menulis aturan terpisah untuk setiap perusahaan AI. Bagi instansi pemerintah, desa, sekolah, dan UMKM di Indonesia yang websitenya berisi konten publik, ini perubahan aturan main yang perlu dipahami sekarang, meski penerapannya baru berjalan bertahap hingga 2027.

Sinyal tersebut berupa policy token bertuliskan __usage_ai-training yang diletakkan pada baris User-Agent di robots.txt, sesuai draf teknis yang diajukan Kevin Kelley, technical lead for standards di Anthropic, ke Internet Engineering Task Force (IETF) melalui kelompok kerja AI Preferences (AIPREF). Draf itu terbit 30 Oktober 2026 dan berlaku sebagai dokumen kerja, bukan standar resmi yang sudah disahkan.

Apa yang sebenarnya berubah

robots.txt sudah lama dipakai situs web untuk memberi tahu mesin pencari dan perayap (crawler) halaman mana yang boleh diambil. Selama ini setiap penyedia AI punya token sendiri: Google punya Google-Extended, OpenAI punya deretan bot seperti GPTBot, dan seterusnya. Pemilik situs yang ingin menolak pelatihan AI harus mendaftar satu per satu. Daftar itu pun perlu diperbarui setiap kali ada bot baru muncul.

Dengan sinyal bersama, satu grup aturan bisa berlaku untuk semua penyedia yang ikut serta. Kurang lebih bentuknya seperti ini:

• User-Agent: __usage_ai-training
• Disallow: /

Grup tersebut dibaca sebagai pernyataan "jangan gunakan konten situs ini untuk pelatihan model AI generatif". Drafnya tidak menambah perintah atau tata bahasa baru: struktur grup, aturan jalur (path), dan prinsip longest-match tetap sama seperti RFC 9309. Perayap lama yang tidak mengenali token tersebut akan mengabaikannya, sama seperti mereka mengabaikan grup untuk bot yang tidak dikenal.

Yang juga penting: sinyal ini bisa diatur per direktori. Situs bisa menolak pelatihan AI untuk hampir semua halaman, tetapi tetap mengizinkan untuk folder tertentu seperti siaran pers atau publikasi resmi.

Siapa sudah jalan, siapa menyusul

Urutan adopsinya tidak seragam, dan ini perlu dicatat agar tidak salah paham:

• Anthropic dilaporkan sudah mengadopsi sinyal ini.
• OpenAI menyatakan akan mengimplementasikannya "dalam beberapa bulan ke depan" dan berjanji memberi pembaruan teknis saat penerapannya. OpenAI menegaskan sinyal baru ini tidak menghapus kontrol yang sudah ada di robots.txt.
• Google menargetkan dukungan pada 2027. Jika sebuah situs memakai token untuk menolak pelatihan dan tidak menyebut Google-Extended secara eksplisit, Google akan membacanya seolah-olah Google-Extended dilarang.
• Microsoft juga menyasar 2027, dengan kontrol lebih rinci. Pemilik situs bisa memilih menolak pelatihan AI, menolak grounding (penggunaan situs sebagai rujukan jawaban AI), atau keduanya.

Microsoft memastikan situs tetap muncul di hasil pencarian Bing apa pun preferensinya. Konteksnya, penerbit di seluruh dunia sedang kewalahan menghadapi banjir perayap AI. Sebelum ini sudah muncul standar RSL yang memungkinkan penerbit menagih perayap, dan Cloudflare memblokir perayap AI secara default. Google dalam pengumumannya menyebut proposal ini sejalan dengan Code of Practice untuk penyedia model AI tujuan umum (GPAI) di bawah EU AI Act, yang mengakui robots.txt sebagai metode utama bagi penerbit menyatakan preferensi dalam format yang bisa dibaca mesin.

Dampak nyata bagi pengguna di Indonesia

Pemerintah daerah dan desa. Situs pemerintah berisi banyak data yang justru diharapkan menyebar: profil wilayah, anggaran, program, pengumuman layanan. Menolak pelatihan AI secara membabi buta bisa mengurangi kemungkinan informasi layanan publik muncul sebagai rujukan saat warga bertanya ke asisten AI. Pendekatan yang lebih masuk akal adalah memilah. Izinkan halaman informasi publik, tolak dokumen internal, arsip lama, atau data pribadi yang tidak seharusnya terbuka.

Sekolah dan kampus. Materi ajar, modul, dan karya siswa adalah kasus paling sensitif. Sinyal ini memberi cara sederhana untuk menyatakan bahwa materi tersebut untuk belajar, bukan bahan latihan model.

UMKM dan toko online. Bagi yang mengandalkan trafik pencarian, kehadiran di jawaban AI kini menjadi saluran pemasaran baru. Menolak pelatihan berarti memilih keluar dari saluran itu. Untuk toko yang kontennya mudah ditiru, menolak bisa jadi pilihan. Untuk yang ingin dikenal, mengizinkan justru menguntungkan.

Developer dan pengelola server. Implementasinya cukup satu blok di robots.txt, tapi jangan salah kaprah. Drafnya sendiri menyatakan token ini bukan perintah pengaturan perayapan. Kepatuhan bersifat sukarela dan bergantung pada niat baik masing-masing penyedia. Kalau tujuannya benar-benar memblokir, tetap butuh lapisan teknis seperti WAF, pembatasan laju akses, atau aturan Cloudflare.

Langkah praktis yang bisa diambil sekarang

1. Buka robots.txt situs Anda dan catat aturan yang sudah ada, jangan hapus kontrol lama.
2. Tentukan kebijakan konten: halaman mana yang boleh dipakai AI, mana yang tidak.
3. Tambahkan grup __usage_ai-training pada direktori yang ingin ditolak, atau di tingkat situs bila memang ingin menolak semuanya.
4. Pantau log akses untuk melihat perayap AI mana yang benar-benar menghormati aturan tersebut.
5. Tinjau ulang kebijakan itu pada 2027, saat Google dan Microsoft mulai menerapkan dukungan penuh.

Intinya, ini bukan larangan dan bukan tombol blokir. Ini bahasa bersama agar situs bisa bicara sekali dan didengar banyak penyedia AI. Bagi pengelola website instansi di Indonesia, momen terbaik untuk menyusun kebijakan konten AI adalah sebelum standarnya benar-benar berlaku.

Sumber: OpenAI: Making it easier for websites to express AI training preferences; Google Search Central: Supporting a shared AI training control for websites; The Verge; IETF draft-kelley-aipref-training-preference-signal-00.