Empat perusahaan AI terbesar di dunia, yaitu OpenAI, Google, Microsoft, dan Anthropic, menyatakan akan memakai satu standar baru yang memungkinkan pemilik situs menolak kontennya diambil untuk pelatihan model AI. Kabar ini muncul akhir Oktober 2026 dan langsung jadi perhatian pengelola media, penerbit, sampai pengelola situs pemerintahan. Sebabnya sederhana: selama ini penolakan harus disampaikan satu per satu ke setiap perusahaan AI, dan itu tidak praktis.

Bagi instansi pemerintah, desa, sekolah, dan UMKM di Indonesia, dampaknya bukan sekadar teknis. Hampir semua konten mereka (profil desa, dokumen anggaran, artikel, katalog produk, sampai panduan layanan) tersimpan terbuka di web. Selama bertahun-tahun isi itu bisa diambil crawler AI tanpa pemberitahuan, lalu dipakai menjawab pertanyaan orang lain tanpa menyebut sumbernya.

Satu token di robots.txt, bukan sepuluh pengaturan

Standar baru ini berbentuk sinyal bernama policy token yang diletakkan di dalam file robots.txt. File itu sudah puluhan tahun dipakai situs untuk memberi tahu crawler mana yang boleh dan tidak boleh mengambil halaman, baik untuk indeks mesin pencari, arsip, maupun pelatihan AI.

Yang berubah: satu token bisa membawa preferensi pemilik situs ke banyak penyedia AI sekaligus, tanpa perlu mendaftar ke masing-masing perusahaan. Usulan ini diajukan Kevin Kelley, technical lead for standards di Anthropic, lewat jalur Internet Engineering Task Force (IETF). Karena sifatnya standar terbuka, perusahaan AI lain bisa ikut memakainya tanpa harus menegosiasikan perjanjian bilateral dengan tiap penerbit.

Menurut laporan The Verge, Anthropic sudah lebih dulu mengadopsi sinyal tersebut. Google dan Microsoft berencana mendukungnya tahun depan, sedangkan OpenAI menyebut akan menerapkannya dalam beberapa bulan ke depan. Microsoft menambahkan bahwa mereka akan menyediakan kontrol lebih rinci: pemilik situs bisa memilih keluar dari pelatihan AI, atau hanya keluar dari AI grounding, yakni proses mengarahkan model ke sumber terverifikasi untuk menekan halusinasi. Yang penting, situs tetap muncul di hasil pencarian Bing apa pun pilihannya.

Meta ikut mendukung, tapi belum berjanji

Kepala komunikasi Meta, Andy Stone, menyatakan dukungan terhadap sinyal bersama ini. Ia menilai satu sinyal yang berlaku untuk banyak penyedia adalah langkah penting. Namun Meta belum memastikan apakah perusahaannya akan benar-benar menghormati token tersebut.

Dukungan Google juga bukan hal baru sepenuhnya. Google sudah punya kontrol agar pemilik situs menentukan apakah kontennya tampil di fitur pencarian AI atau dipakai untuk pelatihan, tanpa mengorbankan visibilitas di hasil pencarian biasa. Yang baru adalah kesepakatan lintas perusahaan untuk memakai satu mekanisme yang sama.

Konteksnya: crawler makin agresif, pemilik situs makin waspada

Langkah ini keluar setelah bertahun-tahun keluhan penerbit soal lonjakan trafik dari crawler AI yang tidak mengirim pengunjung sama sekali. Beberapa pihak memilih jalan sendiri: standar Really Simple Licensing (RSL) memberi penerbit kemampuan menagih crawler yang masuk, sementara Cloudflare memblokir crawler AI secara default bagi situs yang memakai layanannya.

Artinya, arah industri mulai bergeser dari "ambil dulu, urus izin belakangan" menjadi "hormati preferensi pemilik konten". Perusahaan AI menyadari risiko reputasi dan hukum jika terus mengabaikan permintaan tersebut, terutama di pasar dengan aturan perlindungan data yang makin ketat.

Yang perlu dilakukan instansi dan pengelola situs di Indonesia

• Audit robots.txt Anda sekarang. Buka situs-anda.go.id/robots.txt. Banyak situs pemerintah daerah dan desa masih memakai file bawaan template, tanpa aturan crawler AI sama sekali.
• Tentukan sikap, jangan diam. Apakah konten boleh dipakai untuk pelatihan AI? Apakah hanya boleh diindeks mesin pencari? Kebijakan ini sebaiknya diputuskan bersama pimpinan dan bagian hukum, bukan oleh vendor web secara sepihak.
• Pisahkan blokir AI dari blokir pencarian. Memblokir crawler AI tidak sama dengan menghilang dari Google. Menolak semua bot justru bisa menjatuhkan peringkat situs instansi di hasil pencarian publik.
• Periksa dokumen yang berisi data warga. Naskah scan, SK, dan laporan PDF sering memuat NIK atau data pribadi. Persoalannya menyangkut perlindungan data, bukan hanya scraping, sehingga penanganannya butuh pembatasan akses file.
• Jangan tunggu standar ini matang. Implementasi penuh Google dan Microsoft masih tahun depan. Sementara itu, penolakan per-vendor lewat robots.txt (misalnya untuk bot pelatihan milik masing-masing penyedia) tetap bisa dipakai sekarang; cek dokumentasi resmi tiap vendor karena nama bot bisa berubah.

Batasnya juga jelas

Sinyal ini bersifat kesukarelaan, bukan hukum. Perusahaan yang tidak menandatangani kesepakatan bisa mengabaikannya, dan crawler nakal tetap mungkin menyamar sebagai browser biasa. Untuk situs dengan konten berbayar atau data sensitif, robots.txt saja tidak cukup, perlu pembatasan di level server, WAF, atau Cloudflare.

Meski begitu, bagi mayoritas situs desa, sekolah, dan UMKM, satu baris preferensi yang dihormati empat perusahaan AI terbesar adalah lompatan besar dibanding kondisi sebelumnya. Setidaknya kini ada jalur resmi untuk berkata "jangan ambil konten saya", dan itu bisa dipasang tanpa biaya.

Sumber: The Verge, "The biggest names in AI are backing a new way to opt out of scraping", 30 Oktober 2026; OpenAI, "Making it easier for websites to express AI training preferences", 30 Oktober 2026.