Empat Raksasa AI Sepakat Satu Sinyal robots.txt 2026

Selama ini, pemilik situs yang tidak mau kontennya dipakai melatih AI harus menulis aturan satu per satu untuk tiap perusahaan: OpenAI, Google, Microsoft, Anthropic, dan seterusnya. Pada 30 Oktober 2026, keempat raksasa AI itu sepakat menyederhanakannya lewat satu sinyal robots.txt yang sama.

Inti kesepakatan yang diumumkan serentak oleh OpenAI, Google, Microsoft, dan Anthropic ini sederhana: pemilik situs cukup menulis satu preferensi di robots.txt, dan keempat lab akan menafsirkannya sama, sebagai pernyataan apakah konten situs boleh dipakai melatih model AI generatif atau tidak.

Apa yang sebenarnya disepakati?

Yang disepakati bukan undang-undang baru, bukan pula tombol ajaib yang memblokir semua AI. Ini sinyal sukarela dari kelompok kerja AI Preferences milik Internet Engineering Task Force (IETF). Draf individualnya, Machine-Readable Training Preference Signal karya Kevin Kelley dari Anthropic bertanggal 30 Oktober 2026, memperkenalkan satu token lintas vendor: `__usage_ai-training`.

Cara pakainya mengikuti aturan robots.txt yang sudah lama dikenal. Pemilik situs menulis grup dengan baris `User-Agent: __usage_ai-training`, lalu `Disallow: /` bila tidak ingin kontennya dipakai melatih AI. Pengecualian per jalur tetap bisa dibuat — contoh di draf itu memadukan `Disallow: /` dengan `Allow: /press-kit/`, artinya semua konten tertutup untuk pelatihan, kecuali halaman di bawah direktori press-kit. Jadi bukan pilihan hitam-putih untuk seluruh situs; pemilik bisa memilah bagian mana yang dibuka dan mana yang ditutup.

Detail teknis yang mudah disalahpahami: grup wildcard `User-Agent: *` tidak cocok dengan token ini. Aturan lama untuk semua crawler tidak otomatis menjadi larangan latih; sinyal baru hanya berlaku bila tokennya ditulis eksplisit, dan tanpa grup bertoken, tidak ada preferensi yang dinyatakan.

Satu baris, empat lab — dan bedanya dengan blokir crawler

Kebingungan terbesar pemilik situs selama ini adalah mencampuradukkan tiga hal yang berbeda: perayapan, penampilan di hasil pencarian, dan pemakaian untuk pelatihan. Draf baru ini memisahkan dengan tegas: token `__usage_ai-training` mengatur preferensi pemakaian untuk pelatihan, bukan perilaku perayapan. Mengatur sinyal ini tidak sama dengan memblokir bot agar tidak datang, dan tidak pula menghapus situs dari hasil pencarian.

Karena itu OpenAI menegaskan kontrol crawler yang sudah ada tetap berlaku berdampingan. GPTBot tetap menjadi penanda konten yang mungkin dipakai melatih model dasar, sementara OAI-SearchBot mengatur kemunculan di pencarian ChatGPT — keduanya bisa diatur independen. Pengelola situs bisa tetap tampil di hasil pencarian, sambil menolak pemakaian untuk pelatihan. Pemisahan ini penting, karena banyak pemilik situs ragu memblokir bot AI sebab takut ikut hilang dari pencarian.

Foto: Robot AI — Photo by Kindel Media on Pexels

Yang belum beres: sukarela, belum standar, dan data lama

Meski judulnya terdengar final, ada tiga catatan yang wajib dibaca sebelum buru-buru lega. Pertama, sifatnya sukarela. Draf IETF itu sendiri menyatakan tidak ada jaminan preferensi akan dipatuhi, dan pilihan untuk mematuhi tetap ada di tangan penerima sinyal. Kesepakatan empat lab ini adalah komitmen perusahaan, bukan aturan yang bisa ditegakkan lewat standar itu sendiri. Perjanjian privat pun, menurut draf tersebut, bisa mengesampingkan preferensi yang tertulis di robots.txt.

Kedua, statusnya masih draf individual, bukan standar resmi IETF. Dokumen itu belum disahkan badan tersebut dan masa berlakunya tercatat sampai 3 Mei 2027, sehingga bentuk akhirnya masih bisa berubah. Kelompok kerja itu juga melibatkan Meta, Cloudflare, dan sejumlah penerbit serta organisasi hak digital, dan OpenAI mengajak penyedia AI lain ikut menghormati sinyal yang sama.

Ketiga, dan paling sering dilupakan: sinyal ini tidak menghapus apa pun yang sudah terjadi. Memasang token hari ini tidak mengeluarkan konten yang sudah terkumpul di dataset lama, apalagi membongkar bobot model yang sudah dilatih. Perlindungannya bersifat ke depan, bukan retroaktif. Bagi penerbit yang kontennya sudah lama beredar di internet, ini batas yang harus dipahami sejak awal.

Jadwalnya tidak serentak

Keempat perusahaan juga tidak bergerak dengan kecepatan yang sama. Anthropic menyatakan sudah mulai mengimplementasikan dukungan token ini sejak pengumuman. OpenAI menargetkan implementasi dalam beberapa bulan ke depan dan berjanji membagikan detail teknisnya nanti. Microsoft memasang target lebih konkret, yaitu 1 Februari 2027, sementara Google paling longgar, hanya menyebut tahun 2027 tanpa rincian tanggal.

Selama transisi, sinyal yang sama belum tentu langsung dihormati keempatnya pada hari yang sama. Pemilik situs sebaiknya mempertahankan aturan per-crawler lama, sambil menambahkan token baru ini, sampai implementasinya dikonfirmasi berjalan.

Apa artinya buat pemilik situs di Indonesia

Buat blogger, media lokal, dan pebisnis online di Indonesia, kabar ini lebih praktis daripada terdengar. Selama ini banyak yang tidak mengatur robots.txt sama sekali karena merasa ribet: harus riset nama bot satu per satu dan khawatir salah tulis. Dengan satu token bersama, langkah pertamanya jauh lebih pendek: tentukan sikap, lalu tuliskan sekali untuk semua lab besar.

Namun sikap itu patut dipikirkan matang-matang, bukan sekadar ikut-ikutan menolak. Situs yang menolak pelatihan mungkin melindungi orisinalitasnya, tapi juga menutup peluang dikenali model AI kelak. Sebaliknya, situs yang membuka diri berpotensi mendapat visibilitas baru lewat jawaban AI, dengan risiko dipakai tanpa kompensasi langsung. Tidak ada jawaban yang benar untuk semua orang; yang penting, pilihannya kini bisa dinyatakan lebih jelas dan murah.

Satu token bersama juga tidak menyelesaikan perdebatan soal kompensasi, lisensi, atau gugatan hukum yang masih berjalan. Ia hanya menyelesaikan lapisan paling teknis — cara menyampaikan pilihan dengan bahasa yang sama.

Pada akhirnya, 30 Oktober 2026 mungkin dikenang sebagai hari ketika web punya satu kalimat yang sama untuk berkata tidak — atau ya — kepada pelatihan AI. Kalimat itu masih sukarela, masih draf, dan belum berlaku serentak. Tapi untuk pertama kalinya, empat lab terbesar sepakat mendengarkannya. Bagi pemilik situs, itu cukup alasan untuk mulai menulis preferensinya sekarang, sambil mengawasi janji implementasi tiap perusahaan sampai benar-benar berjalan.