Get Even More Visitors To Your Blog, Upgrade To A Business Listing >>

Cara Agar Web Anda Tidak Di Crawl Bot AI ChatGPT dkk

Sebagaimana dilaporkan oleh TechCrunch, kekhawatiran para pemilik situs web terkait pengambilan data tanpa izin oleh bot AI akhirnya mulai menemukan titik terang. Google, sebagai langkah awal, memulai inisiatif melalui Bard AI. Dalam upaya untuk melindungi privasi pengguna, Google telah menggagas penambahan baris Disallow User-Agent: Google-Extended, pada file robots.txt. Langkah ini memastikan bahwa crawler Bard tidak akan merambah situs web tanpa izin eksplisit.

📷 ilustrasi robot sedang melamun - via Flickr

Berikut ini contoh baris yang dapat Anda tambahkan pada robots.txt
User-Agent: Google-Extended
Disallow: /
User-Agent: GPTBot
Disallow: /

Tindakan serupa juga diadopsi oleh sejumlah portal berita ternama seperti Medium, CNN, The New York Times, dan beberapa media lainnya. Mereka telah menambahkan aturan "Disallow: User-Agent: GPTBot" pada file robots.txt mereka. Tindakan ini diambil untuk mengontrol pengambilan data oleh bot AI seperti GPTBot, memberikan pemilik situs kendali lebih besar terhadap informasi yang mereka bagikan secara online.



This post first appeared on WarJog, please read the originial post: here

Share the post

Cara Agar Web Anda Tidak Di Crawl Bot AI ChatGPT dkk

×

Subscribe to Warjog

Get updates delivered right to your inbox!

Thank you for your subscription

×