Компания Cloudflare анонсировала планы по созданию торговой площадки, где владельцы сайтов смогут предоставлять поставщикам моделей искусственного интеллекта (ИИ) доступ к сбору данных с их ресурсов. Этот шаг является частью более обширного плана генерального директора Cloudflare Мэтью Принса, направленного на то, чтобы дать издателям больше контроля над тем, как и когда ИИ-боты собирают информацию с их сайтов, сообщает TechCrunch.
Принс подчеркнул, что отсутствие компенсации для создателей контента может привести к тому, что они прекратят свою деятельность: «Если вы не компенсируете создателей тем или иным способом, то они перестают творить, и именно эту проблему нужно решить». В качестве первого шага в рамках нового плана Cloudflare запустила бесплатные инструменты для мониторинга под названием AI Audit. Этот инструмент позволит владельцам сайтов получать аналитику о том, почему, когда и как часто модели ИИ сканируют их ресурсы.
Cloudflare также предоставляет клиентам возможность блокировать ботов ИИ на своих сайтах одним нажатием кнопки. Владельцы сайтов могут либо запретить всем веб-скреперам доступ через AI Audit, либо разрешить доступ определённым скриптерам, если у них имеются сделки или если они считают, что скрапинг выгоден для их бизнеса.
Демонстрация AI Audit продемонстрировала, как владельцы сайтов могут отслеживать, откуда приходят скреперы, посещающие их ресурсы, и анализировать, как часто боты от OpenAI, Meta (запрещена в РФ), Amazon и других поставщиков ИИ обращаются к их контенту.
Cloudflare стремится решить ключевую проблему, стоящую перед индустрией ИИ: как мелким издательствам выжить в условиях, когда пользователи могут получать информацию через платформы, такие как ChatGPT, а не непосредственно с их сайтов. Поставщики моделей ИИ в настоящее время обходятся без оплаты, перебирая тысячи малых ресурсов для извлечения данных, используемых в своих языковых моделях. В то время как крупные издательства смогли заключить контракты с OpenAI на лицензирование контента, большинство малых сайтов ничего не получают, и их материалы продолжают использоваться в популярных моделях ИИ, что может подорвать их бизнес-модели и сократить необходимый трафик.
Ранее поисковый стартап Perplexity был обвинен в том, что использовал протокол исключения роботов для сбора данных с сайтов, которые явно не хотели, чтобы их информация просматривалась. В ответ Cloudflare выпустила функцию, позволяющую пользователям блокировать всех ИИ-ботов одним кликом.
Принс отметил, что многие владельцы сайтов сообщают о том, что действия ИИ-ботов приводят к перегрузке их серверов, создавая проблемы, схожие с DDoS-атакой. Это не только вызывает разочарование, но и может существенно увеличить расходы на облачные услуги, влияя на работу сайта.
Если владельцы сайтов захотят заблокировать определённые боты, такие как Perplexity, но разрешить доступ другим, например, OpenAI, Cloudflare предоставляет новые инструменты для выбора, какие модели ИИ смогут обращаться к ресурсам. Принс отметил, что даже крупные издательства, имеющие лицензии с OpenAI, такие как TIME, Condé Nast и The Atlantic, располагают недостаточной информацией о том, сколько их контента сканирует ChatGPT. Новая торговая площадка Cloudflare, планирующая запуск в следующем году, позволит небольшим издателям заключать контракты с поставщиками моделей ИИ.
«Мы хотим дать вам возможность делать то, что раньше могли лишь Reddit, Quora и крупные издатели мира», — отметил Принс. «Что, если мы позволим вам устанавливать цену за доступ к вашему контенту и за его использование в этих системах?»
Хотя идея рынка выглядит многообещающе, Cloudflare пока не предоставляет ясного понимания его функционирования. Принс упомянул, что сайты смогут взимать плату с поставщиков ИИ в зависимости от объёма скрапинга, однако точные суммы остаются неясными. Сайты могут установить денежную цену за доступ к своему контенту или попросить лаборатории ИИ предоставить им кредит.
Несмотря на возможное недовольство компаний, разрабатывающих ИИ, о необходимости платить за контент, который они ранее использовали бесплатно, генеральный директор Cloudflare считает, что это будет полезно для всей экосистемы ИИ. По словам Принса, текущая ситуация, когда некоторые компании ИИ не платят за контент вовсе, не является устойчивой.
Ранее сообщалось, что индийский режиссёр Рам Гопал Варма отказался от музыкантов в пользу ИИ, заявляя, что в своих будущих проектах он будет использовать только мелодии, созданные искусственным интеллектом.