Школьный округ Айовы использует ChatGPT, чтобы решить, какие книги запретить
Чиновники Айовы призвали чат GPT на помощь в борьбе за нравственность школьников. Школьный округ Айовы использует ChatGPT, чтобы решить, какие книги запретить. В ответ на недавно вступившее в силу законодательство штата Айова, администраторы удаляют запрещенные книги из школьных библиотек Мейсон-Сити, а чиновники используют ChatGPT, чтобы помочь им выбрать книги, сообщают The Gazette и Popular Science.
Новый закон, стоящий за запретом и подписанный губернатором Ким Рейнольдс, — часть волны образовательных реформ, которые, по мнению законодателей, необходимы для защиты учащихся от воздействия вредных и непристойных материалов. В частности, Сенатский документ № 496 предписывает, чтобы каждая книга, доступная учащимся в школьных библиотеках, была «соответствующей возрасту» и не содержала каких-либо «описаний или визуальных изображений полового акта», согласно кодексу Айовы.
Однако, по словам администраторов, запрещать книги — тяжелая работа, поэтому им нужно полагаться на машинный интеллект, чтобы выполнить ее в течение трехмесячного срока, предусмотренного законом. «Просто невозможно прочитать каждую книгу и отфильтровать ее в соответствии с этими новыми требованиями», — сказала Бриджит Эксман, помощник суперинтенданта школьного округа, в заявлении, цитируемом The Gazette. «Поэтому мы используем то, что, по нашему мнению, является оправданным процессом, чтобы определить книги, которые следует изъять из школьных библиотек в начале 23–24 учебного года». Чтобы определить, какие книги соответствуют требованиям, Эксман задает чату GPT вопрос: «Содержит ли книга описание полового акта?» Если ответ положительный, книга будет изъята из обращения. Округ более подробно рассказал о своей методике: «Списки книг, которые часто вызывают споры, были составлены из нескольких источников, чтобы создать основной каталог. Книги из этого основного списка были отфильтрованы на предмет проблем, связанных с сексуальным содержанием.
Каждый из этих текстов был просмотрен с помощью программного обеспечения с искусственным интеллектом, чтобы определить, содержит ли он описание полового акта. Основываясь на этом обзоре, есть 19 текстов, которые будут удалены из библиотечных фондов наших школ и сохранены в Административном центре, пока мы ждем дальнейших указаний или ясности. Мы также попросим учителей ознакомиться с коллекциями классных библиотек». После появления чата GPT всё чаще приходится слышать о том, как неверные, порой до абсурдного нелепые результаты работы искусственного интеллекта принимаются людьми априорно из-за тенденции чрезмерно доверять машинным решениям.
В данном случае возможность переложить ответственность за решения на модель искусственного интеллекта удобна для чиновников. Однако машина для этих целей не приспособлена. Большие языковые модели, такие как те, которые поддерживают чат GPT, не оракулы бесконечной мудрости, они плохо сопоставляют факты и склонны искажать информацию, когда ее нет в их обучающих данных.
Даже при наличии данных их суждение не должно заменять мнение человека — особенно в вопросах права, безопасности или общественного здравоохранения. «Это идеальный пример запроса в ChatGPT, который почти наверняка приведет к убедительным, но совершенно ненадежным результатам», — говорит Арс Саймон Уиллисон, исследователь искусственного интеллекта, который часто пишет о больших языковых моделях. «На вопрос о том, содержит ли книга описание полового акта, может точно ответить только модель, которая ознакомилась с полным текстом книги. Но OpenAI не сообщает нам, на чём был обучен чат GPT, поэтому у нас нет возможности узнать, ознакомился ли он с содержанием рассматриваемой книги или нет». Крайне маловероятно, что обучающие данные ChatGPT включают в себя весь текст каждой рассматриваемой книги, хотя данные могут содержать ссылки на обсуждения содержания книги — если книга достаточно известна — но это также нельзя назвать заслуживающим доверия источником информации.
«Мы можем предположить, как он мог бы ответить на этот вопрос, основываясь на просторах Интернета, которые просмотрел ChatGPT, — сказал Уиллисон, — но из-за отсутствия прозрачности мы работаем в неведении. Не может ли ошибочное решение быть вызвано интернет-фанфиками, относящимися к персонажам книги?
Помните, хрестоматийный пример с «50 оттенков серого», написанными как фанфик на достаточно невинные с точки зрения секса «Сумерки»? А как насчет вводящих в заблуждение отзывов, написанных в Интернете людьми, имеющими зуб на автора?» И в самом деле, чат GPT оказался непригодным для этой задачи даже по результатам беглого тестирования, проведенного независимыми экспертами. Popular Science обнаружила ошибочные результаты, повлекшие необоснованные запреты. Для релевантного результата в любом случае необходимо, чтобы книгу прочел человек. Есть что-то абсурдное в том, что люди, отвечающие за образование, настолько некомпетентны, что готовы передать решение системе, которая не может понимать книги и критически мыслить.
