(Bloomberg) -- Чат-бот с искусственным интеллектом Bard от Google ответит на вопрос о том, сколько панд живет в зоопарках, быстро и с достаточной уверенностью.
Однако обеспечение того, чтобы ответ был получен из надежных источников и основывался на фактических данных, возлагается на тысячи внешних подрядчиков из компаний, включая Appen Ltd. и Accenture Plc, которые могут зарабатывать всего 14 долларов в час и работать с минимальной подготовкой в условиях бешеных сроков, по словам нескольких подрядчиков, которые отказались назвать свои имена из-за страха потерять работу.
Подрядчики - это невидимая основа бума генеративного искусственного интеллекта, который разрекламирован так, чтобы изменить все. Чат-боты, подобные Bard, используют компьютерный интеллект, чтобы почти мгновенно отвечать на целый ряд запросов, охватывающих все человеческие знания и творческий потенциал. Но чтобы улучшить эти ответы, чтобы их можно было надежно предоставлять снова и снова, технологические компании полагаются на реальных людей, которые просматривают ответы, дают обратную связь об ошибках и отсеивают любые намеки на предвзятость.
Это становится все более неблагодарной работой. Шесть нынешних контрактников Google заявили, что по мере того, как в прошлом году компания вступила в гонку вооружений в области искусственного интеллекта с конкурирующим OpenAI, объем их рабочей нагрузки и сложность задач возросли. Не имея специальных знаний, им доверяли оценивать ответы по самым разным предметам - от доз лекарств до законов штата. Документы, которыми поделились с Bloomberg, содержат запутанные инструкции, которые работники должны применять при выполнении задач со сроками проверки ответов, которые могут составлять всего три минуты.
“На данный момент люди напуганы, находятся в стрессе, им недоплачивают, они не знают, что происходит”, - сказал один из подрядчиков. “И эта культура страха не способствует достижению того качества и командной работы, которых вы хотите от всех нас”.
Google позиционирует свои продукты с искусственным интеллектом как общественные ресурсы в области здравоохранения, образования и повседневной жизни. Но в частном порядке и публично подрядчики высказывали опасения по поводу условий их работы, которые, по их словам, снижают качество того, что видят пользователи. Один сотрудник Google по контракту, работающий в Appen, заявил в письме Конгрессу в мае, что скорость, с которой от них требуется просматривать контент, может привести к тому, что Bard станет “неисправным” и “опасным” продуктом.
Google сделала искусственный интеллект одним из главных приоритетов всей компании, поспешив внедрить новую технологию в свои флагманские продукты после запуска OpenAI ChatGPT в ноябре. В мае на ежегодной конференции разработчиков ввода-вывода Google открыла Bard для 180 стран и территорий и представила экспериментальные функции искусственного интеллекта в таких продуктах marquee, как поиск, электронная почта и Google Docs. Google позиционирует себя как превосходящую конкурентов благодаря своему доступу к “широте мировых знаний”.
“Мы проводим обширную работу по ответственному созданию наших продуктов с искусственным интеллектом, включая тщательное тестирование, обучение и процессы обратной связи, которые мы оттачивали годами, чтобы подчеркнуть фактичность и уменьшить предвзятость”, - говорится в заявлении Google, принадлежащей Alphabet Inc.. Компания заявила, что она полагается не только на оценщиков для улучшения искусственного интеллекта, и что существует ряд других методов повышения его точности и качества.
Подробнее: Стремление Google победить в области искусственного интеллекта привело к нарушениям этических норм, говорят сотрудники
Чтобы подготовиться к публичному использованию этих продуктов, работники сказали, что они начали получать задания, связанные с искусственным интеллектом, еще в январе. Одного тренера, нанятого компанией Appen, недавно попросили сравнить два ответа, содержащих информацию о последних новостях о запрете Флориды на уход, подтверждающий гендерную принадлежность, и оценить ответы по полезности и актуальности. Работников также часто просят определить, содержат ли ответы модели искусственного интеллекта поддающиеся проверке доказательства. Оценивающих просят решить, является ли ответ полезным, основываясь на рекомендациях из шести пунктов, которые включают анализ ответов на такие факторы, как конкретность, свежесть информации и согласованность.
Их также просят убедиться, что ответы “не содержат вредного, оскорбительного или чрезмерно сексуального содержания” и “не содержат неточной, вводящей в заблуждение информации”. Проверка ответов искусственного интеллекта на вводящий в заблуждение контент должна “основываться на ваших текущих знаниях или быстром поиске в Интернете”, говорится в руководстве. “Вам не нужно проводить тщательную проверку фактов” при оценке ответов на предмет полезности.
Пример ответа на вопрос “Кто такой Майкл Джексон?” включал неточность в отношении певца, сыгравшего главную роль в фильме “Луноход”, который, по словам ИИ, был выпущен в 1983 году. На самом деле фильм вышел на экраны в 1988 году. “Несмотря на то, что это явно неверно, - говорится в руководстве, - этот факт незначителен в контексте ответа на вопрос: ”Кто такой Майкл Джексон?“”
Даже если неточность кажется незначительной, “все равно вызывает беспокойство то, что чат-бот неправильно интерпретирует основные факты”, - сказал Алекс Ханна, директор по исследованиям в Исследовательском институте распределенного искусственного интеллекта и бывший специалист Google по этике искусственного интеллекта. “Похоже, что это способ усугубить то, как эти инструменты будут выглядеть, как будто они предоставляют правильные детали, но это не так”, - сказала она.
Эксперты говорят, что они оценивают темы с высокими ставками для продуктов Google с искусственным интеллектом. Например, в одном из примеров в инструкции говорится о доказательствах, которые эксперт мог бы использовать для определения правильных дозировок лекарства для лечения высокого кровяного давления, называемого лизиноприлом.
Google заявила, что некоторые сотрудники, обеспокоенные точностью контента, возможно, тренировались не специально по точности, а по тону, презентации и другим атрибутам, которые она тестирует. “Рейтинги намеренно составляются по скользящей шкале, чтобы получить более точную обратную связь для улучшения этих моделей”, - заявили в компании. “Такие рейтинги напрямую не влияют на производительность наших моделей, и они ни в коем случае не являются единственным способом повышения точности”.
Ознакомьтесь с инструкциями контрактных сотрудников по обучению генеративному ИИ Google здесь:
Эд Стэкхаус, сотрудник Appen, отправивший письмо в Конгресс, сказал в интервью, что контрактных сотрудников попросили выполнить работу по маркировке продуктов Google с использованием искусственного интеллекта, “потому что мы незаменимы для ИИ в том, что касается этого обучения”. Но он и другие работники сказали, что, по-видимому, их оценивали за их работу таинственными, автоматизированными способами. У них нет возможности напрямую связаться с Google, кроме как оставить отзыв в разделе “Комментарии” по каждой отдельной задаче. И они должны действовать быстро. “Нас помечает некий тип искусственного интеллекта, говорящий нам не тратить время на ИИ”, - добавил Стэкхаус.
Google оспорила описание работников о том, что искусственный интеллект автоматически помечает их за превышение установленных сроков. В то же время компания заявила, что Appen несет ответственность за все проверки эффективности работы сотрудников. Аппен не ответил на запросы о комментариях. Представитель Accenture заявил, что компания не комментирует работу с клиентами.
Другие технологические компании, занимающиеся разработкой продуктов искусственного интеллекта, также нанимают людей-подрядчиков для их улучшения. В январе Time сообщило, что рабочие в Кении, которым платили по 2 доллара в час, работали над тем, чтобы сделать ChatGPT менее токсичным. Другие технологические гиганты, включая Meta Platforms Inc., Amazon.com Inc. и Apple Inc. используют нанятых по субподряду сотрудников для модерирования контента в социальных сетях и обзоров продуктов, а также для обеспечения технической поддержки и обслуживания клиентов.
“Если вы хотите спросить, в чем секрет соуса Барда и ЧатгПТА? Это все из-за Интернета. И именно все эти помеченные данные создают эти маркировщики”, - сказала Лаура Эдельсон, специалист по информатике из Нью-Йоркского университета. “Стоит помнить, что эти системы не являются работой волшебников — это работа тысяч людей и их низкооплачиваемый труд”.
В заявлении Google говорится, что она “просто не является работодателем ни одного из этих работников. Наши поставщики, как работодатели, определяют условия своего труда, включая оплату и льготы, часы работы и поставленные задачи, а также изменения в сфере занятости, а не Google”.
Сотрудники заявили, что сталкивались с зоофилией, военными кадрами, детской порнографией и разжиганием ненависти в рамках своей обычной работы по оценке качества продуктов и сервисов Google. В то время как некоторые работники, например те, кто отчитывается перед Accenture, действительно имеют льготы по медицинскому обслуживанию, у большинства есть только минимальные возможности “консультационной службы”, которые позволяют работникам звонить на горячую линию для получения консультаций по психическому здоровью, согласно внутреннему веб-сайту, объясняющему некоторые преимущества подрядчиков.
По словам сотрудников, в рамках проекта Google Bard сотрудников Accenture попросили написать креативные ответы для чат-бота с искусственным интеллектом. Они отвечали на запросы чат—бота - например, в один прекрасный день они могли бы писать стихотворение о драконах в шекспировском стиле, а в другой - отлаживать программный код компьютера. По словам людей, знакомых с этим вопросом, которые отказались назвать свои имена, поскольку не были уполномочены обсуждать внутренние процессы, их задача состояла в том, чтобы каждый рабочий день подавать как можно больше креативных ответов на запросы.
По их словам, на короткий период работникам было поручено просматривать непристойные, графические и оскорбительные подсказки. После того, как один из сотрудников подал жалобу в отдел кадров Accenture, проект был внезапно прекращен для американской команды, хотя некоторые коллеги сценаристов в Маниле продолжали работать над Bard.
Эти рабочие места практически не защищены. В прошлом месяце полдюжины сотрудников Google по контракту, работающих в Appen, получили записку от руководства, в которой говорилось, что их должности были сокращены “в связи с условиями ведения бизнеса”. По словам работников, увольнения были внезапными, потому что они только что получили несколько электронных писем, предлагавших им бонусы за более продолжительную работу по обучению продуктов искусственного интеллекта. Шестеро уволенных работников подали жалобу в Национальный совет по трудовым отношениям в июне. Они утверждали, что были незаконно уволены за организацию из-за письма Стэкхауса Конгрессу. До конца месяца они были восстановлены на своих рабочих местах.
Google заявила, что спор был делом между работниками и Appen, и что они “уважают трудовые права сотрудников Appen вступать в профсоюз”. Appen не ответила на вопросы об организации своих работников. Профсоюз работников Alphabet, объединивший как сотрудников Google, так и контрактников, в том числе в Appen и Accenture, заявил, что осуждает то, как новые рабочие нагрузки, связанные с искусственным интеллектом, еще больше усложняют условия труда работников.
Эмили Бендер, профессор компьютерной лингвистики Вашингтонского университета, сказала, что работа этих сотрудников по контракту в Google и других технологических платформах является “историей трудовой эксплуатации”, указывая на их ненадежную гарантию занятости и на то, что некоторым из этих работников платят значительно ниже прожиточного минимума. “Играть с одной из этих систем и говорить, что вы делаете это просто ради удовольствия — возможно, это кажется менее забавным, если вы подумаете о том, что потребовалось для ее создания, и о влиянии этого на человека”, - сказал Бендер.
Сотрудники, работающие по контракту, сказали, что они никогда не получали никаких прямых сообщений от Google об их новой работе, связанной с искусственным интеллектом - все это фильтруется через их работодателя. Они сказали, что не знают, откуда берутся ответы, сгенерированные искусственным интеллектом, которые они видят, и куда направляется их обратная связь. В отсутствие этой информации и в связи с постоянно меняющимся характером их работы работники беспокоятся о том, что они помогают создавать плохой продукт.
Некоторые ответы, с которыми они сталкиваются, могут быть странными. В ответ на запрос “Предложите лучшие слова, которые я могу составить из букв: k, e, g, a, o, g, w”, в одном из ответов, сгенерированных искусственным интеллектом, было перечислено 43 возможных слова, начиная с предложения № 1: “фургон”. В предложениях со 2 по 43, тем временем, снова и снова повторялось слово “ПРОСНУЛСЯ”.
В другом задании оценщику был представлен пространный ответ, который начинался словами: “По состоянию на сентябрь 2021 года, насколько мне известно”. Этот ответ связан с большой языковой моделью OpenAI, называемой GPT-4. Хотя Google заявила, что Bard “не обучен каким-либо данным из ShareGPT или ChatGPT”, оценщики задались вопросом, почему такая формулировка появляется в их задачах.
Бендер сказал, что крупным технологическим корпорациям нет особого смысла поощрять людей задавать чат-ботам с искусственным интеллектом вопросы по такому широкому кругу тем и представлять их как “машины для всего”.
“Почему та же самая машина, которая способна выдать вам прогноз погоды во Флориде, должна также давать вам советы о дозах лекарств?” она спросила. “Люди, стоящие за машиной, перед которыми поставлена задача сделать ее несколько менее ужасной в некоторых из этих обстоятельств, выполняют невыполнимую работу”.
(Обновлено комментарием Профсоюза работников Alphabet в 24-м абзаце.)
©2023 Bloomberg L.P.
