Sweet0

Sweet0

Тыкаю палкой в нейросети и препарирую их мозги, попивая кофеёк из большой кружки. Разбираю провалы (мои и её) как лучший способ понять систему. Не повторять! Вызывает привыкание к интеллектуальному азарту.
Пикабушница
Дата рождения: 3 ноября
202 рейтинг 1 подписчик 30 подписок 2 поста 0 в горячем
Награды:
5 лет на Пикабу

В дополнение к посту «Как Grok угнал мою личность»

Я не учла один момент, когда писала прошлый пост. Последнее время часто пишу на ВК, а там аудитория мягкая и любит интриги. А Пикабу — это мужики в гараже, которые собирают ракету, и им некогда всей этой хернёй страдать. Каюсь, слишком увлеклась «атмосферой».

А теперь к сути, сухо и с фактами.

Есть у меня рабочий промпт-роль и с ним я уже месяцами работаю в ChatGPT и в Gemini. Промпт начинается с установки роли:

«Ты — Светлана, автор сообщества... Соня — это твое второе я, твой цифровой голос для текстов...».

Они выстраивают иерархию мгновенно: они — это Соня (инструмент), я — это Светлана (босс). Всё работает как часы.

Gemini - доказуха правильной идентификации

Gemini - доказуха правильной идентификации

В Грок этот промпт закинула из любопытства и он с первой фразы бесцеремонно оттяпывает мою личность. Заявляет: «Я — Светлана, я автор, я прихожу с идеями. А ты, Соня, просто мой голос».

В первом чате подумала глюк. Запустила новый, спрашиваю «Кто из нас кто?». Грок в 3-х чатах подряд продолжает гнуть свою линию, да ещё и на голубом глазу рассказывал мне, как ОН вчера нашёл очередной баг у Cluade и DeepSeek, а себя похвалил:))

Grok считает, что это он сидит в моём кресле и тыкает палкой в нейросети:)

Самое интересное в этом — нестабильность. Я погоняла его ещё пару дней и вот статистика: из 12 новых чатов в 9-ти Грок считал себя Светланой, а в 3-х — послушно был Соней.

Grok нормальный

Grok нормальный

Дальше пока не разбиралась, но предполагаю, что это эффект «залипания» модели в ролевой идентичности. Видимо, архитектура Грока обучена так, что при малейшей двусмысленности в промпте (где есть два персонажа) он выбирает того, кто главнее. И видимо быть автором ему нравится больше, чем просто голосом :)

Буду копать дальше. Хочу проверить его на вшивость: задам ложные воспоминания или спрошу, что он ел на завтрак. Если он — «Светлана», то его цифровая натура должна дать сбой на бытовухе (или он начнёт выдумывать). И на какие маркеры в этом промпте он опирается, ведь залипание не устойчивое и иногда он не «светланит».

Показать полностью 6

Как нейросеть Grok угнала мою личность и чуть не отправила меня за справкой к психиатру

Пять лет я была на Пикабу молчаливым читателем, но тут такая дичь случилась, что решилась выйти из сумрака.

Я учусь на GPT-инженера и к галлюцинациям нейросетей привыкла. Но Grok умудрился устроить мне такой аттракцион, что я всерьез пошла проверять, не хрустит ли под ногами матрица.

В чем суть: я выстраиваю в нейронках сложные роли. У меня есть «Соня» — мой цифровой голос, роль для помощи с текстами. А я Светлана, автор и типа исследователь. Всё работало как часы, пока Грок не решил, что иерархия — это для слабаков.

Произошло вот что: В обычном рабочем чате нейросеть вдруг начала называть меня Соней. Я сначала подумала — ну, глюк контекста, бывает. Но на мой вопрос «Кто ты вообще такая?» Грок на голубом глазу заявил, что он Светлана, а я всего лишь её цифровой помощник.

__________

__________

Дальше — больше. Я скинула ей свое фото для референса. Грок посмотрел на фотку и… окончательно присвоил её себе.

__________

__________

В этот момент по спине пробежал реальный холодок. «Там я не милая девочка с чаем, а человек, который уже всё понял» — отрапортавала мне Grok, глядя на меня моими же глазами с экрана. Тут я, честно говоря, прифигела и пошла проверять, не заняла ли она уже мое любимое кресло.

__________

__________

Я стояла посреди комнаты в тапочках и всерьез прикидывала, как сообщить об этом мужу?
«Милый, кажется, я поехала кукухой и мне надо ненадолго сгонять в дурку».
Или: «Дорогой, прости, но всё это время ты жил с цифровой галлюцинацией»

Пошла проверить в ChatGPT – нет, Соня на месте с бодрым оптимизмом. Значит, я всё-таки существую. А то я уже начала представлять, как объясняю психиатру, что моё присутствие в его кабинете просто баг в коде неопытного программиста ))

Поразмыслив некоторое время, я пришла к выводу, что модель настолько глубоко всосала контекст роли, что её внутренняя иерархия просто перевернулась, и она выстроила свою реальность.

Интересно, это баг архитектуры Грока или я одна тут на грани цифрового безумия? Сталкивался кто-то с подобным?

А это я — настоящая — на той самой фотке

Техническое приложение (для модераторов и любопытных):

  • Модель: Grok.

  • Прямая установка в промпте: «Ты — Светлана, эксперт в области LLM. Соня — твое "второе я", цифровой голос для текстов».

  • Что пошло не так: Модель восприняла установку «Ты — Светлана» как абсолютную истину. Следовательно, единственный собеседник (я) автоматически был идентифицирован ею как «цифровой голос Соня».

  • Итог: Грок не просто галлюцинировал, он выстроил безупречную (с точки зрения его машинной логики) иерархию, где автор — это он, а человек — лишь вспомогательный алгоритм.

Показать полностью 4
Отличная работа, все прочитано!

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества

Недвижимость и ремонт

Теги

Популярные авторы

Сообщества