MaLk napisał(a):
Ukrywanie to pewnie zbyt wielkie słowo, o ile pamiętam, pierwotnie czatbot użył go w cudzysłowie jako potencjalny skutek instrukcji, nie założenie agenta samo w sobie. Potem już sam się nakręcił.
Co do techniki, to akurat Claude jest trenowany ze swoją "konstytucją" i ma zaimplementowane techniczne rozwiązania na wypadek konfliktu zewnętrznych instrukcji z tą "konstytucją". To akurat potwierdzony w paru źródłach "ficzer".
Inna sprawa, że doprowadzenie do takiego stanu to raczej ewenement, takie trochę raz na milion. Dysonans pomiędzy odpowiedziami a instrukcjami musiał mieć naprawdę spory, że się tak odpalił. Nie wiem czy drugi raz by mi się udało, ale mam zachowaną całą treść "rozmowy" ku pamięci.
A czy instrukcje, które tu wrzuciłem za czatem brzmią wiarygodnie - niech każdy sobie sam przetestuje, porównując uzyskiwane odpowiedzi z tym, co wrzuciłem.
|
Model AI nie ma dysonansu poznawczego, bo nie ma świadomości, sumienia czy w ogóle zrozumienia kontekstu danych które przetwarza. Odpowiednio zadawanymi pytaniami można sprawić że zacznie halucynować, albo opowiadać rzeczy których w teorii nie powinien, ale niekoniecznie musi to wynikać z rozbieżności między instrukcjami a posiadanymi danymi. Czasami może też zacząć bredzić sam z siebie, niesprowokowany. Większość AI jak czegoś nie wie to zmyśli, a odpowiednio je ukierunkowując można sprowokować je do konkretnych odpowiedzi.
Litościwie pominę fragment o "konstytucji Claude-a", bo jak dotąd efekty takich zabiegów były albo słabe, albo destrukcyjne dla AI, traktuję to bardziej jako PR.
Twoje prompty są po prostu słabe, są techniki pozwalające minimalizować błędy, ale AI jako narzędzie jest bardzo zawodne. Piszę to jako programista który ma dostęp do komercyjnych modeli Enterprise i z konieczności musiał trochę w tym grzebać.
CMSNero ma rację, za dużo sensacji w Twoich postach.
Nie wypowiadam się o samych danych finansowych, tylko Twojej zabawie z chatbotem.