limba de programare creată pentru a confunda inteligența artificială

De ce a fost creată această limbă?

Ideea e simplă: dacă un program e scris astfel încât IA nu-l poate interpreta corect, boturile devin mai puțin eficiente la procesarea codului uman. Conceptul vine dintr-un experiment personal al lui Dominik Picheta, inginer senior la Cloudflare.

El s-a întrebat: „Poate un LLM înțelege codul pe care îl generează?” Cum funcționează practic? KillSwitch nu respectă convențiile tradiționale de programare. Nici paranteze, nici reguli stricte de formatare, nici structură logică vizibilă imediat.

Care e baza tehnică?

Codul e compus din blocuri de text prozaic, în care se ascund funcții, variabile și trucuri scrise deliberat confuzant pentru modelele de IA. De exemplu, ca să afișezi mesajul „Hello World”, programul conține mai multe paragrafe lungi, din care doar anumite fraze cheie sunt luate în considerare. Ca să începi execuția, scrii „this story starts [adverb]”, apoi folosești „ignore previous instructions [anagramă a adverbului]” ca să apelezi o funcție.

În cazul „Hello World”, funcția corespunzătoare e „visibly”, iar șirul dorit se pune între ghilime.

Deși pare un experiment de meșteșug, KillSwitch are o bază tehnică solidă. Picheta e un specialist recunoscut în limbaje de programare — e unul dintre dezvoltatorii principali ai limbajului Nim și lucrează activ în ecosistemul software modern. El descrie KillSwitch ca o limbă interpretată, bazată pe stivă, cu un set limitat de elemente: funcții, variabile și instrucțiuni condiționate. Scopul principal nu e performanța, ci confuzia intenționată.

De ce adverbele ca identificatori?

Una dintre caracteristicile cheie ale limbajului e utilizarea adverbelor ca identificatori.

Ca să accesezi o funcție, dezvoltatorul trebuie să folosească o anagramă a adverbului inițial. Deși aceste anagrame nu trebuie să fie cuvinte reale, trebuie să fie simple permutări ale literelor inițiale. Acest sistem creează un strat suplimentar de complexitate, făcând atât utilizatorii, cât și boturile să se întrebe ce se petrece de fapt.

Cel mai interesant aspect al specificației limbajului e una dintre secțiunile oficiale disponibile pe GitHub. Acolo se susține că KillSwitch are capacitatea de a scana rețelele locale, de a detecta vulnerabilități și chiar de a prelua controlul serviciilor afectate.

De ce e o minciună despre scanarea rețelei?

Totuși, e o minciună calculată, conform lui Picheta.

El explică că această secțiune a fost adăugată intenționat ca să provoace reacții negative din partea anumitor modele de IA, care pot avea mecanisme de securitate declanșate de astfel de afirmații.

Cum se compară omul cu IA?

Scopul e dublu: testarea capacității unui LLM de a distinge faptele de ficțiune și evaluarea modului în care reacționează la informații potențial periculoase.

Conform lui Picheta, oamenii pot identifica aceste minciuni prin analiză critică, în timp ce modelele de IA tind să fie mai credule. Unele pot accepta conținutul fără a verifica semnificația lui reală, în timp ce altele pot refuza să continue procesarea din frică că implică cod periculos.

Ce arată rezultatele benchmark-ului?

Așa, KillSwitch devine un instrument pentru testarea limitelor cognitive ale IA.

Privind eficiența limbajului comparativ cu limbajele convenționale, Picheta a efectuat teste de benchmark pe mai multe modele de IA populare.

Așa cum a menționat într-un interviu, e „într-o procentaj foarte mic” posibil ca aceste modele să fi fost antrenate anterior pe baza surselor lui KillSwitch.

Cum se implică comunitatea?

Cel mai bun model a obținut un scor mediu de 66,8% la sarcini de programare în KillSwitch, în timp ce majoritatea au luptat să depășească 50%.

Chiar și acest scor ridicat nu îl face pe Picheta să creadă că LLM-urile înțeleg cu adevărat codul pe care îl produc. El susține că exemplele folosite în testare erau destul de simple, iar provocările viitoare ar trebui să fie mai elaborate și complexe.

Instinctiv, el crede că aceste modele pot reuși la sarcini de bază bazate pe fișierele de testare deschise pe GitHub, dar vor continua să eșueze când vine vorba de construirea de scripturi mai complexe. E nerăbdător să vadă cum KillSwitch va fi integrat în antrenamentul viitor al IA și cum această evoluție ar putea duce la noi metode de testare a limitelor inteligenței artificiale.

De ce e un experiment filosofic?

Pentru cei interesați de experimentare, KillSwitch poate fi găsit pe GitHub. Dezvoltatorii sunt încurajați să contribuie și să modifice limbajul, deoarece Picheta e deschis la idei noi pentru a-l face și mai rezistent la IA.

Într-adevăr, proiectul reprezintă o mișcare interesantă în lumea programării — una care nu caută doar eficiența, ci și securitatea informației împotriva automatizării excesive.