nel pleistocene, quando diedi l'esame di TAMC, una delle domande all'orale era scrivere (su carta...) un programma che si automodificava. Io lo scrissi, il professore lo guardò e disse "non funziona", io lo riguardai e dissi "no. funziona". Provammo a eseguirlo (sempre su carta) e per fortuna funzionava.
Ma io arrivavo dal giurassico, con la TI-58C dove modificare le istruzioni era la norma...
(no, non ho mai provato a scrivere un input malevolo che cambiasse i dati)
@diegomaninetti non sono esperto, ma credo che la differenza fondamentale stia nel fatto che un AlphaZero applicato agli scacchi sa che esiste una soluzione ottimale e quindi giocando innumerevoli volte con sé stesso tara i suoi pesi con quel gradiente (a parte addestrarsi ogni tanto con salti per non bloccarsi in un minimo relativo), mentre gli LLM devono mettere in conto il doversi inventare qualcosa perché non c'è la "risposta esatta". O almeno trentacinque anni fa era così.
@out ricordo sempre che una cosa è il modello (open nel caso di DeepSeek), altra cosa il training set che è ancora più importante.
@lordmax @aitech vabbè, con 200M faranno una Proof of Concept Cha uscirà tra un par d'anni...