[-] darkeox@kbin.social 2 points 11 months ago

Tu parles plutôt du titre choisi par le posteur là. Le titre de l'article est :

"Utiliser ChatGPT peut nous rendre plus performants, mais aussi plus idiots". Possibilité donc moins péremptoire quoiqu'un peu aguicheur.

Et ensuite dans l'article:

  • Une frontière mouvante entre ce que l’IA sait faire ou ne pas faire
  • Des idées plus approfondies mais moins variées
  • Les humains peuvent se laisser influencer par le robot, parfois pour le pire

Je ne m'épanche pas sur le vocabulaire de l'article qui est ahem... bref. Mais grosso-modo à la lecture, ça résume assez fidèlement et honnêtement l'étude et le titre n'est pas choquant pour moi.

[-] darkeox@kbin.social 2 points 1 year ago

Ah thank you for the trove of information. What would be the best general knowledge model according to you?

[-] darkeox@kbin.social 1 points 1 year ago

@nosnahc c'est deux commentaires différents, j'imagine que les deux méthodes sont possibles. Pour ce qui est de la légalité, j'y ai pas réfléchi effectivement. Je vire la soumission ?

[-] darkeox@kbin.social 1 points 1 year ago

@Camus

Hum ? je supprime du coup ?

[-] darkeox@kbin.social 2 points 1 year ago

Don't be sorry, you're being so helpful, thank you a lot.

I finally replicated your config:

localhost/koboldcpp:v1.43 --port 80 --threads 4 --contextsize 8192 --useclblas 0 0 --smartcontext --ropeconfig 1.0 32000 --stream "/app/models/mythomax-l2-kimiko-v2-13b.Q5_K_M.gguf"

And had satisfying results! The performance of LLaMA2 really is nice to have here as well.

[-] darkeox@kbin.social 2 points 1 year ago

Thanks a lot for your input. It's a lot to stomach but very descriptive which is what I need.

I run this Koboldcpp in a container.

What I ended up doing and which was semi-working is:

  • --model "/app/models/mythomax-l2-13b.ggmlv3.q5_0.bin" --port 80 --stream --unbantokens --threads 8 --contextsize 4096 --useclblas 0 0

In the Kobboldcpp UI, I set max response token to 512 and switched to an Instruction/response model and kept prompting with "continue the writing", with the MythoMax model.

But I'll be re-checking your way of doing it because the SuperCOT model seemed less streamlined and more qualitative in its story writing.

[-] darkeox@kbin.social 2 points 1 year ago

The MythoMax looks nice but I'm using it in story mode and it seems to have problems progressing once it's reached the max token, it appears stuck:

Generating (1 / 512 tokens)
(EOS token triggered!)
Time Taken - Processing:4.8s (9ms/T), Generation:0.0s (1ms/T), Total:4.8s (0.2T/s)
Output:

And then stops when I try to prompt it to continue the story.

[-] darkeox@kbin.social 1 points 1 year ago

I'll try that Model. However, your option doesn't work for me:

koboldcpp.py: error: argument model_param: not allowed with argument --model

[-] darkeox@kbin.social 1 points 1 year ago

Ah oui, c'était génial.

[-] darkeox@kbin.social 1 points 1 year ago

Oscar de la meilleure tentative de coup d'état 2023 quand même.

[-] darkeox@kbin.social 1 points 1 year ago

kbin.social, j'ai rien d'hébergé / géré par des FR donc pas vraiment de préférence.

view more: ‹ prev next ›

darkeox

joined 1 year ago