Ah thank you for the trove of information. What would be the best general knowledge model according to you?
@nosnahc c'est deux commentaires différents, j'imagine que les deux méthodes sont possibles. Pour ce qui est de la légalité, j'y ai pas réfléchi effectivement. Je vire la soumission ?
Don't be sorry, you're being so helpful, thank you a lot.
I finally replicated your config:
localhost/koboldcpp:v1.43 --port 80 --threads 4 --contextsize 8192 --useclblas 0 0 --smartcontext --ropeconfig 1.0 32000 --stream "/app/models/mythomax-l2-kimiko-v2-13b.Q5_K_M.gguf"
And had satisfying results! The performance of LLaMA2 really is nice to have here as well.
Thanks a lot for your input. It's a lot to stomach but very descriptive which is what I need.
I run this Koboldcpp in a container.
What I ended up doing and which was semi-working is:
--model "/app/models/mythomax-l2-13b.ggmlv3.q5_0.bin" --port 80 --stream --unbantokens --threads 8 --contextsize 4096 --useclblas 0 0
In the Kobboldcpp UI, I set max response token to 512 and switched to an Instruction/response model and kept prompting with "continue the writing", with the MythoMax model.
But I'll be re-checking your way of doing it because the SuperCOT model seemed less streamlined and more qualitative in its story writing.
The MythoMax looks nice but I'm using it in story mode and it seems to have problems progressing once it's reached the max token, it appears stuck:
Generating (1 / 512 tokens)
(EOS token triggered!)
Time Taken - Processing:4.8s (9ms/T), Generation:0.0s (1ms/T), Total:4.8s (0.2T/s)
Output:
And then stops when I try to prompt it to continue the story.
I'll try that Model. However, your option doesn't work for me:
koboldcpp.py: error: argument model_param: not allowed with argument --model
Ah oui, c'était génial.
Oscar de la meilleure tentative de coup d'état 2023 quand même.
kbin.social, j'ai rien d'hébergé / géré par des FR donc pas vraiment de préférence.
Tu parles plutôt du titre choisi par le posteur là. Le titre de l'article est :
"Utiliser ChatGPT peut nous rendre plus performants, mais aussi plus idiots". Possibilité donc moins péremptoire quoiqu'un peu aguicheur.
Et ensuite dans l'article:
Je ne m'épanche pas sur le vocabulaire de l'article qui est ahem... bref. Mais grosso-modo à la lecture, ça résume assez fidèlement et honnêtement l'étude et le titre n'est pas choquant pour moi.