Description
Hello Code4Delphi,
I have used your project to create a standalone client (not Delphi IDE) for LM Studio. Its working but sometimes truncates longer answers. Maybe more often with technical answers. I know it wasn't your goal, but I'm wondering if you have any suggestions where I should look.
Changes I have made:
- cloned /src/AI/DelphiAIDev.AI.ChatGPT.pas to /src/AI/DelphiAIDev.AI.LMStudio.pas
- forced a 5 minute timeout in TRequest
- changed base url to my local server settings
- changed tokens from 2048 to 4096 to 8096
- In Settings and related, cloned all (most?) mentions of Ollama to LMStudio
- added LMStudio consts to match Ollama
- on settings form, added a similar panel to ollama (offline) for LM Studio (local)
- made many changes to remove open tools references (removes colors and dock functions)
- this to make a standalone client / exe
- probably others, but thats what I remember off the top of my head
Anyway, any hints would be welcome.
Usei seu projeto para criar um cliente independente (não Delphi IDE) para o LM Studio. Está funcionando, mas às vezes interrompe respostas mais longas. Talvez com mais frequência com respostas técnicas. Vejo que o servidor está enviando respostas completas.
Sei que não era seu objetivo, mas gostaria de saber se você tem alguma sugestão de onde eu deveria procurar.
Alterações que fiz:
- copiei /src/AI/DelphiAIDev.AI.ChatGPT.pas para /src/AI/DelphiAIDev.AI.LMStudio.pas
- forcei um tempo limite de 5 minutos no TRequest
- alterei a URL base para as configurações do meu servidor local
- alterei os tokens de 2048 para 4096 e depois para 8096
- Em Configurações e relacionados, copiei todas (a maioria?) as menções de Ollama para LMStudio
- adicionei "consts" do LMStudio para corresponder ao Ollama
- no formulário de configurações, adicionei um painel semelhante ao ollama (offline) para o LM Studio (local)
- fiz várias alterações para remover referências a ferramentas abertas (removi cores e funções de encaixe)
- isso para criar um cliente/exe autônomo
- provavelmente outros, mas é o que me lembro de cabeça
De qualquer forma, qualquer dica será bem-vinda.
Thanks,
dmbz