Menü: WeBLOG
| KI lokal testen (27.12.2023) |
| Bei den momentan angebotenen KI-Modellen wie z.B. "Copilot" von Microsoft, "Bard" von Google oder "ChatGPT" von OpenAI kommt man um eine Registrierung nicht herum und die zu akzeptierenden Nutzungs-Bedingungen erlauben die Ein- und Ausgaben auszuwerten sowie Folgemodelle mit diesen Inhalten weiter zu trainieren. Davon kann man sich nur freikaufen, wenn man Enterprise-Lizenzen erwirbt. |
| Die Alternative ist somit die lokale Installation eines OpenSource-Modells. Diese laufen dann offline am eigenen Rechner ohne Internetzugriff und geben nichts preis. Der Nachteil: Das Ganze ist - abhängig von der verwendeten Hardware - langsam und auf die Version der verwendeten LLMs (Large Language Model) beschränkt, die zudem nichts "dazulernen". Es ist aber durchaus spannend zu sehen, was bereits damit schon geht. Z.B. bietet https://gpt4all.io einen freien Chatbot zur lokalen Installation für Windows, OSX und Ubuntu (Linux) an. Oder man findet ein WebUI auf https://github.com/oobabooga/text-generation-webui. Auf Huggingface kann man hernach eine passende Mistral- oder LLaMA-Version herunterladen. Damit es gut auf einer Desktop-CPU läuft, sollte man quantisierte Versionen (anstatt der offiziellen Versionen), welche die Gewichte in weniger Bits speichern, laden. "TheBloke" hat einige sehr interessante Versionen dazu erstellt, siehe https://huggingface.co/TheBloke. Dabei wäre zu beachten, dass man in der Modelcard recherchiert, welches das passende Prompt-Template ist, weil die Metadaten des gewählten Modells oft nicht richtig ausgefüllt sind und man deshalb das Instruction-Template selbst wählen muss. Die Einschränkungen der Modelle sind unterschiedlich. Während Mistral (von Mistral AI) unbeschränkt ist, gibt es bei LLaMA (von MetaAI) in der Instruct-Version, vergleichbar mit ChatGPT, Beschränkungen, d.h. ist zensiert. Auf LocalLLaMA findet man aber entsprechende Jailbreaks, die dann auch Antworten auf "kritische" Fragen im Modell liefern. Siehe auch Beitrag: Das Problem der KI-Demenz (04.08.2023) |
Menü: WeBLOG
