Mit llamafile revolutioniert Mozilla den KI-Zugang und damit auch die Chatbot-Technologie

Das Mozilla Innovation Team hat llamafile vorgestellt und bringt damit die Möglichkeit, einen vollständigen LLM-Chatbot in einer einzigen Datei auszuliefern, die auf sechs Betriebssystemen läuft. Dies begünstigt unter anderem die Entwicklung von ChatGPT-Konkurrenten, die ganz einfach lokal auf dem Computer ausgeführt werden können und nicht auf die Cloud eines Tech-Giganten angewiesen sind.

Sogenannte große Sprachmodelle, besser bekannt als LLMs, werden häufig über cloudbasierte, gerne auch kommerzielle, Dienste genutzt. Dies geschieht entweder direkt über den jeweiligen Dienst oder indem ein Produkt genutzt wird, welches auf einer Schnittstelle eines solchen Dienstes aufbaut, was Fragen in Bezug auf Datenschutz, Zugang und Kontrolle aufwirft. Werden die Unterhaltungen beispielsweise mitgelesen und wie werden die Daten verwendet? Wenn man nichts unternehme, würde in Zukunft „diese neue Ära der KI von einer Handvoll mächtiger Technologieunternehmen dominiert werden“, denen man dann vertrauen müsse, dass sie das Richtige tun, so Mozilla. Aus diesem Grund bräuchte es einen Plan B.

Diesen Plan B sieht Mozilla in der Open Source Community, welche dafür sorgen kann, dass der Zugang zu Künstlicher Intelligenz frei und kostenlos bleibt. Während Open Source KI in den letzten Jahren enorme Fortschritte gemacht hat, ist es immer noch nicht einfach, einen Open Source KI-Stack zum Laufen zu bekommen. Dies erfordert immer noch einiges an Fachwissen und Aufwand.

Im Rahmen der Innovation Week im Dezember hat das Mozilla Innovation Team llamafile vorgestellt. Mit llamafile werden LLM-Gewichte in ausführbare Dateien umgewandelt. Diese laufen auf Windows, macOS, Linux, OpenBSD, FreeBSD sowie NetBSD. Damit wird die Nutzung einer KI quasi so einfach wie der Doppelklick auf eine App, schreibt Mozilla. Dies ermögliche es mehr Entwicklern, mit der Technologie zu arbeiten, und mehr Endnutzern, Lösungen einzusetzen, welche Open Source statt Closed Source sind.

Für die Umsetzung von llamafile greift Mozilla auf bereits bestehende Open Source Technologie zurück. Zum einen ist dies llama.cpp, was eine Portierung von Metas LLaMA-Modellen in C/C++ ist und es ermöglicht, LLMs auf gewöhnlicher Endnutzer-Hardware laufen zu lassen. Zum anderen ist dies Cosmopolitan, was die Verteilung und Ausführung von Programmen auf einer Vielzahl von Betriebssystemen und Hardware-Architekturen unterstützt und deren Entwicklerin auch die Entwicklerin von llamafile ist. Zuvor hatte Mozilla über sein MIECO-Programm bereits die Entwicklung von Cosmopolitan 3.0 gesponsert. Mit llamafile werden diese beiden Projekte quasi kombiniert, um so beispielsweise einen Chatbot, vergleichbar mit ChatGPT, ganz einfach lokal auf dem eigenen Computer ausführen zu können.

Mozilla sieht in llamafile einen großen Schritt nach vorne, was den Zugang zu Open Source KI betrifft. Darüber hinaus möchte Mozilla mit dem Projekt „lokale KI“ vorantreiben. Keine Abhängigkeit von einer Cloud, man behält die Kontrolle über die Daten, niemand liest die Fragen oder Antworten mit. Ein weiterer Vorteil ist, dass die KI immer verfügbar ist und man nicht auf eine bestehende Internetverbindung angewiesen ist.

Wer llamafile testen möchte, findet auf GitHub mehrere Beispiel-Dateien zum Herunterladen. Nach Ausführung der entsprechenden Datei kann über den Browser eine Eingabe-Maske aufgerufen werden. Neben einigen Parametern, die sich darüber konfigurieren lassen, kann damit eine Unterhaltung mit dem Chatbot geführt werden. Es ist sogar möglich, Bilder hochzuladen und sich diese von der KI beschreiben zu lassen.