Microsoft präsentiert Phi 3.5: Fortschritte und Neuerungen in der Künstlichen Intelligenz

Technische Details und Training

Alle Phi-3.5-Modelle unterstützen eine Kontextlänge von bis zu 128.000 Token, was sie für lange Dokumentzusammenfassungen und mehrsprachige Kontextabfragen nützlich macht. Diese Modelle wurden auf hochwertigen, gefilterten Daten trainiert, darunter auch synthetische, „lehrbuchartige“ Daten, die für das Lehren von Mathematik, Kodierung, allgemeinem Wissen und logischem Denken erstellt wurden.

Die Trainingsdaten umfassten:

- Phi-3.5-mini-instruct: 3,4 Billionen Token, trainiert mit 512 H100-80G GPUs über 10 Tage. - Phi-3.5-MoE-instruct: 4,9 Billionen Token, trainiert mit 512 H100-80G GPUs über 23 Tage. - Phi-3.5-vision-instruct: 500 Milliarden Token, trainiert mit 256 A100-80G GPUs über 6 Tage.

Leistung und Benchmarks

Die neuen Phi-3.5-Modelle zeigen in verschiedenen Benchmarks beeindruckende Leistungen. Sie übertreffen in vielen Fällen sogar größere Modelle wie Meta's Llama 3.1 und Google's Gemini 1.5 Flash. Besonders hervorzuheben ist die Leistung des Phi-3.5-MoE-instruct Modells bei mehrsprachigen und mathematischen Aufgaben, wo es sogar OpenAI's GPT-4o-mini in bestimmten Benchmarks übertrifft.

Anwendungsbereiche und Verfügbarkeit

Die Phi-3.5-Modelle sind ideal für verschiedene kommerzielle und wissenschaftliche Anwendungen:

- Szenarien mit begrenzten Ressourcen - Zeitkritische Anwendungen - Aufgaben, die starke logische Schlussfolgerungen erfordern

Alle Modelle sind unter der MIT-Lizenz auf Hugging Face und über Microsofts Azure AI Studio verfügbar. Sie erfordern spezialisierte GPU-Hardware wie NVIDIA A100, A6000 oder H100, um die Flash-Attention-Unterstützung zu ermöglichen.

Microsoft empfiehlt, die Phi-3.5-Modelle mit einer Suchmethode wie RAG (Retrieval-Augmented Generation) zu kombinieren, um die Schwächen in der faktischen Genauigkeit zu kompensieren. Diese Modelle können auch voreingenommene oder offensive Inhalte generieren, was bei der Implementierung in sensiblen Kontexten berücksichtigt werden sollte.

Fazit

Mit der Einführung der Phi-3.5-Modelle setzt Microsoft neue Maßstäbe in der KI-Entwicklung. Durch die Bereitstellung dieser leistungsstarken Modelle unter einer offenen Lizenz ermöglicht Microsoft Entwicklern, moderne KI-Fähigkeiten in ihre Anwendungen zu integrieren und Innovationen in verschiedenen Branchen zu fördern.

Quellen

1. https://venturebeat.com/ai/microsoft-releases-powerful-new-phi-3-5-models-beating-google-openai-and-more/
2. https://huggingface.co/microsoft/Phi-3.5-vision-instruct
3. https://azure.microsoft.com/en-us/blog/new-models-added-to-the-phi-3-family-available-on-microsoft-azure/
4. https://www.infoworld.com/article/3489654/microsofts-new-phi-3-5-llm-models-surpass-meta-and-google.html
5. https://www.maginative.com/article/microsoft-unveils-phi-3-5-powerful-ai-models-punch-above-their-weight/
6. https://www.gadgets360.com/ai/news/microsoft-phi-3-5-ai-models-moe-instruct-open-source-gemini-flash-gpt-4o-mini-6383896
7. https://news.microsoft.com/source/features/ai/the-phi-3-small-language-models-with-big-potential/
8. https://huggingface.co/microsoft/Phi-3.5-mini-instruct
9. https://www.reddit.com/r/LocalLLaMA/comments/1ex45m2/phi35_has_been_released/
10. https://analyticsindiamag.com/ai-news-updates/microsoft-launches-new-phi-3-5-models-outperforms-google-gemini-1-5-flash-metas-llama-3-1-and-openais-gpt-4o/