Hugging Face präsentiert innovative Carbon-Modelle für die Genomik

Hugging Face stellt „Carbon“ vor: Eine neue Ära der Genomik-Modellierung

In der Welt der künstlichen Intelligenz und ihrer Anwendung in den Biowissenschaften hat Hugging Face, eine prominente Organisation im Bereich des maschinellen Lernens, kürzlich die Veröffentlichung ihrer „Carbon“-Modellfamilie bekannt gegeben. Diese Modelle stellen generative DNA-Grundlagenmodelle dar, die darauf abzielen, die Analyse und Manipulation genetischer Sequenzen zu revolutionieren. Die Initiative, die unter dem Dach von Hugging Science läuft, verspricht eine erhebliche Beschleunigung der Forschung und Entwicklung in der Genomik.

Technologische Innovationen und Leistungsmerkmale

Die Carbon-Modelle wurden mit einem Fokus auf Effizienz und Leistung entwickelt. Das herausragende Merkmal ist die Geschwindigkeit: Carbon-3B, das Flaggschiffmodell der Familie, erreicht Berichten zufolge die Leistung etablierter DNA-Modelle wie Evo2-7B, ist dabei aber bis zu 275-mal schneller bei der Inferenz. Diese bemerkenswerte Geschwindigkeitssteigerung ermöglicht es Forschenden, das gesamte menschliche Genom auf einer einzigen GPU in weniger als zwei Tagen zu verarbeiten, was zuvor undenkbar war.

Die zugrunde liegenden Innovationen, die diese Leistung ermöglichen, umfassen mehrere Schlüsselbereiche:

• Einzigartige Tokenisierung: Im Gegensatz zu herkömmlichen Methoden, die entweder auf Zeichenebene (Basen) oder mit BPE-Tokenizern (Byte Pair Encoding) arbeiten, setzt Carbon auf eine neuartige Tokenisierung. DNA-Sequenzen werden in Abschnitte von sechs Basen unterteilt. Dies ermöglicht eine effizientere Verarbeitung bei gleichzeitigem Erhalt der Einzelbasenauflösung während des Trainings und der Inferenz.
• Hybride Verlustfunktion: Die Modelle nutzen eine hybride Verlustfunktion, die eine grobe 6-Mer-Tokenisierung mit einer Einzelnukleotidauflösung verbindet. Dies gewährleistet, dass die Modelle die Präzision auf Basenebene beibehalten, ohne die hohen Rechenkosten, die bei der Verwendung von Einzelbasen-Token während des Trainings anfallen würden.
• Optimierte Trainingsstrategien: Carbon wurde auf einer beträchtlichen Datenmenge von 1 Billion Token hochwertiger DNA-Sequenzen trainiert, was ungefähr 6 Billionen DNA-Basenpaaren entspricht. Dabei wurden Techniken aus modernen großen Sprachmodellen (LLMs) adaptiert, darunter RMSNorm, SwiGLU, RoPE, Long-Context Expansion und GQA. Die Entwickler haben Herausforderungen wie verrauschte öffentliche Daten und das Versagen von BPE-Tokenizern im DNA-Kontext adressiert.
• Speculative Decoding: Das 500M Carbon-Modell dient als Entwurfsmodell, um die Inferenz bei größeren Checkpoints zu beschleunigen – eine klassische LLM-Technik, die nun in der Bioinformatik Anwendung findet.

Anwendungsbereiche und Potenzial

Die Carbon-Modelle sind als offene, generative DNA-Grundlagenmodelle konzipiert, die eine breite Palette von Anwendungen in der Genomik unterstützen können:

• Generierung von DNA-Sequenzen: Die Modelle können neue DNA-Sequenzen erzeugen, was für synthetische Biologie und die Entwicklung neuer genetischer Konstrukte von Bedeutung sein könnte.
• Analyse der Genstruktur: Sie ermöglichen die Untersuchung der Struktur von Genen und das Verständnis ihrer Funktionen.
• Vorhersage von Mutationsauswirkungen: Die Modelle können die potenziellen Auswirkungen von Mutationen vorhersagen, was für die Krankheitsforschung und personalisierte Medizin relevant ist.
• Proteinfaltung und -generierung: Es besteht die Möglichkeit, Proteine zu generieren und ihre Faltung zu analysieren, ein entscheidender Schritt im Proteindesign.
• Rekonstruktion des Stammbaums des Lebens: Die Modelle könnten auch zur Rekonstruktion von Teilen des Stammbaums des Lebens beitragen, was grundlegende Erkenntnisse in der Evolutionsbiologie liefern würde.

Offenheit und Community-Engagement

Im Einklang mit der Philosophie von Hugging Face und der Hugging Science-Initiative sind die Carbon-Modelle vollständig quelloffen. Dies umfasst die Gewichte, den Code, die Evaluierungssuite, den Vortrainingskorpus und den vollständigen technischen Bericht. Diese Offenheit soll die Zusammenarbeit in der Forschungsgemeinschaft fördern und eine schnellere Weiterentwicklung und Adaption der Technologie ermöglichen.

Hugging Science positioniert sich als eine gemeinschaftsgetriebene Bewegung für offene Wissenschaft im Zeitalter der KI. Die Organisation betont die Notwendigkeit, Ressourcen zu teilen und disziplinäre Grenzen zu überwinden, um wissenschaftliche Durchbrüche zu beschleunigen. Die Veröffentlichung von Carbon ist ein konkretes Beispiel für diesen Ansatz, der darauf abzielt, KI für die wissenschaftliche Entdeckung zugänglicher und effektiver zu machen.

Herausforderungen und Lösungsansätze

Die Entwicklung von DNA-Modellen unterscheidet sich in einigen Aspekten von der Entwicklung von Sprachmodellen. Lewis Tunstall von Hugging Face wies darauf hin, dass öffentliche DNA-Daten oft verrauscht sind, BPE-Tokenisierung ineffektiv ist und die Cross-Entropie-Verlustfunktion nach einer bestimmten Anzahl von Token instabil werden kann. Zudem fehlen umfassende öffentliche Evaluierungsmetriken für solche Modelle.

Das Carbon-Team hat diese Herausforderungen durch gezielte Maßnahmen adressiert, darunter:

• Datenkuration: Eine sorgfältige Kuration der Trainingsdaten, die sich auf eine Mischung aus eukaryotischen Genen, mRNA-Transkripten und prokaroytischen Genomen konzentriert.
• Hybrid-Loss-Funktion: Eine spezielle Verlustfunktion, die die Vorteile von grober Tokenisierung und Einzelnukleotid-Präzision kombiniert.
• Umfassende Evaluierungssuite: Die Bereitstellung einer Suite von sieben Zero-Shot-DNA-Evaluierungen, die verschiedene Aspekte der Modellleistung abdecken, darunter Varianten-Effekt-Vorhersage, Sequenzwiederherstellung und Perturbationsaufgaben.

Die Veröffentlichung der Carbon-Modelle durch Hugging Face stellt einen wichtigen Schritt in der Anwendung von KI in der Genomik dar. Durch die Kombination von hoher Leistung, Effizienz und einem Engagement für Open Source könnten diese Modelle die Forschung in den Biowissenschaften maßgeblich vorantreiben und neue Möglichkeiten für Entdeckungen und Anwendungen eröffnen.

Bibliographie:

1. Lewis Tunstall von Hugging Face stellt Carbon Genomic Foundation Models mit Carbon-3B vor. Digg. Verfügbar unter: [https://digg.com/ai/e82rjbxc](https://digg.com/ai/e82rjbxc)
2. Hugging Face (Bio) Veröffentlichung von Carbon: Eine Familie von Open Genomics Foundation Models. LinkedIn Post von Georgia Channing. Verfügbar unter: [https://www.linkedin.com/posts/georgia-channing_today-were-releasing-carbon-a-family-of-activity-7462552170584875008-ssRk](https://www.linkedin.com/posts/georgia-channing_today-were-releasing-carbon-a-family-of-activity-7462552170584875008-ssRk)
3. huggingface/carbon: The home of Carbon Genomic Foundation Model. GitHub Repository. Verfügbar unter: [https://github.com/huggingface/carbon](https://github.com/huggingface/carbon)
4. Introducing Carbon 🧬 a family of open generative DNA foundation models. LinkedIn Post von Loubna Ben Allal. Verfügbar unter: [https://www.linkedin.com/posts/loubna-ben-allal-238690152_introducing-carbon-a-family-of-open-generative-activity-7462538117250736128-Kiw5](https://www.linkedin.com/posts/loubna-ben-allal-238690152_introducing-carbon-a-family-of-open-generative-activity-7462538117250736128-Kiw5)
5. Hugging Science - AI for Scientific Discovery. Offizielle Website. Verfügbar unter: [https://huggingscience.co/](https://huggingscience.co/)
6. Models – Hugging Face. Modellübersicht mit Filter "carbon". Verfügbar unter: [https://huggingface.co/models?other=carbon](https://huggingface.co/models?other=carbon)
7. [Carbon] hybrid loss function by kashif · Pull Request #394 · huggingface/nanotron · GitHub. Verfügbar unter: [https://github.com/huggingface/nanotron/pull/394](https://github.com/huggingface/nanotron/pull/394)
8. zehui127/Omni-DNA-116M · Hugging Face. Verfügbar unter: [https://huggingface.co/zehui127/Omni-DNA-116M](https://huggingface.co/zehui127/Omni-DNA-116M)