Transformers.js: Neuer Meilenstein für maschinelles Lernen direkt im Webbrowser

Integration mit Pyodide und Pyodide-basierten Frameworks

Ein weiteres spannendes Feature von Transformers.js ist seine Integration mit Pyodide und Pyodide-basierten Frameworks wie JupyterLite, stlite (Streamlit), Shinylive (Shiny für Python), PyScript und HoloViz Panel. Pyodide ist eine Python-Laufzeitumgebung, die in WebAssembly kompiliert wurde und im Browser ausgeführt werden kann. Dies ermöglicht es, Python-Code direkt im Browser auszuführen, was die Entwicklung von Webanwendungen erheblich vereinfacht.

Warum Pyodide?

Pyodide ermöglicht es Entwicklern, die umfangreiche Python-Ökosystem zu nutzen, ohne auf die Vorteile von Webanwendungen verzichten zu müssen. Durch die Kombination von Pyodide und Transformers.js können Entwickler komplexe Machine Learning-Modelle in Python schreiben und diese direkt im Browser ausführen.

Beispielanwendungen

- **JupyterLite**: Ein Browser-basiertes Interface für Jupyter-Notebooks, das die Ausführung von Python-Code ermöglicht. Mit Transformers.js können hier Modelle für Sentiment-Analyse oder Bildklassifikation direkt im Notebook ausgeführt werden. - **stlite (Streamlit)**: Ein Framework zur Erstellung von Webanwendungen aus Python-Skripten. Entwickler können interaktive Dashboards erstellen, die in Echtzeit auf Benutzereingaben reagieren. - **Shinylive**: Eine Python-Version des beliebten R-Shiny-Frameworks, das ebenfalls im Browser ausgeführt werden kann. - **PyScript**: Ermöglicht es, Python-Code direkt in HTML-Dateien einzubetten und auszuführen. - **HoloViz Panel**: Ein weiteres Framework zur Erstellung interaktiver Webanwendungen, das sich besonders für die Visualisierung von Daten eignet.

Technische Details und API

Transformers.js bietet eine API, die der originalen Transformers-API von Hugging Face sehr ähnlich ist. Dies erleichtert den Umstieg für Entwickler, die bereits mit der Python-Bibliothek vertraut sind. Hier ein Vergleich der Syntax:

Python (original)

```python from transformers import pipeline # Allocate a pipeline for sentiment-analysis pipe = pipeline('sentiment-analysis') out = pipe('I love transformers!') # [{'label': 'POSITIVE', 'score': 0.999806941}] ```

JavaScript (Transformers.js)

```javascript import { pipeline } from '@xenova/transformers'; // Allocate a pipeline for sentiment-analysis let pipe = await pipeline('sentiment-analysis'); let out = await pipe('I love transformers!'); // [{'label': 'POSITIVE', 'score': 0.999817686}] ```

Spezialfälle: as_url()

Ein besonderes Feature von Transformers.js.py ist die Funktion `as_url()`, die lokale Dateipfade in URLs umwandelt. Dies ist besonders nützlich, wenn lokale Dateien in der virtuellen Dateisystemumgebung von Pyodide verwendet werden sollen.

Beispiel

```python from transformers_js_py import import_transformers_js, as_url transformers = await import_transformers_js() pipeline = transformers.pipeline pipe = await pipeline('image-classification') local_image_path = "/path/to/image.jpg" input_url = as_url(local_image_path) # Converts a local file path into a URL that can be passed to `pipe()` result = await pipe(input_url) ```

Beispiele und Demos

Transformers.js bietet eine Vielzahl von Beispielen und Demos, die zeigen, wie die Bibliothek in verschiedenen Kontexten verwendet werden kann. Hier sind einige Beispiele: - **JupyterLite**: Ein Notebook, das zeigt, wie man Transformers.js verwendet, um eine Sentiment-Analyse durchzuführen. - **stlite (In-browser Streamlit)**: Eine interaktive Webanwendung zur Sentiment-Analyse. - **Gradio-Lite**: Eine serverlose Gradio-Anwendung, die vollständig im Browser läuft. - **Shinylive**: Eine Anwendung zur Sentiment-Analyse mit dem Shiny-Framework. - **PyScript**: Ein Beispiel, das zeigt, wie man Transformers.js in einer HTML-Datei verwendet. - **Panel**: Eine Anwendung zur Sentiment-Analyse mit HoloViz Panel.

Fazit

Transformers.js stellt einen bedeutenden Fortschritt in der Entwicklung von Machine Learning-Anwendungen dar, die direkt im Browser ausgeführt werden können. Durch die Integration mit Pyodide und anderen Frameworks wird die Entwicklung interaktiver Webanwendungen erheblich vereinfacht. Dies eröffnet neue Möglichkeiten für Entwickler und Anwender gleichermaßen.

Bibliographie

1. https://github.com/whitphx/transformers.js.py
2. https://github.com/xenova/transformers.js
3. https://github.com/holoviz/panel/issues/5371
4. https://github.com/pyodide/pyodide/issues/2669