Kafka MCP Server

Ein Message Context Protocol (MCP)-Server, der in Apache Kafka integriert ist, um Veröffentlichungs- und Konsumfunktionen für LLM- und Agentic-Anwendungen bereitzustellen.

Überblick

Dieses Projekt implementiert einen Server, der es KI-Modellen ermöglicht, über eine standardisierte Schnittstelle mit Kafka-Themen zu interagieren. Es unterstützt:

• Veröffentlichen von Nachrichten zu Kafka-Themen

• Nachrichten aus Kafka-Themen nutzen

Related MCP server: KafkaIQ

Voraussetzungen

• Python 3.8+

• Apache Kafka-Instanz

• Python-Abhängigkeiten (siehe Abschnitt „Installation“)

Installation

1. Klonen Sie das Repository:

   git clone <repository-url>
   cd <repository-directory>

2. Erstellen Sie eine virtuelle Umgebung und aktivieren Sie sie:

   python -m venv venv
   source venv/bin/activate  # On Windows, use: venv\Scripts\activate

3. Installieren Sie die erforderlichen Abhängigkeiten:

   pip install -r requirements.txt

   Wenn keine Datei „requirements.txt“ vorhanden ist, installieren Sie die folgenden Pakete:

   pip install aiokafka python-dotenv pydantic-settings mcp-server

Konfiguration

Erstellen Sie im Projektstammverzeichnis eine .env Datei mit den folgenden Variablen:

# Kafka Configuration
KAFKA_BOOTSTRAP_SERVERS=localhost:9092
TOPIC_NAME=your-topic-name
IS_TOPIC_READ_FROM_BEGINNING=False
DEFAULT_GROUP_ID_FOR_CONSUMER=kafka-mcp-group

# Optional: Custom Tool Descriptions
# TOOL_PUBLISH_DESCRIPTION="Custom description for the publish tool"
# TOOL_CONSUME_DESCRIPTION="Custom description for the consume tool"

Verwendung

Ausführen des Servers

Sie können den Server mit dem bereitgestellten main.py -Skript ausführen:

python main.py --transport stdio

Verfügbare Transportmöglichkeiten:

• stdio : Standardeingabe/-ausgabe (Standard)

• sse : Vom Server gesendete Ereignisse

Integration mit Claude Desktop

Um diesen Kafka MCP-Server mit Claude Desktop zu verwenden, fügen Sie Ihrer Claude Desktop-Konfigurationsdatei die folgende Konfiguration hinzu:

{
    "mcpServers": {
        "kafka": {
            "command": "python",
            "args": [
                "<PATH TO PROJECTS>/main.py"
            ]
        }
    }
}

Ersetzen Sie <PATH TO PROJECTS> durch den absoluten Pfad zu Ihrem Projektverzeichnis.

Projektstruktur

• main.py : Einstiegspunkt für die Anwendung

• kafka.py : Implementierung des Kafka-Konnektors

• server.py : MCP-Serverimplementierung mit Tools für die Kafka-Interaktion

• settings.py : Konfigurationsverwaltung mit Pydantic

Verfügbare Tools

Kafka-Publish

Veröffentlicht Informationen zum konfigurierten Kafka-Thema.

Kafka-Konsum

Informationen aus dem konfigurierten Kafka-Thema nutzen.

• Hinweis: Sobald eine Nachricht aus dem Thema gelesen wurde, kann sie mit derselben Gruppen-ID nicht erneut gelesen werden.

Thema erstellen

Erstellt ein neues Kafka-Thema mit angegebenen Parametern.

• Optionen :

  • --topic Name des zu erstellenden Themas

  • --partitions Anzahl der zuzuweisenden Partitionen

  • --replication-factor Replikationsfaktor zwischen Brokern

  • --config (optional) Überschreibt die Konfiguration auf Themenebene (z. B. retention.ms=604800000 )

Thema löschen

Löscht ein vorhandenes Kafka-Thema.

• Optionen :

  • --topic Name des zu löschenden Themas

  • --timeout (optional) Wartezeit bis zum Abschluss des Löschvorgangs

Listenthemen

Listet alle Themen im Cluster auf (oder nach Muster gefiltert).

• Optionen :

  • --bootstrap-server Brokeradresse

  • --pattern (optional) Regulärer Ausdruck zum Filtern von Themennamen

  • --exclude-internal (optional) Interne Themen ausschließen (Standard: true)

Themen-Konfiguration

Zeigt die Konfiguration für ein oder mehrere Themen an oder ändert sie.

• Optionen :

  • --describe Aktuelle Konfigurationen für ein Thema anzeigen

  • --alter Konfigurationen ändern (zB --add-config retention.ms=86400000,--delete-config cleanup.policy )

  • --topic Name des Themas

Themen-Metadaten

Ruft Metadaten zu einem Thema oder dem Cluster ab.

• Optionen :

  • --topic (falls angegeben) Ruft Metadaten nur für dieses Thema ab

  • --bootstrap-server Brokeradresse

  • --include-offline (optional) Schließt Broker oder Partitionen ein, die offline sind