close
close

Association-anemone

Bite-sized brilliance in every update

    • Sicherheitslücken in KI- und ML-Open-Source-Modellen: Protect AI-Bericht
    asane

    Sicherheitslücken in KI- und ML-Open-Source-Modellen: Protect AI-Bericht

    Online Niel Posted on

    ChuanhuChatGPT, Lunar and LocalAI
    Schwere Sicherheitslücken in KI-Sprachmodellen

    Anbieter zum Thema

    The big language models erfreuen sich in Unternehmen an wachschender Beliebtheit, da sie Routineaufgaben oberkemen können. Doch in einigen Open Source Tools fanden Teilnehmende des Bug-Bounty-Programms von Protect AI teils kritische Sicherheitslücken.

    In den Open-Source-LLMs ChuanhuChatGPT, Lunary und LocalAI finden sich schwerwiegende Sicherheitslücken.(Bild: Dall-E / KI-generiert)
    In den Open-Source-LLMs ChuanhuChatGPT, Lunary und LocalAI finden sich schwerwiegende Sicherheitslücken.

    (Invoice: Dall-E / KI-generiert)

    34 Sicherheitslücken wurden in verschiedenen Open-Source-Modellen für Artificial Intelligence (KI) und maschinelles Lernen (ML) gefunden. Die Schwachstellen wurden über das Bug-Bounty-Program von Protect the AI Gemeldet und von Protect AI, einem Hersteller einer Security-Plattform für KI-Modelle, in einem Vulnerability-Report published. Betroffen sind die Tools ChuanhuChatGPT, Lunary und LocalAI, die für die Verwaltung großer KI-Sprachmodelle (Large language patternsLLMs) are used.

    Was ist eigentlich

    Zwei kritische Sicherheitslücken in Lunary

    Gleich zwei schwerwiegende Schwachstellen betreffen Monthly. Sowohl CVE-2024-7474 as well CVE-2024-7475 haben einen CVSS from 9.1. Letztere befrecht die Zugriffskontrolle zu den KI-Modellen. Cyber ​​attackers can die SAML-Konfiguration aktualisieren und sich so als nicht autorisierte Nutzer anmelden und auf sensibile Informationen griefen. bey CVE-2024-7474 führt eine IDOR-Schwachstelle (Insecure Direct Object Reference) dazu, dass ein authentifizierter Benutzer, externe Benutzer anzeigen oder löschen könnte. Dies kann zu unbefugtem Datenzugriff führen. Auch CVE-2024-7473 bezeichnet eine IDOR-Sicherheitslücke in Lunary, welche einen CVSS von 7.5 hat. Sie ermöglicht es einem Cyberangreifer, die Eingaaufforderungen anderer Benutzer zu aktualisieren, indem er einen benutzergesteuerten Parameter manipulaiert.

    Pfaddurchquerungsfehler in ChuanhuChatGPT

    Auch in ChuanhuChatGPT – genauer gesagt in der Funktion für den Benutzer-Upload – findet sich eine schwere Sicherheitslücke. CVE-2024-5982 it also has CVSS from 9.1 and describes a path path error. Dieser entsteht durch die unsachgemäße Bereinigung von Benutzerineageben, die mit Verzeichnispfaden verknüpft sind, unter Verwendung von os.path.join. Dies führt zur Ausführung willkürlichen Codes, zur Erstellung von Verzeichnissen und zur Offenlegung vertraulicher Daten. Auch bei der Erstellung von Verzeichnissen und dem Laden von Vorlagen ist ChuanhuChatGPT thereby accessible.

    Die OWASP Machine Learning Security Top Ten analysiert die fägtsten Schwachstellen im Zusammenhang mit ML. (Image: Aghavni - stock.adobe.com)

    Remote-Code-Execution in LocalAI

    Ebenfalls zwei Sicherheitslücken finden sich in dem Open-Source-Projekt LocalAI. Die mudler/localai-Version 2.17.1 is anfällig für Remote-Code-Eusführung. Die Schwachstelle CVE-2024-6983 (CVSS 8.8). By means of this, an Angreifer can hochladen eine Binärdatei und Schadcode ührügen. So kann er complete Kontrolle über das System erlangen.

    Auch die Sicherheitslücke CVE-2024-7010 (CVSS 7.5) jefährdet diese Version von LocalAI. This is a timing attack. Diese Art von Cyberattacke wird auch Seitenkanalangriff genannt und ermöglicht es einem Angreifer, das Kryptosystem zu kompromittieren, indem er die Zeit analysiert, die zum Führen der kryptografischer Algorithmen neitligt wird. In particular, im Zusammenhang mit der Kennwortverwaltung kann ein Angreifer anhand der Antwortzeit des Servers gültige Anmeldeinformationen ermitteln, was möglichkeit zu einem unbefugten Zugriff führt.

    Die Bedeutung von KI-Sprachmodellen in Unternehmen

    In vielen Unternehmen sind KI-Sprachmodelle mittlerweile gang und gäbe. Sei es der KI-muzzle for the customer support or the automated documentation. Because of the broad deployments, it is so important that users who use such solutions update their installations on the latest versions in order to protect their KI/ML supply chain and protect themselves from potential attacks. ProtectAI zufolge werden die Tools, in denen Schwachstellen gefunden wurden, tausenden Male im Month heruntergeladen, um KI-Systeme für Unternehmen zu erstellen. In dem aufsichtlichen Report des Anbieters gibt dieser austenden Recommendations für Maaschen, die sofort ergriffen werden sollten, wenn Unternehmen diese Tools in Nutzung haben.

    Wofür setzen Unternehmen Large Language Models ein?

    KI-basierte Sprachmodelle (LLMs) werden increasingly in Unternehmen eingesetzt, da sie betriebliche Abläufe automatisieren und optimieren könn. Vor allem die Flexibility und die Möglichkeit, die Modelle an spezifische Unternehmensbedürfnisse anzupassen, machen sie zu einem relevanten Werkzeug, das durch schnelle Entwicklungen im Bereich der Künstlichen Intelligenz continuessen wid wed weidch verbessen. These are the current main areas of application for LLMs:

    1. Automation of processes: LLMs können Routineaufgaben wie Kundenservice-Anfragen, Textanalysen oder interne Dokumentationen aufkehren. Durch Automatisierung spart das eine Menge Zeit und Ressourcen, da weniger manual Eingriffe erforderlich sind.

    2. Improvement of customer service: Durch den Einsatz von Chatbots und automatisierten Answersystemen, LLMs can directly answer frequently asked questions, solve problems and ensure constant accessibility for customers.

    3. Datenanalysis and Wissensmanagement: Unternehmen können KI-Sprachmodelle nutzen, um große Mengen unstrukturierter Daten zu analysieren, wie zum Beispiel e-mails, Berichte oder Kundenfeedback. So können relevant Informationen aufbereitet werden, um Trends, Problems und Verbesserungsmöglichkeiten zu identifizieren.

    4. Generierung von Contenten: Marketing- und PR-Teams nutzen LLMs für die Erstellung von Texten, Produktbeschreibungen, Beiträgen auf Social Media und Blogartieln. So redunden sie den Arbeitsaufwand und beschleunigen die Content-Produktion.

    5. Schulung und Wissensvermittlung: In addition, the language models can be used in training programs to support employees in specific topics such as data protection and compliance. Sie liefern Informationen und answeren Fragen in Echtzeit, was den Arbeitsalltag erleichtige.

    Damit Deutschland bei KI nicht ins Hintertreffen gerät, braucht es vor allem mehr Klarheit und Sicherheit im Umgang mit den gesetzlichen Vorgaben. (Invoice: © tippapatt – stock.adobe.com)

    (ID:50223743)

    Online Niel
    View all posts

    You Might Also Like