Peak Privacy Chat
Mitarbeiter nutzen KI mit Firmendaten sicher und kontrolliert
schnellere Antworten verkürzen die Wartezeit
Attraktives Kostenmodell basierend auf Verbrauch
Nutzt euren eigenen, sicheren Firmen-Chat
Ob KMU, Organisation, Stiftung - die Nutzung von einem Chatbot ist hyprpresent und macht den Umgang mit Text effiziernter. Mit dem Peak Privacy Chat können eure Mitarbeiter basierend auf euren eigenen Daten chatten und informationen schneller und gezielter bereitstellen.
Unser Prozess
1. Kostenloses Strategiegespräch
Unser Prozess beginnt mit der Bewertung der Unternehmensstrategie für den Einsatz von KI. Anschliesend identifizieren wir gemeinsam potenzielle Einsatzmöglichkeiten. Basierend auf einer Demo werden dann gemeinsam Zielsetzungen festgelegt.
2. Data Discovery Workshop
Der Workshop "Data-Discovery" beginnt mit der Analyse eurer verfügbaren Daten und der Klärung der Anforderungen. Anschliessend erstellen ein solides Briefing für die Integration.
3. Integration
Wir integrieren den Service mit dem grössten Potenzial nahtlos und effizient und optimieren kontinuierlich durch Feedback. So können wir individuelle Bedürfnisse erkennen und in einem nächsten Schritt individuell weiterentwickeln.
500 CHF / Monat
+ einmalige Setup-Gebühr von 2000 CHF*
Abomodell beinhaltet
3 GB Speicher für eigene Daten (RAG-System)
Zugang für 50 User
inkl. 1 Millionen Tokens/Mt., danach Verbrauch pro GB, siehe Kosten für Verbrauch
Leistungen inklusive:
4h “Data Discovery” Workshop
Integration von 1 Custom RAG mit Setup-Service
8 h Support inkl. Onboarding für selbstständige Verwaltung
Verfügbare LL-Modelle
Mistral (-8x7B, -7B, -Swiss)
OpenAI (GPT 3.5, 4)
Timeline
ab 2 Wochen
bis zur Integration
Euer eigenes RAG-System mit unserer API
Das RAG System greift auf eine Datenbank zu, die wir gemeinsam erstellen. Daraus extrahiert die AI relevante Informationen für die Textgenerierung.
Kosten für Verbrauch
| Models | Input (1k tokens) | Output (1k tokens) | Ressources | Costs | Parameter |
|---|---|---|---|---|---|
| mistral-swiss | CHF 0.004 | CHF 0.006 | 🌱🌱🌱🌱🌱 | 💰💰 | 7 B (+ Opt.) |
| mistral-tiny | CHF 0.00042 | CHF 0,00126 | 🌱🌱🌱🌱 | 💰 | 7 B |
| mistral-small | CHF 0.0012 | CHF 0.0036 | 🌱🌱🌱 | 💰💰💰 | 7B (8x7) |
| mistral-medium | CHF 0.00375 | CHF 0,01125 | 🌱 | 💰💰💰💰💰 | 40 B |
| gpt-3.5-turbo-1106 | CHF 0.0015 | CHF 0.003 | 🌱🌱🌱 | 💰💰💰 | 175 B |
| gpt-4-1106-preview | CHF 0.015 | CHF 0.045 | 🌱🌱 | 💰💰💰💰 | 220 B (est.) |
| gpt-4 | CHF 0.045 | CHF 0.09 | 🌱 | 💰💰💰💰💰 | 220 B (est.) |
Die Preise können jederzeit geändert werden und werden hier publiziert.
Euer eigenes RAG System (Extractive AI)
Das RAG-System greift auf eine grosse Datenbank oder einen Datensatz zu, den wir im Voraus gemeinsam erstellen. Diese Datenbank kann aus verschiedenen Quellen stammen, wie zum Beispiel aus dem Internet, spezialisierten Datenbanken, Unternehmensdaten oder anderen öffentlich verfügbaren Quellen.
Die Datenbank kann strukturierte Daten enthalten, wie z.B. Fakten und Statistiken, oder unstrukturierte Daten, wie z.B. Texte und Artikel. Die künstliche Intelligenz im RAG-System nutzt dann diese Datenbank, um relevante Informationen abzurufen und in den generierten Text zu integrieren.
--> Inhalte wird aus Datenbank extrahiert
Verbrauch, Geschwindigkeit und Kosten
Die Nutzung verschiedener Modelle wie OpenAI und Mistral hat direkte Auswirkungen auf Verbrauch, Geschwindigkeit und Kosten. OpenAI-Modelle sind leistungsfähig und vielseitig einsetzbar, jedoch können sie ressourcenintensiv sein, was zu längeren Verarbeitungszeiten und höheren Kosten führen kann. Im Gegensatz dazu ist Mistral für seine hohe Geschwindigkeit bei geringerem Verbrauch bekannt.
Durch die Auswahl des passenden Modells für jeden Task können Unternehmen Kosten sparen, Ressourcen effizient nutzen und eine optimale Leistung erzielen. Dieser Ansatz ermöglicht es, die Vorteile verschiedener Modelle zu nutzen und individuelle Anforderungen sowie Budgets zu berücksichtigen.
Ethik mit AI
Ethik in der künstlichen Intelligenz (KI) ist von grosser Bedeutung, da KI-Systeme zunehmend in unserem Alltag präsent sind. Ähnlich wie bei der RAG-Technologie ist es wichtig, sicherzustellen, dass KI-Systeme nicht nur effektiv, sondern auch ethisch vertretbar sind. Transparenz, Rechenschaftspflicht und die Vermeidung von Diskriminierung sind entscheidende Aspekte, um sicherzustellen, dass KI-Systeme verantwortungsvoll eingesetzt werden.
Mehr dazu unter Peak Privacy Ethik.
Anonymisierung
Anonymisierung ist besonders wichtig, wenn wir Modelle ausserhalb der Schweiz verwenden, wie z. B. GPT von OpenAI. Unsere in der Schweiz gehosteten Modelle stellen sicher, dass eure Daten zu keinem Zeitpunkt das Land verlassen. Unser Service richtet sich an Teams, die grossen Wert auf Datensicherheit und Privatsphäre legen.
Kernstück unserer Technologie ist die Integration von Microsofts Presidio, einem führenden Tool zur effektiven Datenanonymisierung und -deanonymisierung.
Empfehlung zur Nutzung kleinerer Sprachmodelle für eine nachhaltigere KI
In der ständigen Suche nach effizienteren und nachhaltigeren Lösungen im Bereich der Künstlichen Intelligenz (KI) ist die Auswahl der richtigen Technologien entscheidend. Eine kürzlich veröffentlichte Studie von Forschern des MIT, NYU, und der Northeastern University,, veröffentlicht unter dem Titel "From Words to Watts: Benchmarking the Energy Costs of Large Language Model Inference" auf arXiv (arXiv:2310.03003v1), bietet wertvolle Einblicke in den Energieverbrauch von Large Language Models (LLMs).
Die Studie hebt hervor, dass der Energieverbrauch von LLMs mit der Anzahl ihrer Parameter steigt. Insbesondere beim Vergleich zwischen verschiedenen Grössen des LLaMA-Modells – 7B, 13B und 65B – zeigte sich, dass grössere Modelle einen signifikant höheren Energieverbrauch aufweisen. Diese Erkenntnisse unterstreichen die Bedeutung der Auswahl von Modellgrössen im Hinblick auf den Energieverbrauch und die damit verbundenen Umweltauswirkungen.
Basierend auf diesen Erkenntnissen empfehlen wir die Verwendung kleinerer Modelle, wann immer dies möglich und sinnvoll ist. Durch die Auswahl von Modellen mit weniger Parametern können Unternehmen und Entwickler nicht nur den Energieverbrauch und die CO2-Emissionen reduzieren, sondern auch Kosten einsparen und die Effizienz ihrer KI-Anwendungen steigern. Diese Empfehlung gilt insbesondere für Anwendungen, bei denen die geringfügig erhöhte Genauigkeit grösserer Modelle keinen entscheidenden Vorteil bietet.
Wir ermutigen alle Beteiligten in der KI-Community, den Energieverbrauch ihrer Modelle kritisch zu betrachten und wo immer möglich, nachhaltigere Praktiken zu verfolgen. Die vollständige Studie bietet weitere Details und ist ein wichtiger Beitrag zum Verständnis und zur Reduzierung des Ressourcenverbrauchs im Bereich der Künstlichen Intelligenz.
Quelle: Samsi, S., Zhao, D., McDonald, J., Li, B., Michaleas, A., Jones, M., Bergeron, W., Kepner, J., Tiwari, D., Gadepally, V., "From Words to Watts: Benchmarking the Energy Costs of Large Language Model Inference", arXiv:2310.03003v1, [cs.CL], 4. Oktober 2023.