OpenAI heeft aangekondigd dat het nu externe ontwikkelaars in staat stelt ChatGPT via een API in hun apps en services te integreren en dat dit aanzienlijk goedkoper zal zijn dan het gebruik van de bestaande taalmodellen. Het bedrijf maakt Whisper, zijn AI-aangedreven spraak-naar-tekst-model, beschikbaar voor gebruik via een API en brengt enkele belangrijke wijzigingen aan in de servicevoorwaarden voor ontwikkelaars.
OpenAI zegt dat zijn ChatGPT API voor meer kan worden gebruikt dan alleen het creëren van een AI-aangedreven chatinterface – hoewel het ook verschillende bedrijven belicht die het voor dat doel hebben gebruikt, waaronder Snap’s My AI-functie, die eerder deze week werd aangekondigd. Het bedrijf zegt dat zijn nieuwe modelfamilie, genaamd gpt-3.5-turbo, het “beste model is voor veel niet-chat-use-cases.”
Het is vermeldenswaard dat het model waarschijnlijk niet hetzelfde model is dat Bing gebruikt, dat Microsoft een “nieuw, volgende generatie OpenAI groot taalmodel” heeft genoemd dat “nog sneller, nauwkeuriger en capabeler” is dan ChatGPT en GPT- 3.5. Gezien hoeveel geld het bedrijf in OpenAI heeft geïnvesteerd, is het geen verrassing dat het toegang heeft tot technologie die niet beschikbaar is voor de gemiddelde ontwikkelaar. Microsoft gebruikt ook een gezonde dosis eigen technologie voor Bing.
OpenAI biedt 1.000 tokens aan voor $ 0,002 en zegt dat dit “10x goedkoper is dan onze bestaande GPT-3.5-modellen”, mede dankzij “een reeks systeembrede optimalisaties”. Hoewel 1.000 veel lijkt, is het vermeldenswaard dat het verzenden van één tekstfragment waarop de API moet reageren, meerdere tokens kan kosten. (“Tokens” zijn de tekstblokken waarin het systeem zinnen en woorden opsplitst om te voorspellen welke tekst het vervolgens moet uitvoeren.)
Volgens de documentatie van OpenAI is “ChatGPT geweldig!” kost zes tokens – de API verdeelt het in “Chat”, “G”, “PT”, “is”, “geweldig” en “!”. Het bedrijf biedt een tool om te controleren hoeveel tokens er nodig zijn om een reeks tekst te interpreteren en zegt dat een algemene vuistregel is dat “één token over het algemeen overeenkomt met ~ 4 tekens” in het Engels.
Het bedrijf zegt dat ontwikkelaars ook een speciale instantie van ChatGPT kunnen krijgen als ze een monsterlijke hoeveelheid gegevens via de API uitvoeren. In de post staat dat je hierdoor meer controle krijgt over welk model je gebruikt, hoe lang je wilt dat het duurt om op verzoeken te reageren en hoe lang gesprekken met de bot kunnen duren.
Hoewel ChatGPT waarschijnlijk de meeste aandacht krijgt, heeft OpenAI ook nog een nieuwe API voor Whisper aangekondigd, het spraak-naar-tekst-model. Het bedrijf zegt dat je het kunt gebruiken om audio te transcriberen of te vertalen voor $ 0,006 per minuut. Technisch gezien is het Whisper-model open source, dus je kunt het op je eigen hardware draaien zonder iets te betalen. OpenAI heeft echter waarschijnlijk toegang tot krachtigere hardware, dus als u op zoek bent naar een snelle doorlooptijd of transcriptie moet uitvoeren op apparaten met een lager vermogen, zoals telefoons, kan het gebruik van de API de juiste keuze zijn.
OpenAI kondigt ook enkele beleidswijzigingen aan die naar eigen zeggen gebaseerd zijn op feedback van ontwikkelaars. Een grote zegt dat het geen gegevens zal gebruiken die via de API zijn ingediend om zijn modellen te trainen, tenzij klanten dat gebruik expliciet goedkeuren.
Met andere woorden, het gaat van een opt-out systeem naar een opt-in systeem. Deze wijziging kan sommige zorgen wegnemen over het plaatsen van bedrijfseigen informatie in de bot, aangezien sommige bedrijven werknemers hebben verboden de technologie volledig te gebruiken. Als het leert van gebruikersinvoer, zou het een slecht idee zijn om handelsgeheimen in te voeren, omdat er altijd de mogelijkheid is dat het die gegevens weer naar iemand anders kan spugen.
Het bedrijf zegt ook dat het werkt aan het verbeteren van de uptime en dat de “topprioriteit van het technische team nu de stabiliteit van productiegebruiksscenario’s is”.
Hoewel verschillende ontwikkelaars tijdelijke oplossingen hebben bedacht om chatservices in hun apps op te nemen, onder meer door de reguliere GPT API van OpenAI te gebruiken, die al een tijdje beschikbaar is, voelt de introductie van een officiële ChatGPT API alsof de sluisdeuren opengaan. Hoewel er genoeg bedrijven zijn die aan hun eigen AI-chatbotmodellen werken, ligt dat soort dingen volledig buiten het bereik van de meeste ontwikkelaars. Nu kunnen ze gewoon de technologie van OpenAI gebruiken.
