Nvidia’s ontwikkeling lijkt onstuitbaar en herdefinieert als belangrijkste technische innovator enkele paradigma’s in de de computerindustrie. Met de lancering van de AI-chip en het concept van de AI-fabriek toont zij een toekomstgerichte visie op de ICT-infrastructuur die diepgaande implicaties zal hebben voor bedrijven wereldwijd. Dertig jaar geleden werd Nvidia opgericht in een Denny’s wegrestaurant in East San Jose en had bij de oprichting zelfs (nog) geen naam. De oprichters noemden hun idee NV’s – New Versions – en wilden hun bedrijf NVision noemen, maar een fabrikant van toiletpapier bleek die naam al te bezitten. Het werd uiteindelijk Nvidia, afgeleid van het Latijnse woord ‘Invidia’, dat jaloezie of afgunst betekent. De oprichters richtten zich op de game-industrie met hun steeds hogere eisen aan de verwerkingssnelheid van grafische processoren. Hun focus op de ontwikkeling van snelle chips voor videogames, werd de basis voor hun huidige succes op de AI-markt.

De NV1

Nvidia dacht dat grafische verwerking de kant van vierkante primitieven op ging, in plaats van de bestaande ontwikkeling van driehoekige primitieven. Ze gokten op het verkeerde paard. Een pijnlijk dilemma: doorwerken aan een inferieure chip of alsnog kiezen voor driehoekige primitieven. Via een persoonlijk contact die geloofde in de kunde van het Nvidia-team, kregen ze alsnog een investering van 5 miljoen dollar los om in zes maanden tijd de beloofde chip te maken. Ze ontsloegen de meeste werknemers en richtten zich 100% op de ontwikkeling van een nieuwe chip, geoptimaliseerd in het verwerken van driehoekige primitieven. 

De RIVA 128 kwam in 1997 op de markt, terwijl er nog slechts dertig dagen loon voor de resterende veertig werknemers was. In die periode van wanhoop verkochten ze in enkele maanden een miljoen chips, dat de cashflow gaf de volgende generatie te ontwikkelen. De RIVA TNT werd de basis voor de oude reputatie van het bedrijf: het ontwikkelen van de beste grafische adapters. Maar nog jarenlang bleef het onofficiële bedrijfsmotto: ‘Our company is thirty days from going out of business”. 

Van grafische hardware naar AI

In 1999 – twee jaar later – ging Nvidia naar de beurs en brachten NV10: de GeForce 256 uit. Het eerste product dat als een echte GPU (Graphics Processing Unit) en 3D-processor op de consumentenmarkt werd gebracht. Ze wonnen het contract om de nieuwe chip voor de Xbox-gameconsole van Microsoft te ontwikkelen waarvoor ze een voorschot van 200 miljoen dollar kregen. Hierdoor kwam Nvidia in 2001 al in de S&P 500 en moesten indexfondsen verplicht hun aandelen aanhouden. Via deze enorme waardevermeerdering konden zij via overnames technologie van concurrenten in handen krijgen. Toen zij in 2004 – tien jaar later – de opdracht kregen om Sony te helpen bij de ontwikkeling van de grafische chip voor de Playstation 3 was hun positie verzekerd. Forbes riep in 2007 Nvidia uit tot het ‘Bedrijf van het Jaar’.

Tien jaar geleden besloot Nvidia een hoofdkantoor te bouwen in de vorm van twee gigantische driehoeken als ‘de fundamentele bouwsteen van computergraphics’. Het bedrijf diversifieerde naar drie belangrijke markten: gaming, auto-elektronica en mobiel. Naast samenwerking met Toyota voor autonome voertuigen, ontstond in dat zelfde jaar 2017 een partnership met het Chinese Baidu voor cloud computing, autonoom rijden, consumenten apparatuur en Baidu’s open source AI-framework PaddlePaddle. Een jaar later meldde Google dat Nvidia’s grafische kaarten werden geïntegreerd in de AI-platformen van Google Cloud-services. 

Nvidia werd synoniem voor high-performance computing. De overname van Mellonox breidde hun voetafdruk in de high-performance computing markt enorm uit. In 2020 ontstonden zelfs gesprekken om voor 32 miljard dollar Arm te kopen. Maar die overname was een brug te ver en liep spaak. Door bezwaren van de Britse CMA startte de EU een mededingingsonderzoek in. De Commissie stelde dat de overname van Nvidia de toegang van concurrenten tot de producten van Arm zou kunnen beperken en Nvidia te veel interne informatie over haar concurrenten zou kunnen verschaffen vanwege hun deals met Arm. 

De grens van 1 biljoen dollar

Op 26 September 2023 vierde Nvidia zijn historische oprichting dertig jaar eerder bij Denny’s restaurant in East San Jose waar een plaquette werd geplaatst om geboorte van hun bedrijf, dat nu een biljoen dollar omzet had, te memoreren. De vraag naar hun GPU’s is intussen zo groot, dat Nvidia bepaalt hoeveel chips de techgiganten kunnen krijgen. Zij smeken Nvidia als het ware om chips voor hun AI-platformen. Oracle’s Larry Ellison zei onlangs dat hij en Elon Musk van Tesla en X tijdens een diner met Huang “smeekten” om extra H100’s: “Dat is denk ik de beste manier om het te beschrijven. Een uur sushi en bedelen.” 

Nvidia is intussen begonnen met de ontwikkeling van ARM-gebaseerde verwerkingseenheden voor het Windows besturingssysteem en ze blijven de ‘hot werkgever’ in Silicon Valley terwijl andere technologie bedrijven gedwongen krimpen. Op 1 maart 2024 jongstleden werd Nvidia het derde bedrijf in de geschiedenis van de VS met een marktkapitalisatie van meer dan $ 2 biljoen. Nvidia had slechts 180 dagen nodig om van $1 biljoen naar $2 biljoen te komen, waar de eerste twee bedrijven, Apple en Microsoft, er elk meer dan 500 dagen over deden.

De toekomst van AI-fabrieken

De gigantisch groeiende computing capaciteit voor zovel Machine learning en voor AI legt Nvidia geen windeieren en zijn intussen de hofleverancier van deze chips geworden. Op Dell Technologies afgelopen week in Las Vegas maakte Michael Dell bekend dat zij 4U units met vloeistofgekoelde Nvidia chips gaan leveren om aan de enorme behoefte aan processing capaciteit te kunnen voldoen. De enorme processorcapaciteit wordt naar de data gebracht in plaats van andersom. Immers, grote hoeveelheden data verplaatsen kost meer energie en veel transporttijd en het is dus makkelijker om de processor dan maar naar de data te brengen. 

Jensen Huang, CEO van NVIDIA trekt parallellen tussen industriële revoluties en de huidige AI-revolutie gebaseerd op de transformatieve kracht van data. In het traditionele industriële proces worden grondstoffen omgezet in waardevolle producten. In het moderne datacenter worden data omgezet in waardevolle datatokens en informatieproducten. Door datacenters te herdefiniëren als AI-fabrieken, belicht Huang de fundamentele verschuiving in het zien van een data-infrastructuur: ‘in plaats van kostenplaats een inkomsten genererende asset.’ 

Het datacenter als lokale node

Historisch gezien werden datacenters vaak gezien als noodzakelijke maar belastende investeringen, waardoor financiële middelen werden uitgeput zonder direct bij te dragen aan het genereren van inkomsten. Door het toenemende gebruik van AI en deep learning-techniek ondergaan datacenters.een metamorfose en evalueren naar dynamische knooppunten van rekenkracht voor de zeventig procent van alle bedrijfsdata die niet in centrale clouds staat maar in lokale datacenters bij de bedrijven zelf. 

In eerdere blogs sprak ik over deze ‘aantrekkingskracht van data’: data trekt elkaar aan en wordt vervolgens zo groot dat het – zowel in energie als tijd – bijna niet meer is te verplaatsen. De AI-fabrieken van de toekomst zullen steeds meer in de buurt van bestaande data worden gebouwd, als je op die data AI-algoritmes los wilt laten. Zoals Dell Technologies op zijn conferentie in Las Vegas afgelopen week ook annonceerde: ‘The Dell AI Factory with Nvidia, turbocharging the AI adoption’. 

Photo by Miguel Á. Padriñán

——————   Translated with ChatGPT   ———————-

Is Nvidia Conquering the World with AI Factories?

Nvidia’s development seems unstoppable, and as a leading technical innovator, it is currently redefining both the computer industry and several paradigms. With the launch of the AI chip and the concept of the AI factory, Nvidia has presented a forward-looking vision for AI infrastructure that will have profound implications for businesses worldwide. Thirty years ago, Nvidia was founded in a Denny’s diner in East San Jose and didn’t even have a name at the time. The founders called their idea NV’s – New Versions – and wanted to name their company NVision, but a toilet paper manufacturer already owned that name. They eventually chose Nvidia, derived from the Latin word ‘Invidia,’ meaning jealousy or envy. The founders focused on the gaming industry with its increasing demands for the processing speed of graphic processors. Their focus on developing graphics chips for video games laid the foundation for their current success in the AI market.

The NV1

Nvidia initially thought that graphics processing was moving towards square primitives, instead of the existing development of triangular primitives. They bet on the wrong horse. Faced with a painful dilemma—continue working on an inferior chip or switch to triangular primitives—they managed to secure a $5 million investment through a personal contact who believed in Nvidia’s potential. They laid off most of their employees and focused entirely on developing a new chip optimized for processing triangular primitives.

The RIVA 128 was launched in 1997 when they had only thirty days’ worth of pay left for the remaining forty employees. In that desperate period, they sold a million chips in a few months, providing the cash flow needed to develop the next generation. The RIVA TNT became the basis for the company’s reputation for developing the best graphics adapters. However, for many years, the unofficial company motto remained: “Our company is thirty days from going out of business.”

From Graphics Hardware to AI

In 1999, Nvidia went public and introduced the NV10: the GeForce 256. It was the first product marketed as a true GPU (Graphics Processing Unit) and 3D processor for the consumer market. They won the contract to develop the new chip for Microsoft’s Xbox game console, securing a $200 million advance. As a result, Nvidia entered the S&P 500 in 2001, and index funds were required to hold their shares. This substantial increase in value allowed them to acquire competitors’ technologies. By 2004, ten years later, they were tasked with helping Sony develop the graphics chip for the PlayStation 3, solidifying their position. Forbes named Nvidia the ‘Company of the Year’ in 2007.

Ten years ago, Nvidia decided to build a headquarters in the shape of two giant triangles, symbolizing the ‘fundamental building block of computer graphics.’ The company diversified into three key markets: gaming, automotive electronics, and mobile. In addition to collaborating with Toyota on autonomous vehicles, they formed a partnership with China’s Baidu in 2017 for cloud computing, autonomous driving, consumer equipment, and Baidu’s open-source AI framework PaddlePaddle. A year later, Google announced that Nvidia’s graphics cards were being integrated into Google Cloud’s AI platforms.

Nvidia became synonymous with high-performance computing. The acquisition of Mellanox significantly expanded their footprint in the high-performance computing market. In 2020, they even entered talks to buy ARM for $32 billion. However, this acquisition was overly ambitious and ultimately fell through. Due to objections from the UK CMA, the EU launched a competition investigation. The Commission stated that Nvidia’s acquisition of ARM could limit competitors’ access to ARM products and provide Nvidia with too much internal information about its competitors due to their deals with ARM.

The $1 Trillion Milestone

On September 26, 2023, Nvidia celebrated its historic founding thirty years earlier at a Denny’s restaurant in East San Jose, where a plaque was placed to commemorate the birthplace of a company that now had a revenue of $1 trillion. The demand for their GPUs is so great that Nvidia dictates how many chips tech giants can get. Oracle’s Larry Ellison recently stated that he and Elon Musk of Tesla and xAI “begged” Huang for extra H100s over dinner: “I think that’s the best way to describe it. An hour of sushi and begging.”

Nvidia has begun developing ARM-based processing units for the Windows operating system and remains a ‘hot employer’ in Silicon Valley, even as other tech companies are forced to downsize. On March 1, 2024, Nvidia became the third company in US history to close with a market capitalization of over $2 trillion. Nvidia took only 180 days to go from $1 trillion to $2 trillion, while the first two companies, Apple and Microsoft, each took more than 500 days.

The Future of AI Factories

The rapidly growing computing capacity for both machine learning and AI has been highly profitable for Nvidia, making them the preferred supplier of these chips. At Dell Technologies’ recent event in Las Vegas, Michael Dell announced that they would be supplying 4U units with liquid-cooled Nvidia chips to meet the enormous demand for processing capacity. The massive processing power is being brought to the data instead of the other way around. Moving large amounts of data consumes more energy and takes a lot of transport time, so it’s easier to bring the processor to the data.

Jensen Huang, CEO of Nvidia, draws parallels between industrial revolutions and the current AI revolution based on the transformative power of data. In the traditional industrial process, raw materials are turned into valuable products. In the modern data center, data is transformed into valuable data tokens and information products. By redefining data centers as AI factories, Huang highlights a fundamental shift in viewing data infrastructure from a cost center to a revenue-generating asset.

The Data Center as a Local Node

Historically, data centers were often seen as necessary but burdensome investments, depleting financial resources without directly contributing to revenue generation. With the increasing use of AI and deep learning technologies, data centers are undergoing a metamorphosis, evolving into dynamic nodes of computing power for the seventy percent of all corporate data that resides in local data centers rather than central clouds.

In previous blogs, I discussed this ‘data gravity’: data attracts more data and grows so large that it becomes almost impossible to move, both in terms of energy and time. The AI factories of the future will increasingly be built near existing data if you want to apply AI algorithms to that data. As Dell Technologies announced at its conference in Las Vegas last week: ‘The Dell AI Factory with Nvidia, turbocharging AI adoption.’