Drömmen om glasdatorn - Forskare vill bygga in datorn i skärmen (Januari 1992)

(Jag skrev den här artikeln vintern 1991-92 för facktidningen Datateknik.)

Tänk dig en fullkomligt platt PC, bara några millimeter tjock! En dator där hela systemet ryms i bildskärmen: mikroprocessorer, minne och nätaggregat. Omöjligt? Nej, vi är snart där, om vi får tro dr. Michael Ettenberg på Sarnoff Center, ett av USAs främsta privata forskningsinstitut.

Michael Ettenberg, vid Sarnoff Research Center i Princeton, NJ.
Foto: Hans Sandberg

Ettenberg är övertygad om, att det det går att tillverka helt platta datorer, som dessutom kommer att vara extremt billiga. Han är chef för Sarnoffs forskning om integrerade kretsar, halvledare och optoelektronik.

Datorerna blir redan plattare för var dag som går. Dataföretagen har till sin hjälp allt mer integrerade mikrochips, allt mindre hårddiskar, effektivare och lättare batterier, samt bättre LCD-skärmar. För Ettenberg är "glasdatorn," om vi i brist på bättre ord får kalla den så, en naturlig utväxt på dagens trender inom bildskärmstekniken.

Denna har hittills varit den svagaste länken i byggandet av lätta portföljdatorer och "notebooks." Vad hjälper en kraftig processor, om man inte utan ansträngning kan läsa vad som står på skärmen?

Här sker dock en snabb utveckling, ffa i Japan där man bemästrat tekniken för massproduktion av vätskekristallskärmar (LCD) med aktiva matriser (AM-LCD). De "gamla" LCD-skärmarna använde sig av två rader transistorer, en vågrät och en lodrät, för att sända ut elektriska pulser, vilka när de möttes slog på eller av en bildpunkt (en pixel) på skärmen. Aktiv-matris-skärmar har istället en transistor vid varje pixel. Det går åt runt en miljon transistorer för en färg-VGA-skärm. 

-Den stora förändringen, säger Ettenberg, är att man tar alla dessa drivkretsar och placerar ut dem på glaset, vid varje pixel. De blir dessutom allt mer sofistikerade.

En monokrom AM-LCD-skärm har en transistor per pixel, en färgskärm har tre, en för varje grundfärg.

Datorkretsar görs vanligen av kisel -- silicon. Övergången till AM-LCD-skärmar innebär att man ersätter ämnet kisel med glas. 

-När vi nu börjar fästa integrerade kretsar på glas, kan vi fråga oss varför vi överhuvudtaget har kopplingen till (separata) kiselkretsar, säger han. Om jag ändå måste ta fram IC-masker för LCD-skärmen, varför inte även göra en sådan mask för mikroprocessorn och minnet?

Dessa masker är detaljerade scheman, eller kartor, som linjerar upp hur kretsarna är integrerade på ett chips. Tillverkningen av kretsar sker genom att maskerna stegvis krymps i en fotolitografisk process, för att slutligen etsas in på ett kiselunderlag. Det säger sig självt, att det är synnerligen svårt att skapa en karta/mask, som på ett effektivt sätt vägleder elektronernas färd bland miljoner transistorer. Ju fler transistorer man kan klämma in per kvadratmillimeter, desto kraftfullare datorer kan man bygga (tack vare mer logik, mer minne och kortare färdsträcka elektronströmmen). Dagens mest avancerade integrerade kretsar har ett par tre miljoner transistorer på en yta mindre än en tumnagel.

Varje krets måste dock kommunicera med omvärlden, dvs med andra kretsar och ytterst med oss människor via bildskärmen (än så länge!). Datorns interna kommunikation mellan kretsarna och mellan kretsarna och andra delar i systemet går via kopparledningar, som sett ur ett elektroniskt perspektiv, är förfärande många och långa. Varje gång man kan eliminera koppartråd, genom att flytta över funktioner till centralprocessorn (CPU), vinner datorn i snabbhet, förutsatt att kretsen inte försinkas av sina nya uppgifter.

Om vi öppnar en portföljdators lock, där skärmen sitter, finner vi ett antal breda band, som rymmer hundratals tunna kopparledningar. Det är transportvägar för kommunikationen mellan skärmen och datorns CPU och grafikprocessorer.

-När vi placerar transistorerna direkt på glaset kan vi ta bort alla dessa koppartrådar. Därmed ökar vi även tillförlitligheten i förbindelserna, säger han.

Ettenberg säger att tekniken för att placera integrerade kretsar på glas idag befinner sig ungefär där kiseltekniken befann sig i mitten på 70-talet.

-Kom ihåg att utvecklingen mot mindre och mindre storlek (på "glaskretsarna") kan komma att gå snabbare, eftersom det är en teknik som kommit senare.

-Ingen har hittills placerat en mikroprocessor på glas och ingen har placerat minneskretsar på glas, men vi vet att det går, eftersom vi kan placera transistorer på glas, säger han.

-De skulle med dagens 5-mikron-teknik (dvs avståndet mellan två linjer på ett chips är 5/1000 mm, mot typiskt 1/1000 mm för kiselkretsar) bli ungefär fem gånger större än med kisel.

-Du skulle ändå t ex kunna placera en megabyte minne på glaset, t ex en "frame buffer" (en tillfällig "parkeringsplats" för de data som datorn behöver för att skapa bildskärmens text & bild). För närvarande arbetar mikroprocessorn hela tiden på att uppdatera bilden. Med en sådan "buffer" skulle den avlastas det bekymret.

-Bildskärmen skulle bli en enda stor integrerad krets, en IC i "notebook"-format, säger Ettenberg.

-Det är klart att en sådan mikroprocessor inte kommer att vara av samma kvalitet, i fråga om feature-size (dvs graden av förminskning av ett chips beståndsdelar) och hastighet, som en kiselkrets. Den kommer emellertid att bli mycket billigare, för nu kan vi tillverka systemet samtidigt med LCD-skärmen. På kort sikt tror jag att detta kan vara ett alternativ för lågprisdatorer, t ex för speldatorer.

-Du skulle kunna tillverka "notebook"-datorer, som kostade ett par hundra dollar, eller kanske t o m under hundralappen.

-Den låga kostnaden skulle öppna för fundamentala förändringar i det sätt på vilket vi använder datorer. Det skulle förändra vår värld. Vi skulle kunna ha intelligenta bildskärmar överallt, på kylskåpet som talar om vad du har i det, på garderobsdörren osv.

-Vi skulle kunna ha telefoner i form av små tunna glasplattor. Du kan ha datorer överallt, precis som de mycket enkla mikroprocessorer du nu har i din tvättmaskin. Men vi är inte där än. För även om det bör gå att stoppa in ett helt datorsystem i en glasskiva, återstår det bevisa detta och omsätta denna idé i massproduktion.

-Du måste kunna tillverka stora glasskivor, som är helt fria från defekter, säger Ettenberg.

Detta rör sig om en mycket dyr teknologi, vilket gör det svårt att tro sig att vi kommer att få se något ungt "garageföretag" ta fram de första helt platta datorerna.

-Det är för dyrt, säger han. Vi kan idag tillverka aktiv-matris-skärmar som är 6 gånger 8 tum i storlek, men för massproduktion behöver vi en fabrik, som kostar en halv miljard dollar. Det klarar vi inte utan en nationell satsning.

David Sarnoff Research Center har ett stort kunnande på detta område, eftersom man är djupt engagerat i bildskärmsforskning. Man driver t ex ett digitalt högskärpeprojekt (HDTV), för bl a franska Thomson. Man arbetar också tillsammans med Sun Microsystemes på en arbetsstation för multimedia, som innefattar mycket avancerade bildskärmar. Detta projekt finansieras av Pentagons forskningsgren, Darpa.

-Det finns fler som jobbar med detta i Japan, men den ledande teknologin finns här i USA, säger Ettenberg.

Trots det är chansen stor, att de första billiga glasdatorer kommer att komma från Japan.

-Det handlar om finansiering, säger han. Det finns idag ingen stor tillverkare av LCD-skärmar i USA och vi har ingen stor satsning på att driva forskningen framåt på detta område.

Bush-regeringen var kallsinnig till federala satsningar på strategiska nyckeltekniker, som inte var exklusivt militära. Bill Clinton och hans vicepresident Al Gore Jr., har inga sådana restriktioner, men deras förmåga att pumpa in pengar i avancerad bildskärmsteknik är begränsade pga budgetunderskottet.

Möjligen skulle storföretag som AT&T/NCR och IBM kunna investera i uppbygget av know-how och produktionsanläggningar. Fast frågan är om det inte redan är för sent. För närvarande pågår inga sådana projektka Toshiba om bildskärmsutveckling skulle kunna tolkas i den riktningen.    

Superdator i Princeton skapar framtidens TV

(Datornytt sommaren 1990).

Herb Taylor, Curtis Carlson och Stanley Knight.

"Om Cray skulle arbeta med video skulle den behöva vara 100 gånger så snabb," säger Curtis R. Carlson, chef för forskningen om informationssystem vid David Sarnoff Research Center. Alltså byggde man videosuperdatorn Princeton Engine.

Här på Sarnoff Center i Princeton, New Jersey har en stor del av allas vår vardag uppfunnits: Färgteven, videobandspelaren, MOS och CMOS-tekniken för halvledare, LCD-tekniken, CCD-sensorn i din videokamera är några exempel. Sarnoff fick sitt namn efter David Sarnoff, den fattige immigrantpojken från Ukraina som blev chef för Radio Corporation of America (RCA).

Sarnoff Center övergick i General Electrics ägo när RCA sålde sin division för konsumentelektronik 1986. GE behövde inte två centrala forskningscentra och skänkte därför labbet till SRI-International i Kalifornien.

Nuvarande chefen James J. Tietjen försöker återskapa något av den anda som rådde under general Sarnoffs tid och som gjorde labbet världsberömt. Det är ett måste nu när man är ett privatägt kontraktslabb, som snart måste stå på egna ben när GEs subsidier tar slut.
Det var i arbetet med nästa generations TV-system som forskarna på Sarnoff Center skapade Princeton Engine. För att förstå varför, behöver vi förstå något om hur datorer behandlar den information som ryms i rörliga bilder. Det som för människan är enkelt och omedelbart - att titta - kräver en enorm ansträngning även för den mest kraftfulla dator. Datorn "ser" genom att dela upp bilden i ett stort antal bildpunkter, som var för sig avläses och analyseras.

En HDTV-bild (High-Definition TV) består av ungefär 1000 rader med vardera 1000 punkter (pixels). En dator använder ungefär en "byte" (en sekvens av nollor och ettor, 8 i en 8-bitars, 32 i en 32-bitars dator) information per pixel. TV-bilden "förnyas" 30 gånger per sekund, vilket betyder att det krävs minst 30 megabyte (MB) per sekund för att databehandla rörliga bilder i videoformat. Svenskättlingen Curtis Carlson säger att det för en seriell superdator tar åtskilliga timmar att bearbeta några få sekunder video.
-Vi brukade sitta här med våra datautskrifter fyllda av siffror och försöka avgöra vilka som var viktiga, säger han.

För sex år sedan började en grupp inom Sarnoff på egen hand - och utan att tala om det för någon - söka efter ett nytt redskap för databehandling av TV/video. Det var Herb Taylor, Danny Chin, Joe Passe, Frank Bernard och Stanley Knight.
-De hade en dröm om en ny maskin, men ingen av de tekniker de behövde fanns tillgänglig då, säger Curtis Carlsson.

De förutsåg emellertid att de snart skulle finnas och en efter en dök de upp: CAD-stationer, nätverksteknik, datorstödd VLSI-design osv. Snart kunde de rita sina egna integrerade ASIC-kretsar (ASIC=Application Specific Integrated Circuits) och snabbt få dem skräddarsydda. Innan ASIC-tekniken kunde detta ta flera år.

Joe Passe utnyttjade framsteg inom tekniken för kretskort till att designa kort med upp till 26 lager kretsar ovanpå varandra. Frank Bernard ledde utvecklingen av ett grafiskt programmeringsspråk, utgående från Mentor Graphics CAD-program för VLSI-design. Det gav en Macintosh-känsla åt den färdiga maskinen.
-Vi byggde aldrig någon prototyp för Princeton Engine, säger Curtis Carlson. Vi födde idén, designade chipsen och kretskorten. När de vara klara pluggade vi in dem och maskinen fungerade vid första försöket.

Det var i början på 1989. Idag har man två maskiner (den andra finns hos RCA i Indianapolis) och arbetar på att utveckla en 100 gånger snabbare, maskin, kallad the Sarnoff Engine.

Princeton Engine är en massivt parallell superdator. Det är en SIMD-maskin (Single Instruction Multiple Data). Enligt Curtis Carlson finns det när det gäller TV- och video inget alternativ till att använda mängder av processorer parallellt.

Den luftkylda datorn består av tre kabinett. Två rymmer vardera 512 processorer och det tredje rymmer kontrollenheten. De 1024 processorerna kan tillsammans uträtta 30 miljarder instruktioner per sekund. Hastigheten med vilken data kan forslas in och ut (I/O, Input/Output-rate) är också mycket hög, hela två miljarder databitar per sekund (Gigabits).

Det är på inputsidan Princeton Engine har sin unika styrka grundad i Sarnoffs gedigna kunnande inom TV-teknik. Många andra superdatorer (seriella och parallella) kan spotta ur sig gigabits av data, men få klarar att kontinuerligt plocka upp TV- och videosignaler, pumpa in dem i datorn, analysera dem och omedelbart visa resultatet.
-Detta är den enda dator som kan bearbeta rörliga bilder i realtid, säger Curtis Carlson. Cray klarar det inte och det gör inte heller Thinking Machines parallelldator Connection Machine.

De datamängder som ryms i en HDTV-bild eller en bild från bildskärmen hos en grafisk arbetsstation skulle, om man ville sända alla, snabbt överbelasta de sändningskanaler vi idag har.

TV-kanalerna i USA hand en bandbredd på 6 megahertz (MHz). Det räcker inte för HDTV. Därför måste man antingen hitta extra frekvenser att sända på (vilket är grunden för Zeniths HDTV-modell), komprimera signalerna och/eller rensa bort onödiga signaler.

Sarnoff fokuserar sig på de två senare lösningarna. Man försöker ta reda på hur man kan manipulera HDTV-signalerna, med bibehållen bildkvalitet. Det är då man behöver Princeton Engine.

Vi går en trappa upp till ett studioliknande rum med en avancerad arbetsstation och ett antal TV-skärmar, inklusive en stor HDTV-apparat från japanska Sony.

Herb Taylor ansluter sig och inleder en demonstration. På arbetsstationens bildskärm ser vi små lådor sammanbundna av linjer. Det är designen till en TV:s avkodare, eller rättare sagt, det är en avkodare, fast simulerad. Hur den skulle fungera om den byggts ser vi på en eller flera av TV-skärmarna bredvid.

Saken är den att vi vet alltför lite om den mänskliga synen för att i teorin kunna räkna ut hur man kan skapa en bra bild. Därför är det så viktigt att kunna sitta och pragmatiskt pröva sig fram till olika lösningar.

Herb Taylor arbetar med sina fönstermenyer. Han klyver en av TV-apparaternas bild i två identiska halva bilder av Phil Donahue, vars "talkshow" just har startat. Herb mixtrar med olika filter i den simulerade avkodaren och i nästa ögonblick kan vi se hur ena halvan av bilden ändras.

I en annan övning delar han upp bilden i ett rutnät med ett dussin små TV-bilder. Den i övre vänstra hörnet ser normal ut; de övriga tonar bort tills ju längre från det hörnet vi befinner oss tills de inte kan tydas alls. Alla rutor innehåller tillsammans den information som ryms originalbilden, men de har skiktats upp efter olika egenskaper. Genom att lägga pussel kan vi få fram hur mycket information vi verkligen behöver för att få en bra bild.

Redan efter att ha lagt samman de närmaste tre rutorna i vänstra hörnet ser bilden riktigt bra ut. Kan vi slänga ut resten av bildens information när vi sänder den? Det beror bl a på vad som visas. En match amerikansk fotboll ställer helt andra krav än en studiodebatt. Det grafiska programmerings- språket innehåller alla tänkbara moduler representerande en teves elektronik och det är bara att klicka med musen och möblera om så byggs nya lösningar. En gång i tiden fick man bygga en ny TV varje gång man seriöst ville testa en ny ide. Senare skrev man tusentals och åter tusentals rader program i Fortran som man körde i en dator. Så gör man fortfarande på många håll. Curtis Carlson säger att vi under en timmas arbete med Princeton Engine förmodligen bearbetar mer video/TV än alla andra superdatorer hittills gjort tillsammans.

Trots att man satsar hårt på att utveckla framtidens TV, är detta bara en del i ett större mål - sammansmältningen av data- och TV-tekniken. Ytterst handlar det om 90-talets datorer, som inte bara ska hjälpa oss producera data utan också ta till sig den exponentiellt växande informationsfloden.
-Det är därför vi alltmer behöver kunna visa data i form av bilder, säger Curtis Carlson. Det är genom att visualisera data du kommer att sortera dem. Textfilernas värld kommer att försvinna. Bilder är inte bara det bästa sättet att titta på data, utan ofta det enda sättet. Om du försöker förutsäga vädret med hjälp av en superdator, så vill du inte titta på en massa siffror, utan bilder av hur vädret utvecklar sig över planeten.
-Det råder ingen tvekan om att man i superdatorernas värld mer och mer kommer att betrakta video som en grundläggande datastruktur, säger Herb Taylor.

Princeton Engine är idag ett utvecklingsredskap för TV/videoteknik. Men den är ett mycket flexibelt redskap och Sarnoffgruppen har redan börjat använda den för att simulera neuronnät och designa chips åt sina kunder. Andra områden som ligger nära till hands är radar, multispektralanalys, datakompression och ljudteknik (t ex för röstförståelse).

William Schreiber, chef för MITs forskning om avancerad TV-teknik, säger när jag intervjuar honom några dagar efter mitt besök på Sarnoff Center att han inte känner till någon annan dator som kan bearbeta video i realtid. Vid hans labb använder man en minidator försedd med 320 MB minne plus specialutvecklad hårdvara för att studera video. Det tar en dag att få fram resultaten.

Det är också möjligt att Princeton Engine är föregångare till en ny typ av datorer. Sarnoff Center fick nyligen ett kontrakt från Pentagons forskningsarm, DARPA, för att tillsammans med Sun Microsystems och Texas Instruments ta fram en bantad version av Princeton Engine.

Denna "Video Workstation" som ska vara klar 1992, ska ha en bildskärm på vilken man kan öppna flera TV-fönster vid sidan om allt man idag kan göra på en dators bildskärm. I ett fönster kan vi ta emot text och grafik som sänds via modem; i nästa ta emot en direktsänd TV-rapport från andra sidan jordklotet.

Stanley Knight säger att det redan är möjligt att krympa Princeton Engine så att den inte tar mer än en kubikfot!

På Sarnoff Center drömmer man om att en gång tränga in i och vända upp och ner på våra kontor och vardagsrum. Man hoppas kunna kommersialisera både Princeton Engine och dess speciella programmeringsspråk.
-Intresset är stort, säger Curtis Carlson - i USA, såväl som i Japan.

Hans Sandberg