97¹ú¼Ê

¹¤³§ÑÐѧ Ø­ 97¹ú¼ÊÍøÂçÊý×Ö»¯ÖÇÄܹ¤³§¡°ºÚ¿Æ¼¼¡±´ó½ÒÃØ
Ô¤Ô¼Ö±²¥
¾Ü¾øÓªÒµ¡°µôÁ´×Ó¡±£º2025 97¹ú¼ÊÍøÂç ¡°½µ¹ÊÕÏ?Ç¿·À»¤¡± ÐÐÒµÔËάʵս½»Á÷»á
Ô¤Ô¼Ö±²¥
97¹ú¼Êî£Ò× 97¹ú¼Ê¹Ù·½É̳Ç
97¹ú¼Ê¡¤(ÖйúÇø)¼¯ÍŹٷ½ÍøÕ¾

ÖÐÎÄ

97¹ú¼Ê¡¤(ÖйúÇø)¼¯ÍŹٷ½ÍøÕ¾
  • Global / English
  • France / Fran?ais
  • Germany / Deutsch
  • Indonesia / Indonesian
  • Italy / Italiano
  • Japan / ÈÕ±¾ÕZ
  • Kazakhstan / P§å§ã§ã§Ü§Ú§Û
  • Poland / Polski
  • Portugal / Portugu¨ºs
  • Spain / Espa?ol (Espa?a)
  • Thailand / ???????
  • Vietnam / Vi?t Nam
  • LATAM / Espa?ol
    (Am¨¦rica Latina)
  • T¨¹rkiye / T¨¹rk?e
  • Brazil / Portugu¨ºs(Brazil)
97¹ú¼Ê¡¤(ÖйúÇø)¼¯ÍŹٷ½ÍøÕ¾
²úÆ·
< ·µ»ØÖ÷²Ëµ¥
²úÆ·ÖÐÐÄ
²úÆ·

½»Á÷»ú

½»Á÷»úËùÓвúÆ·
< ·µ»Ø²úÆ·
½»Á÷»úÖ÷Ò³
½»Á÷»ú

ÎÞÏß

ÎÞÏßËùÓвúÆ·
< ·µ»Ø²úÆ·
ÎÞÏßÖ÷Ò³
ÎÞÏß

ÎÞÏß¹ÜÀíÓëÓ¦ÓÃ

ÔÆ×ÀÃæ

ÔÆ×ÀÃæ²úÆ·¼Æ»®ÖÐÐÄ
< ·µ»Ø²úÆ·
ÔÆ×ÀÃæÖ÷Ò³
ÔÆ×ÀÃæ

Çå¾²

Çå¾²ËùÓвúÆ·
< ·µ»Ø²úÆ·
Çå¾²Ö÷Ò³
Çå¾²

ËùÓÐÊÖÒÕ½â¾ö¼Æ»®

·þÎñ²úÆ·

·þÎñ²úÆ·ËùÓвúÆ·
< ·µ»Ø²úÆ·
·þÎñ²úÆ·Ö÷Ò³
·þÎñ²úÆ·
·þÎñÖ§³Ö
< ·µ»ØÖ÷²Ëµ¥
·þÎñÓëÖ§³ÖÖÐÐÄ
·þÎñÓëÖ§³Ö
·þÎñ¹¤¾ß
·þÎñƽ̨
  • ÔÆ×ÀÃæ·þÎñƽ̨
  • î£Ò×·þÎñƽ̨
  • ºÏ×÷»ï°é·þÎñƽ̨
½Ìѧ·þÎñ
  • 97¹ú¼ÊICTÈ˲ŽÌÓýÖÐÐÄ
  • УÆóºÏ×÷
  • ÈÏ֤ϵͳ
  • ÅàѵÍýÏë
ºÏ×÷»ï°é
< ·µ»ØÖ÷²Ëµ¥
ºÏ×÷»ï°éÖÐÐÄ
ºÏ×÷»ï°é
³ÉΪ97¹ú¼Ê»ï°é
ÊÛǰӪÏú
  • Êг¡×ÊÁÏ¿â(ºÏ×÷»ï°é)
  • 97¹ú¼Ê²úÆ·ÉèÖÃÆ÷
  • ÓªÏú×ÊÁÏÆ½Ì¨
  • ÊÛǰÈÏÖ¤
  • ÊÛǰ¹¤¾ß°ü
  • ºÏ×÷»ï°éÀñÎï¿â
  • e-Learning
  • ²úÆ·×ÊÖÊÅÌÎÊ
  • Ô¶³ÌPOC
ÏúÊÛÓë¶©µ¥
ÊÛºó¼°·þÎñ
  • ÊÛºóÈÏÖ¤
  • Êۺ󹤾߰ü
  • RSDP 97¹ú¼Ê·þÎñ½»¸¶Æ½Ì¨
  • ÊÛºó·þÎñÈÏÖ¤
  • ÊÛºó֪ʶƽ̨
  • ÇþµÀ·þÎñ¹ÜÀíϵͳ£¨CSM£©
  • SMBÇþµÀ¿Í»§·þÎñƽ̨£¨CCSP£©
Óû§ÖÐÐÄ
  • ϵͳָµ¼´óÈ«
  • Õ˺ŹÜÀí
  • ÏÂÔØµç×ÓÊÚÈ¨ÅÆ
  • ǩԼÐÅÏ¢Éó²é
  • ×ÊÖÊÅÌÎÊ
  • ǩչÜÀí
  • ·µÀû¹ÜÀí
  • î£Ò×ÊÖÒÕÈÏÖ¤ÅÌÎÊ
·µ»ØÖ÷²Ëµ¥
Ñ¡ÔñÇøÓò/ÓïÑÔ
  • Global / English
  • Japan / ÈÕ±¾ÕZ
  • T¨¹rkiye / T¨¹rk?e
  • Vietnam / Vi?t Nam
  • Indonesia / Indonesian
  • Thailand / ???????
  • Spain / Espa?ol (Espa?a)
  • Portugal / Portugu¨ºs
  • France / Fran?ais
  • Poland / Polski
  • Kazakhstan / P§å§ã§ã§Ü§Ú§Û
  • Germany / Deutsch
  • Italy / Italiano
  • Brazil / Portugu¨ºs(Brazil)
  • LATAM / Espa?ol (Am¨¦rica Latina))
  • 97¹ú¼Ê¡¤(ÖйúÇø)¼¯ÍŹٷ½ÍøÕ¾
    97¹ú¼Ê¡¤(ÖйúÇø)¼¯ÍŹٷ½ÍøÕ¾ 97¹ú¼Ê¡¤(ÖйúÇø)¼¯ÍŹٷ½ÍøÕ¾

    ÊÖÒÕÊ¢Ñç | dz̸LLMÍÆÀíÐÔÄܵÄÓ°ÏìÒò×Ó¡ª¡ªHBD Size

    ×÷ΪGenAlʱ´úµÄȫջ·þÎñר¼Ò£¬97¹ú¼ÊÍøÂçÖÂÁ¦ÓÚΪÆóÒµÌṩÁýÕÖlaaSµ½PaaSµÄȫջ²úÆ·¼°½â¾ö¼Æ»® ¡£

    • 97¹ú¼Ê¡¤(ÖйúÇø)¼¯ÍŹٷ½ÍøÕ¾

      Ðû²¼Ê±¼ä£º2024-05-31

    • 97¹ú¼Ê¡¤(ÖйúÇø)¼¯ÍŹٷ½ÍøÕ¾

      µã»÷Á¿£º

    • 97¹ú¼Ê¡¤(ÖйúÇø)¼¯ÍŹٷ½ÍøÕ¾

      µãÔÞ£º

    ·ÖÏíÖÁ

    97¹ú¼Ê¡¤(ÖйúÇø)¼¯ÍŹٷ½ÍøÕ¾
    97¹ú¼Ê¡¤(ÖйúÇø)¼¯ÍŹٷ½ÍøÕ¾
    97¹ú¼Ê¡¤(ÖйúÇø)¼¯ÍŹٷ½ÍøÕ¾

    ÎÒÏë̸ÂÛ

    Ëæ×ÅLLM£¨´óÓïÑÔÄ£×Ó£©ÊÖÒյķÉËÙÉú³¤£¬ÊÐÃæÉÏ·ºÆðÔ½À´Ô½¶àµÄAGIÓ¦Ó㬶Ի°Ê½»úеÈË×÷Ϊ×îÆÕ±éµÄÓ¦ÓÃÒѾ­ÉîÈëÆÕÂÞ¹«¹²µÄÊÂÇéºÍѧϰÖÐ ¡£×îÏÔÖøµÄ¸Ä±ä¾ÍÊÇ´ÓËÑË÷ÒýÇæÅÌÎÊÎÊÌ⣬ת±äΪ·­¿ª¶à¿î¶Ô»°Ê½»úеÈ˵ÄAPP¾ÙÐÐÅÌÎÊ£¬È»ºóÔÙ×ۺ϶à¸ö½â´ð¾ÙÐÐ×Ô¼ºµÄÅжÏ ¡£

    ÄÇô£¬“¶Ô»°Ê½»úеÈË”ÕâÀàÓ¦ÓÃÊÇÔõÑùƾ֤Óû§µÄÊäÈ룬À´¾ÙÐÐÓÐÂß¼­µÄ¸ßÖÊÁ¿ÄÚÈÝÊä³öµÄÄØ£¿ÆäʵÖÊÊÇ£ºÏÈͨ¹ý´ó×ڵēѵÁ·”ʹÃüʹÆä¾ß±¸Äܹ»Ã÷È·Óû§ÓïÑÔ¡¢Âß¼­ºÍÍ·ÄÔµÄÄÜÁ¦£¬ÔÙͨ¹ýÓû§¸ø³öµÄÊäÈë¾ÙÐÐ“ÍÆÀí”ÔËË㣬½ø¶øÊä³ö¶ÔÓ¦µÄÄÚÈÝÓëÓû§¾ÙÐиßÖÊÁ¿»¥¶¯ ¡£ 

    Ò»¡¢ÑµÁ·ÓëÍÆÀíµÄ¹ØÏµ

    LLM£¨´óÐÍÓïÑÔÄ£×Ó£©µÄѵÁ·ºÍÍÆÀíÊÇÄ£×ÓÉúÃüÖÜÆÚÖеÄÁ½¸öÒªº¦½×¶Î£¬ÎÒÃÇ¿ÉÒÔÀà±È³ÉÀíÂÛѧϰºÍÓ¦ÓÃʵ¼ùµÄÍŽá ¡£

    1.ѵÁ·½×¶Î£¨Ñ§Ï°½×¶Î£©£º

    ¸Ã½×¶ÎÊÇÄ£×Ó¹¹½¨µÄ»ù´¡£¬¾öÒéÁËÄ£×ÓµÄÖÊÁ¿ºÍÓ¦ÓÃЧ¹û ¡£

    1£©ÔÚѵÁ·½×¶Î£¬LLMͨ¹ý´ó×ÚµÄÎı¾Êý¾ÝѧϰÓïÑÔµÄģʽ¡¢Óï·¨¡¢ÓïÒåºÍÉÏÏÂÎÄÐÅÏ¢ ¡£

    2£©Ê¹ÓÃÉî¶ÈѧϰÊÖÒÕ£¬ÈçÉñ¾­ÍøÂ磬ģ×ÓÔÚѵÁ·Àú³ÌÖÐÒ»Ö±ÓÅ»¯Æä²ÎÊý£¬ÒÔÌá¸ß¶ÔÎı¾Êý¾ÝµÄ½¨Ä£ÄÜÁ¦ ¡£

    2.ÍÆÀí½×¶Î£¨Ó¦Óý׶Σ©£º

    ¸Ã½×¶Î²»Éæ¼°²ÎÊý¸üУ¬½«ÑµÁ·Ñ§µ½µÄ֪ʶӦÓõ½ÏÖʵÎÊÌâÉÏ ¡£

    1£©ÍÆÀí½×¶ÎÊÇָʹÓÃѵÁ·ºÃµÄÄ£×Ó¶ÔеÄÊäÈëÊý¾Ý¾ÙÐд¦Öóͷ££¬ÒÔÌìÉúÊä³ö»ò×ö³ö¾öÒéµÄÀú³Ì ¡£

    2£©ÔÚÍÆÀíÀú³ÌÖУ¬Ä£×Ó»áÎüÊÕеÄÎı¾ÊäÈ룬չÍû»òÌìÉúÎı¾£¬Ö´Ðз­Ò룬»òÕßÍê³ÉÆäËûÌØ¶¨µÄNLPʹÃü ¡£

    3.²î±ðÐÔ£º

    1£©Ä¿µÄ£ºÑµÁ·ºÍÍÆÀí¶¼Ö¼ÔÚʵÏÖÄ£×ÓµÄ×î¼ÑÐÔÄÜ£¬µ«ÑµÁ·×ÅÖØÓÚѧϰ£¬ÍÆÀí×ÅÖØÓÚÓ¦Óà ¡£

    2£©¿ÉÓÃÐÔ£ºÑµÁ·½×¶ÎµÄЧ¹û»áÖ±½ÓÓ°ÏìÍÆÀí½×¶ÎЧ¹ûµÄ¿ÉÓÃÐÔ ¡£

    3£©×ÊÔ´ÏûºÄ£ºÑµÁ·Í¨³£ÐèÒª´ó×ÚµÄÅÌËã×ÊÔ´ºÍÊý¾Ý£¬¶øÍÆÀíÔò¸ü×¢ÖØÊµÊ±ÐÔ¡¢±¾Ç®ºÍ¿ÉÀ©Õ¹ÐÔ ¡£

    4£©Ò»Á¬Ñ§Ï°£ºÍÆÀí½×¶ÎµÄ·´Ïì¿ÉÒÔÓÃÓÚË¢ÐÂÄ£×Ó£¬Í¨¹ýÒ»Á¬Ñ§Ï°»òÔöÁ¿Ñ§Ï°µÄ·½·¨£¬Ê¹Ä£×Ó˳ӦеÄÊý¾ÝºÍ³¡¾° ¡£
     

    ¶þ¡¢ÍÆÀíµÄÀú³Ì

    Ö÷Á÷ LLM »ù±¾¶¼ÊÇ Decoder Only µÄ Transformer Ä£×Ó£¬ÍÆÀíÀú³Ì¿ÉÒÔ·ÖΪÁ½¸ö½×¶Î£º

     

    Transformer Ä£×ӽṹͼ 

    Transformer Ä£×ӽṹͼ

     

    1.“Ô¤Ìî³ä£¨Prefill£©”½×¶Î£º

    Prefill½×¶ÎÊÇÄ£×ÓÆ¾Ö¤Óû§ÊäÈëµÄTokensͨ¹ýÒ»´ÎǰÏòÈö²¥À´ÌìÉúµÚÒ»¸öÊä³ö Token ¡£ÔÚǰÏòÈö²¥Àú³ÌÖУ¬ÊäÈëµÄTokensÖ®¼äÒÔ²¢Ðз½·¨Ö´ÐÐÔËË㣬ÒÔÊǾ߱¸½ÏÁ¿¸ßµÄÖ´ÐÐЧÂÊ ¡£

    2.“½âÂ루Decoding£©”½×¶Î£º

    ÔÚPrefill½×¶ÎÌìÉúµÚÒ»¸ö Token£¨A£©Ö®ºó×îÏȽøÈëDecoding½×¶Î ¡£ÔÚDecoding½×¶ÎÖУ¬½âÂëÆ÷»áÒÔ×ԻعéµÄ·½·¨Öð¸öÌìÉúÊä³öÐòÁеĴÊÔª ¡£ÔÚÿһ²½£¬Ëü»ùÓÚÒÑÌìÉúµÄ´ÊÔªºÍ֮ǰµÄ״̬À´Õ¹ÍûÏÂÒ»¸ö´ÊÔª£¬Ö±µ½ÌìÉúÒ»¸öÌØÊâµÄ Stop Token£¨»òÕßÖª×ãÓû§ÉèÖõÄij¸öÏÞÖÆÌõ¼þ£¬ºÃ±ÈÁè¼ÝÒ»¶¨µÄ³¤¶È£© ÌìÉúÀú³Ì¾Í»á×èÖ¹ ¡£Decoding½×¶ÎÐèÒªÖ´Ðжà´ÎǰÏòÈö²¥£¬²¢ÇÒÖ»ÄÜÒÔ´®Ðеķ½·¨Ö´ÐУ¬Òò´ËЧÂÊÏà¶Ô½ÏÁ¿µÍ ¡£

    Á½¸ö½×¶Î¶ÔËãÁ¦Ð¾Æ¬µÄÒªÇóÒ²²î±ð£¬Prefill½×¶ÎΪÅÌËã÷缯ÐÍ£¬ÊʺÏÑ¡ÓøßËãÁ¦ GPU£»Decoding½×¶ÎΪ·Ã´æ÷缯ÐÍ£¬ÏìÓ¦µÄ¿ÉÒÔʹÓÃËãÁ¦²»ÊÇÌØÊâÇ¿¶ø·Ã´æ´ø¿í½ÏÁ¿´óµÄ GPU ¡£

     

    Èý¡¢ÍÆÀíµÄÆÀ¹ÀÖ¸±ê

    Õë¶Ô LLM ÍÆÀí·þÎñͨ³£ÓÐÁ½ÖÖŲÓÃģʽ£¬ÈçϱíËùÊö£º

     

    Õë¶Ô LLM ÍÆÀí·þÎñͨ³£ÓÐÁ½ÖÖŲÓÃģʽ

     

    ÀàËÆChatGPT Ò»ÑùµÄ Streaming ·½·¨£¬ÏÖÔÚÓ¦ÓýÏÁ¿ÆÕ±é£¬Ö÷ÒªÓÉÓÚ¿ÉÒÔ¸øÓû§´øÀ´¸üºÃµÄ½»»¥ÌåÑ飬²»ÐèÒª³¤Ê±¼äÆÚ´ý¼´¿É»ñµÃϵͳ·´Ï죬Òò´Ë±¾ÎÄÒÔStreamingģʽÏÂµÄÆÀ¹ÀÖ¸±êÀ´¾ÙÐÐÆÊÎö ¡£

    1.Ê׸ö´ÊÔªÌìÉúʱ¼ä£¨Time To First Token£¬¼ò³ÆTTFT£©£º

    ÔÚÓû§ÊäÈëÅÌÎʵÄÄÚÈݺó£¬Ä£×ÓÌìÉúµÚÒ»¸öÊä³ötokenËùÐèÒªµÄʱ¼ä ¡£

    2.µ¥¸öÊä³ö´ÊÔªµÄÌìÉúʱ¼ä£¨Time Per Output Token£¬¼ò³ÆTPOT£©£º

    ÍÆÀíϵͳƾ֤Óû§ÇëÇóÌìÉúºóÐø´ÊÔªËùÐèÒªµÄƽ¾ùʱ¼ä ¡£ÔÚÈË»úʵʱ½»»¥µÄÀú³ÌÖУ¬ÈÃÓû§»ñµÃ¿ìËÙµÄÏìÓ¦ÖÁ¹ØÖ÷Òª£¬ÑÓʱ½Ï¸ß»áÈÿͻ§ÏÝÈë½Ï³¤µÄÆÚ´ýʱ¼ä£¬´ó´óÓ°Ïì½»»¥ÌåÑ飬µ«Ö»ÒªÌìÉúËÙÂÊ´óÓÚÈËÀàµÄÔĶÁËÙÂʾÍÄÜ»ñµÃºÜºÃµÄÓû§ÌåÑé ¡£

    3.DecodingÍÌÍ£º

    ͨ³£ÓÃÀ´È¨ºâÍÆÀí·þÎñÆ÷ÔÚdecoding½×¶ÎµÄÊä³öЧÂÊ£¬¼´decoding½×¶ÎµÄËùÓÐTokenÊýÄ¿³ýÒԸý׶ÎËùÐèÒªµÄºÄʱ ¡£

    4.µ¥¿¨ÍÌÍ£º

    ͨ³£ÓÃÀ´È¨ºâÍÆÀí·þÎñÆ÷Í걾Ǯ´ÎÍÆÀíʹÃüµÄÊä³öЧÂÊ£¬¼´ÔÚPrefill½×¶ÎÒÔ¼°decoding½×¶Î×ܹ²ÌìÉúµÄTokenÊýÄ¿³ýÒÔÕû¸öÍÆÀíʹÃüËùÐèÒªµÄºÄʱ ¡£

     

    ËÄ¡¢ÍÆÀíÐÔÄܵÄÓ°ÏìÒòËØ

    Ó°ÏìLLMÍÆÀíÐÔÄܵÄÒò×ÓÓÐÐí¶à£¬±¾ÎÄÖØµãÆÊÎö²î±ðHBD SizeÓòÔÚ²î±ð¼¯Èº¹æÄ£ÒÔ¼°²î±ðÅÌË㾫¶È϶ÔÍÆÀíÐÔÄܵÄÓ°Ïì ¡£

    1.ÅÌË㾫¶È£º

    Ö¸¸¡µãÊý£¨Floating Point Numbers£©µÄ²î±ð¾«¶È£¬ºÃ±ÈFP16¡¢FP8¡¢FP4 ¡£

    2.ʵÀý¹æÄ££º

    Í걾Ǯ´ÎÍÆÀíʹÃüËùÐèÒªµÄGPU¿¨ÊýÄ¿ ¡£

    3.HBD £¨High Bandwidth Domain£©Size£º

    Ò»¸öÍÆÀíʵÀýÄÚ£¬Í¨¹ý×ÔÁ¦µÄ¸ßËÙͨµÀÐÎÓñ³ÉÁª½ÓµÄGPU¿¨µÄÊýÄ¿ ¡££¨¿ç·þÎñÆ÷ͨ¹ý½»Á÷¹ñ»¥ÁªÒ²Ëãͳһ¸öHBD£©

    ÎÒÃÇ»ùÓÚÀíÂÛ½¨Ä£µÄºÍ·ÂÕæËã·¨£¬Í¨¹ý¿ØÖƱäÁ¿µÄ¶ÔÀýÈçʽ£¬ÔÚ°ü¹Ü¼òµ¥Òò×Óת±äµÄÌõ¼þÏÂÈ¥ÆÊÎöÅÌË㾫¶È¡¢¼¯Èº¹æÄ£ÒÔ¼°HBD Size¶ÔÍÆÀíÐÔÄܵÄÓ°Ïì ¡£

    ²âÊÔÄ£×Ó½ÓÄÉB200ËãÁ¦¿¨¾ÙÐÐÄ£Äâ·ÂÕæ£¬»ùÓÚQWen 110BµÄ»ù´¡ÉÏÀ©Õ¹16¸öMoEר¼Ò£¬Batch SizeΪ16£¬TokenÊäÈëÐòÁÐΪ32K£¬Í¬Ê±¼ÙÉèHBDÄÚͨ¹ý1.8TB/sµÄË«Ïò´ø¿í»¥Áª ¡£

     

    HBD £¨High Bandwidth Domain£©Size 

    ÈçÉÏͼÊý¾ÝËùʾ£¬·¢Ã÷ÒÔÏÂÕ÷Ïó£º

    64ÕÅB200µÄGPU¿¨¹æÄ£Ï£¬×é³É¸ÃÍÆÀíʵÀýʱ ¡£ÔÚÉÏÊöÄ£×ÓÍÆÀíÖУ¬HBD Size´Ó8ÌáÉýÖÁ64£¬TTFT×î´óϽµ46%£¬µ¥¿¨ÍÌÍÂ×î´óÌáÉý41% ¡£

    Òò´Ë¿ÉÒԵóö½áÂÛ£ºHBD Size¶ÔÍÆÀíÐÔÄÜÓÐÕýÃæ×÷Ó㬼´¸ßËÙ»¥ÁªµÄGPU¿¨ÊýĿԽ¶à£¬ÍÆÀíÐÔÄÜԽǿ ¡£

     

    HBD £¨High Bandwidth Domain£©Size

     

    ÈçÉÏͼÊý¾ÝËùʾ£¬·¢Ã÷ÒÔÏÂÕ÷Ïó£º

    128ÕÅB200¿¨µÄGPU¹æÄ£×é³ÉÍÆÀíʵÀýʱ£¬ÔÚÉÏÊöÄ£×ÓÍÆÀíÖУ¬HBD Size´Ó8ÌáÉýÖÁ128£¬TTFT×î´óϽµ57%£¬µ¥¿¨ÍÌÍÂ×î´óÌáÉý59%£»Í¬Ñù֤ʵHBD SizeµÄÌáÉý¶ÔÍÆÀíÐÔÄÜÓÐÕýÃæ×÷Óà ¡£

    ±ÈÕÕÉÏÊöÁ½·ÝÊý¾Ý£¬·¢Ã÷ÒÔÏÂÕ÷Ïó£º

    ´Ó64¿¨À©Õ¹µ½128¿¨¹æÄ£Ê±£¬TTFTÖ¸±ê´ÓϽµ46%ת±äΪϽµ57%£¬ÊÕÒæ¸üÏÔ×Å£»ÔÙÈçµ¥¿¨ÍÌÍ´ÓÌáÉý41%ת±äΪÌáÉý59%£¬ÊÕÒæ¸üÏÔ×Å ¡£

    Òò´Ë¿ÉÒԵóö½áÂÛ£ºµ±½ÓÄɸü´ó¹æÄ£GPU¿¨Ê±£¬HBD SizeÀ©ÔöʱÐÔÄÜÊÕÒæÌáÉýÇ÷ÓÚÏÔ×Å ¡£

     

    HBD £¨High Bandwidth Domain£©Size

     

    ´ÓÉÏÊö±í¸ñÊý¾ÝÖУ¬ÎÒÃÇ·¢Ã÷ÒÔÏÂÕ÷Ïó£º

    ͬΪ128¿¨¹æÄ£Ï£¬FP16¾«¶ÈÏÂËæ×ÅHBD SizeÌáÉý£¬PrefillÓëDecoding½×¶ÎµÄͨѶʱ¼äÕ¼±ÈÖð²½Ï½µ£¬ÕâÖÖÕ÷ÏóÔÚFP8ºÍFP4¾«¶ÈÏÂҲͬÑù±£´æ ¡£

    µ±½ÓÄɸüµÍÅÌË㾫¶Èʱ£¬FP16¾«¶ÈÏ´Ó8¿¨ÌáÉýµ½128¿¨£¬µ¥¿¨ÍÌÍÂÌáÉý±¶ÂÊΪ1.36£»¶øÔÚFP4¾«¶ÈÏ´Ó8¿¨ÌáÉýµ½128¿¨£¬µ¥¿¨µÄÍÌÍÂÌáÉý±¶ÂÊΪ1.63 ¡£

    Òò´Ë¿ÉÒԵóö½áÂÛ£ºÔÚ¸üµÍµÄÅÌË㾫¶ÈÏ£¬HBD SizeÀ©ÔöʱÐÔÄÜÊÕÒæÌáÉýÇ÷ÓÚÏÔ×Å ¡£

    Îå¡¢½áÂÛ

    1¡¢ÔÚÏàͬ¼¯Èº¹æÄ£ºÍͬÑùµÄÅÌË㾫¶ÈÏ£¬Ëæ×ÅHBD SizeµÄÌáÉý£¬ÍÆÀíÐÔÄÜÒ²ËæÖ®ÌáÉý ¡£ÏêϸÌåÏÖΪTTFT½µµÍ£¬DecodingÍÌͼ°µ¥¿¨ÍÌÍÂÌáÉý ¡£

    2¡¢ÔÚÏàͬÅÌË㾫¶ÈÏ£¬¼¯Èº¹æÄ£Ô½´ó£¬HBD SizeµÄÌáÉýÊÕÒæÓú·¢Ã÷ÏÔ ¡£ÏêϸÌåÏÖΪTTFT½µµÍ·ù¶È¸ü´ó£¬DecodingÍÌͼ°µ¥¿¨ÍÌÍÂÌáÉý·ù¶È¸ü´ó ¡£

    3¡¢ÔÚÏàͬ¼¯Èº¹æÄ£Ï£¬ÅÌË㾫¶ÈÔ½µÍ£¬HBD SizeµÄÌáÉýÊÕÒæÓú·¢Ã÷ÏÔ ¡£ÏêϸÌåÏÖΪPrefillÓëDecoding½×¶ÎµÄͨѶʱ¼äÕ¼±ÈÖð²½Ï½µ·ù¶ÈÔ½Âý£¬µ¥¿¨ÍÌÍÂÌáÉý±¶ÂÊ·ù¶ÈÔ½´ó ¡£

    97¹ú¼ÊÍøÂ磬×÷ΪGenAIʱ´úµÄȫջ·þÎñר¼Ò£¬ÖÂÁ¦ÓÚΪÆóÒµÌṩÁýÕÖIaaSµ½PaaSµÄȫջ²úÆ·¼°½â¾ö¼Æ»® ¡£ÎÒÃǵIJúÆ·ÁýÕÖ¸ßÐÔÄÜÍøÂçÓëGPUËãÁ¦ÓÅ»¯µ÷Àí£¬Ö¼ÔÚͨ¹ýÁ¢ÒìÊÖÒÕ½â¾ö¼Æ»®£¬×ÊÖú¿Í»§ÊµÏÖÉú²úЧÂʵı¼ÌÚÓëÔËÓª±¾Ç®µÄÓÅ»¯ ¡£ÎÒÃǼáÐÅ£¬Í¨¹ýÎÒÃÇµÄÆð¾¢£¬Äܹ»Îª¿Í»§´òÔìÒ»¸öÔ½·¢ÖÇÄÜ¡¢¸ßЧºÍ¿É¿¿µÄδÀ´ ¡£ÈÃÎÒÃÇЯÊÖ£¬ÅäºÏ̽Ë÷GenAIʱ´úµÄÿһ¸öʱ»ú ¡£

    Ïà¹Ø±êÇ©£º

    97¹ú¼Ê¡¤(ÖйúÇø)¼¯ÍŹٷ½ÍøÕ¾ 97¹ú¼Ê¡¤(ÖйúÇø)¼¯ÍŹٷ½ÍøÕ¾

    µãÔÞ

    ¸ü¶àÊÖÒÕ²©ÎÄ

    ÈκÎÐèÒª£¬ÇëÁªÏµ97¹ú¼Ê

    97¹ú¼Ê¡¤(ÖйúÇø)¼¯ÍŹٷ½ÍøÕ¾

    ·µ»Ø¶¥²¿

    ÊÕÆð
    97¹ú¼Ê¡¤(ÖйúÇø)¼¯ÍŹٷ½ÍøÕ¾
    97¹ú¼Ê¡¤(ÖйúÇø)¼¯ÍŹٷ½ÍøÕ¾
    ÇëÑ¡Ôñ·þÎñÏîÄ¿
    ¹Ø±Õ×Éѯҳ
    ÊÛǰ×Éѯ ÊÛǰ×Éѯ
    ÊÛǰ×Éѯ
    ÊÛºó·þÎñ ÊÛºó·þÎñ
    ÊÛºó·þÎñ
    Òâ¼û·´Ïì Òâ¼û·´Ïì
    Òâ¼û·´Ïì
    ¸ü¶àÁªÏµ·½·¨
    ÍøÕ¾µØÍ¼