“Groq是Nimbix采用的第二家在云中发布AI芯片的AI初创企业”
groq的张量流解决方案( tsp )芯片上市,可以加速云中顾客的ai业务负荷。 nimbix提供的这项云服务将groq硬件作为按需服务,只比较选定的客户。 目前,groq已加入graphcore,成为唯一一家提供商业客户可采用的加速器的云服务提供商。
groq的tsp硅芯片目前只用于选择顾客的nimbix机器学习加速按需服务。
nimbix首席执行官steve hebert表示,groq简化的解决方案体系结构为计算密集型工作负载提供了前所未有的性能,是基于云的ai和深度学习平台
groq的tsp芯片具有1,000 tops (每秒1比达操作)的能力,该芯片也于去年秋天上市。 groq最近发表的结果表明,该芯片如何与resnet-50 v2推理进行比较,以实现每秒21,700次的推理。 groq认为基于gpu的系统的性能提高了两倍以上。 根据groq公布的结果,它们的架构可能是最快的同时也是最快的商用神经互联网解决方案之一。
据groq联合创始人兼首席执行官乔纳森·罗斯( jonathan ross )称,这些resnet-50的结果证实了groq独特的机器学习加速架构和方法提供的推理性能远远快于竞争对手 他还说,基于这些领域标准而不是模拟和硬件模拟的真实解释证实了groq的技术给机器学习和人工智能应用带来了巨大的性能提升。
一个重要特征是groq的性能特性不依赖于批处理解决。 批量解决是数据中心的常用技术,一次解决多个数据样本以提高吞吐量。 据groq称,即使批量= 1,该体系结构也能提供最佳性能。 这是推理应用程序的共同要求,它可能正在解决实时到达的数据流。 新的tsp芯片在批量解决= 1时,与批量解决的gpu相比具有2.5倍的延迟特性,根据groq,实际的延迟特性接近17倍。
免责声明:雪球目录网免费收录各个行业的优秀中文网站,提供网站分类目录检索与关键字搜索等服务,本篇文章是在网络上转载的,本站不为其真实性负责,只为传播网络信息为目的,非商业用途,如有异议请及时联系btr2031@163.com,本站的工作人员将予以删除。