酷睿轻薄本也能运行大语言模型，英特尔推动PC生成式AI落地
8月24日消息，18 日上午，英特尔在大湾区举办了一场技术分享会，主题是英特尔在 AIGC（人工智能生成式计算）领域的最新进展。会上，英特尔的技术专家向与会者展示了他们在 AIGC 上的技术方向，并进行了多个应用的演示。
据悉，英特尔为了让 12、13代酷睿平台也能够顺利运行各种大语言模型并提供流畅的使用体验，构建了 BigDL-LLM 库。通过这个库，可以对各种大语言模型进行优化和支持，包括一些开源的、可以在本地运行的大语言模型。
这个库甚至可以在一台搭载 16GB 内存的英特尔轻薄本的机器上运行参数量高达 16B 的大语言模型。此外还支持 LLaMA / LLaMA2、ChatGLM / ChatGLM2 等多个大语言模型。
通过集成了 ChatGLM2、LLaMA2 和 StarCoder 这三个大语言模型的 Demo，英特尔技术专家演示了这些模型在中文和英文应用上的表现。通过优化和量化操作，这些大语言模型在生成回答时能够以非常快的速度生成，并且不影响阅读体验。英特尔已经发布了这套 Demo，任何搭载 12、13代酷睿的电脑都可以直接安装并体验。