2023¶

Llama源码阅读

Llama¹是由Meta设计，训练并开源的大语言模型。相比于GPT-3，Llama模型更小，但是训练更加充分，性能更强，是开源社区最受欢迎的大模型之一。

本文主要阅读Huggingface的Llama实现，重点关注相对于最早的Transformer³，Llama采用了哪些新的技术和优化。此外，这份代码也兼容Llama2²的实现，具体表现在grouped query attention的实现上。

Markdown是一种轻量化的标记语言，非常适合用于编写技术文档。本文展示了用于编写这本Notebook的主要Markdown语法。

某日在Tchaikovsky Research闲逛，读到了1878年柴可夫斯基在佛罗伦萨写给梅克夫人的信，好感动好感动。柴可夫斯基是我最喜欢的古典作曲家之一，个人觉得阅读这封信对于理解柴可夫斯基的不少作品很有帮助。

信本身是讨论第四交响曲的，也就是“我们的交响曲”。另外信的结尾处柴可夫斯基提到了他即将前往瑞士，也就是他写作小提琴协奏曲的地方。