X-LLM: Bootstrapping Advanced Large Language Models by Treating Multi-Modalities as Foreign Languages

https://x-llm.github.io
https://github.com/phellonchen/X-LLM
https://arxiv.org/pdf/2305.04160.pdf
X-LLM使用X2L接口将多模态（图像、语音、视频）转换为外语，并将其送入大型语言模型（ChatGLM），完成多模态LLM，实现令人印象深刻的多模态聊天能力。X-LLM是一个通用的多模态LLM框架，它允许我们将各种模式的信息纳入到LLM中。