浅谈 Gemini 1.5 与高效的搜索的技术性实现

Google 于前几日发布了 Gemini 1.5，看到有关其高效架构的描述，让我联想起早前对于未来搜索形态的一点构想。即抛开人的搜索行为的差异，如何技术性实现更高效的搜索？

理想的模式...就是传统的通用搜索和垂直搜索可以实现无缝对接，用户输入的信息会被智能分发给对应的垂直搜索引擎处理。比如我提出了一个有关拆迁的法律相关的问题，我的搜索意图可以被精确分析、归类、匹配，一定是分配给一个「法律专家」（而非情感专家、心理专家、甚至建筑专家...）去解决，只依赖垂直类的法律搜索引擎处理这个请求，而非爬取到的整个互联网的法律信息，这样索引的数量大大减少，如此便达成高效目标。

你看吧，想的是美，实现起来如何？没谱，只当给对方听个乐呵。

而 Gemini 1.5 ，包括之前 GPTs 推出的背后逻辑都是如此，可能因为很朴素，朴素到上过网都会这么遐想吧。

拿 Gemini 1.5 来说，它建立在 Transformer 和 MoE 架构之上。传统 Transformer 充当一个大型神经网络（就如同传统的通用搜索引擎 Google、Bing、百度），而 MoE 模型则分为更小的「专家」神经网络（好比专利搜索引擎、裁判文书网、GitHub、工商信息系统...）。区别在于前者是以 AI 的方式运行。

根据用户输入的类型，MoE 模型学会选择性地仅激活其神经网络中最相关的专家路径，正是这种专业化极大地提高了模型的效率，同时也极大提升了回答的质量。

如同虫部落 Wiki 中的五花八门一般，专家的数量也会很多，为了一个问题把所有专家都请来也是资源浪费，所以合理的做法，即便是一个复杂问题，也只需拆解为几个子问题，然后请来这部分对应的专家回答即可。

不过好像 Gemini 1.5 仅有内部训练、培养的专家，靠的是通过支持超长上下文的力大砖飞，而缺少了 OpenAI 那些外聘的专家 GPTs（Wolfram、Consensus、星座占卜...），后者无论是从观众还是商业的视角看，似乎都显更优。

看到 Gemini 1.5 架构与理想的搜索模式的神似之处，也正值搜索被重构之时，比如当下谈及最多的 RAG（Retrieval-Augmented Generation）就叫它检索增强式生成吧。 因为大模型的上下文限制、缺乏实时性、不掌握专业垂直领域数据这些在信息检索中容易导致知识过期和不懂装懂的幻觉，RAG 应运而生，它将大模型的生成能力和传统搜索引擎的检索能力（也包含外挂的专家数据库）合二为一。不过现在看 RAG 在调遣外部数据方面并非完胜人类，有些网络数据对它是禁地，而人则具有权限（包括白嫖的权限）。比如版权内容、内部系统。