论文标题：Navigating CLIPedia: Architectonic instruments for querying and questing a latent encyclopedia

期刊：Frontiers of Architectural Research

作者：Agostino Nickl

发表时间：20 September 2025

DOI：10.1016/j.foar.2025.08.003

微信链接：点击此处阅读微信文章

FoAR是由高等教育出版社和东南大学建筑学院联合主办的全英文学术期刊

建筑学 / 城乡规划 / 风景园林

本刊已被 A&HCI / EI / CSCD / Scopus / DOAJ / CSTPCD 收录

中国科技期刊卓越行动计划 英文领军期刊

Manuscript Title

论文题目

Navigating CLIPedia: Architectonic instruments for querying and questing a latent encyclopedia

漫游 CLIPedia：用于查询与探索潜在百科全书的建构学工具

Authors

作者

Agostino Nickl

Institute of Technology in Architecture, Department of Architecture, ETH Zürich, Switzerland

Abstract

论文摘要

This paper introduces CLIPedia, an entirely local, highly scalable, multimodal search engine that integrates the structured knowledge of Wikipedia into the latent embedding space of OpenCLIP. Alongside its technical development, the paper offers a theoretical framing, positing AI not merely as a tool for information access but as an architectonic instrument for invention and discovery. Built on a two-tiered Self-Organizing Map (SOM) architecture—comprising toroidal and ring-shaped layers—CLIPedia organizes over 30 million data points for fast unimodal and cross-modal retrieval. It achieves sub-second response times on standard hardware with minimal working memory footprint, delivering local performance comparable to cloud-based vector search systems and excelling on queries that return many relevant results. Beyond queries, CLIPedia enables latent journeys—termed quests—across high-dimensional embedding space. For this, the paper introduces a set of navigational metaphors and computational mechanisms—termed Orthodromes, Diadromes, Archidromes, and Thelodromes—to trace both linear and non-linear trajectories through the latent space of digitally encoded encyclopedic knowledge. The paper is accompanied by an open-source code repository.

本文介绍 CLIPedia—— 一套完全本地化、高可扩展、多模态搜索引擎，将维基百科的结构化知识融入 OpenCLIP 的隐向量嵌入空间。研究在技术研发之外，进一步给出理论框架：不再将人工智能仅视作信息获取工具，而是视为支撑创新与知识发现的建构学工具。CLIPedia 依托双层自组织映射（SOM）架构搭建，由环面层级与环形层级构成，可统筹管理超 3000 万个数据节点，支持高效单模态与跨模态检索。该系统在通用硬件上即可实现亚秒级响应，运行内存占用极低，本地化运行性能比肩云端向量检索系统，在高相关度多结果检索任务中表现尤为突出。除常规检索外，CLIPedia 支持在高维嵌入空间中开展隐态知识游历，文中将其定义为「知识探寻」。为此，本文提出一组空间导航隐喻范式与计算机制——正程轨、二元轨、原型轨、意向轨（Orthodromes, Diadromes, Archidromes, Thelodromes），用以在数字化编码的百科知识隐空间中，推演线性与非线性双重知识演化轨迹。文末同步开源配套代码仓库。

Keywords

关键词

Digital architecture / 数字建筑

Architectonics / 建构

Artificial intelligence / 人工智能

Latent space / 潜空间

LLMs / 大语言模型

SOMs / 自组织映射网络

Sections Title

章节标题

1. Introduction / 引言

2. Theory / 理论基础

2.1. Buildings of knowledge / 知识建构体系

2.2. Plots of the encyclopedic circle / 百科圈层脉络

2.3. Structures of the web and wikipedia / 网络与维基百科的结构体系

2.4. Spaces of AI and CLIP / 人工智能与CLIP的隐态空间

2.5. Mechanics for models and maps / 模型与映射的运行机制

2.6. Instruments for queries and quests / 检索与探寻的建构性装置

3. Method / 研究方法

3.1. Sourcing CLIPedia / CLIPedia的数据源构建

3.1.1. Parsing data / 数据解析

3.1.2. Identifying data / 数据识别

3.1.3. Encoding data / 数据编码

3.2. Building CLIPedia / CLIPedia的系统构建

3.2.1. SOMs as meta-models / 作为元模型的自组织映射网络

3.2.2. Model architecture / 模型架构

3.2.3. Distributed storage / 分布式存储

3.2.4. Multi-modal gap / 多模态间隙（多模态适配缺口）

3.3. Querying CLIPedia / CLIPedia的检索方法

3.3.1. Retrieval mechanism / 检索机制

3.3.2. Query functions / 检索功能

3.4. Questing CLIPedia / CLIPedia的探寻方法

3.4.1. Orthodromes / 正程轨

3.4.2. Archidromes / 原型轨

3.4.3. Diadromes / 二元轨

3.4.4. Thelodromes / 意向轨

4. Discussion / 讨论

4.1. Evaluations / 效果评估

4.2. Limitations / 研究局限

4.3. Applications / 应用场景

4.4. Reflections / 反思与展望

5. Conclusion / 结论

Illustrations

主要插图

▲ 图一：采用主成分分析（PCA）呈现多组自组织映射（SOM）训练迭代结果，下方为量化误差（QE）与拓扑误差（TE）的组合对比曲线图。©本文作者

▲ 图二：左侧为 CLIPedia 展开后的首层结构，可见容纳文本的「入口腔体」；右侧为 CLIPedia 整体环面拓扑形态。©本文作者

▲ 图三：左侧为 CLIPedia 检索最优结果；右侧为 2025 年基于 ChatGPT 调用 DALL?E 3 生成的响应图像。©本文作者

▲ 图四：文本检索匹配出 48 张最邻近图像，全部附带来源超链接并配有图文说明。©本文作者

▲ 图五：16 步原型轨道，沿基于某作者文本训练所得的自组织映射谱系演进，以主成分分析（PCA）进行色彩赋色。©本文作者

Authors Information

作者简介

Agostino Nickl

Doctoral Fellow

Institute of Technology in Architecture, Department of Architecture,

ETH Zürich, Switzerland

Agostino Nickl is a digital architect and scholar, developing architectural approaches to artificial intelligence, both computationally and conceptually, and Assistant Professor of Architectural Intelligence in the Design, Data and Society Group at TU Delft. His doctoral dissertation at ETH Zurich, subtitled An Architects Guide to Latent Space, explores how computational models can serve as instruments of imagination and invention rather than mere automation. He has served as Visiting Professor at the Politecnico di Milano and as Senior Teaching Fellow at UCL and has taught theory seminars and design studios at ETH Zurich, the Bartlett School of Architecture, and the Oxford School of Architecture. For several years, he worked at Arups Digital Studio in London, an interdisciplinary strategic design team focused on innovation and digital transformation. His work has received numerous distinctions, including the Saint-Gobain Innovation Prize, the Bartlett School of Architecture Medal, the Sir Banister Fletcher Medal, the ETH Architecture & Technology Fellowship, and a nomination for the ETH Dissertation Medal.

▼ 点击下方词条 | 往期精彩不容错过

#期刊快讯#系列

主编王建国院士团队荣获国家科技进步奖一等奖

JCR 2024 影响因子3.6建筑类第一

CiteScore 2024 指数上升为6.3

FoAR 被中国科技论文与引文数据库CSTPCD收录

FoAR 荣获2025科爱三项期刊奖

2025年度中国科学院分区表大类小类FoAR保持一区

FoAR 入选"卓越行动计划"英文领军期刊

FoAR 进入 EI 工程索引数据库

FoAR 在国际影响力 TOP 期刊榜单中排名稳步上升

#主办会议# 系列

会议回顾 | FoAR青年学者之夜

会议回顾 | 智汇浦江: FoAR青年学者学术沙龙

会议回顾 | FoAR专题会议:历史空间的跨媒介再现

会议回顾 | FoAR专题会议:面向气候环境可持续的街区设计

会议回顾 | 皖美遇见: FoAR青年学者学术沙龙

会议通知 | FoAR专题会议: 高性能建筑维护结构

#年度报告# 系列

FoAR 2020年度报告

FoAR 2021年度报告

FoAR 2022年度报告

FoAR 2023年度报告

FoAR 2024年度报告

FoAR 2025年度报告

#新刊上线#系列

2025年第三期

2025年第四期

2025年第五期

2025年第六期

2026年第一期

2026年第二期

#FoAR投稿指南#系列

投稿流程

Guide for Author中文版

审稿流程及发表流程

如何提交修改稿

录用文章出版流程

#期刊知识科普#系列

SCI之父尤金·加菲尔德的传奇人生

国际核心期刊数据库大解析

如何使用最强工具Web of Science

如何发现一本好期刊

国内核心期刊有哪些

版面费与期刊影响力

期刊联络

高等教育出版社：010-58556484

东南大学：025-83795543

刊物邮箱：foar@pub.seu.edu.cn

FoAR英文期刊交流QQ群：21608832

在线投稿

www.editorialmanager.com/foar

刊物主页

http://www.sciencedirect.com/science/journal/20952635

http://journal.hep.com.cn/foar