怎么制作网站主页,工地建筑劳务公司招工平台,连云港做网站哪里好,网络热词的利弊本文已收录在Github#xff0c;关注我#xff0c;紧跟本系列专栏文章#xff0c;咱们下篇再续#xff01; #x1f680; 魔都架构师 | 全网30W技术追随者#x1f527; 大厂分布式系统/数据中台实战专家#x1f3c6; 主导交易系统百万级流量调优 车联网平台架构&a…本文已收录在Github关注我紧跟本系列专栏文章咱们下篇再续 魔都架构师 | 全网30W技术追随者 大厂分布式系统/数据中台实战专家 主导交易系统百万级流量调优 车联网平台架构 AIGC应用开发先行者 | 区块链落地实践者 以技术驱动创新我们的征途是改变世界 实战干货编程严选网0 前言一项提案希望大家在网站上统一使用/llms.txt文件在推理inference阶段为 LLM 提供帮助其理解和使用网站的信息。大型语言模型越来越依赖网站信息但它们面临一个关键限制上下文窗口太小无法把大多数网站“整站塞进去”。把包含导航、广告和 JavaScript 的复杂 HTML 页面转换成适合 LLM 的纯文本既困难又不精确。网站既服务人类读者也服务 LLM但 LLM 更需要把简明、专家级的信息集中放在一个容易访问的位置。这在开发环境等场景尤为重要LLM 需要快速查到编程文档和 API。1 提案建议网站新增/llms.txt的 Markdown 文件提供对 LLM 友好的内容。包含简要背景、使用指引以及指向更详细 Markdown 文件的链接。既便于人和 LLM 阅读也够“规整”可用固定方法处理如解析器、正则表达式等传统编程手段。建议网站上那些可能对 LLM 有助的页面除原 HTML 版本再在同一 URL 后追加.md提供一个干净的 Markdown 版本。如果 URL 没有文件名则追加index.html.md。FastHTML 项目 的文档遵循了这两条建议。如FastHTML 文档的 llms.txt。再如一个普通 HTML 文档页by_example.html以及同 URL 的 Markdown 版本by_example.html.md。该提案不规定如何处理 llms.txt 文件因为这取决于具体应用。如 FastHTML 项目选择把 llms.txt 自动“展开”为两个 Markdown 文件它会把链接 URL 的内容拉取进来并用一种适合 Claude 等 LLM 使用的 XML 结构组织起来llms-ctx.txt不包含 Optional URLsllms-ctx-full.txt包含 Optional URLs它们由命令行工具llms_txt2ctx生成FastHTML 文档也向用户说明了如何使用这些文件。2 llms.txt的用途既可帮助开发者快速导航软件文档也可让企业概述组织结构甚至把复杂法律条文拆解给相关方。也同样适用于个人网站例如回答简历相关问题、电商网站说明产品与政策、学校和大学快速呈现课程信息与资源等。所有 nbdev 项目现在默认会为所有页面生成.md版本。所有使用 nbdev 的 Answer.AI 和 fast.ai 软件项目都已经用这个特性重新生成文档。例子可见 fastcore 的 docments 模块的 Markdown 版本对应原页面为 docments.html。3 格式目前对语言模型最广泛且最易理解的格式是 Markdown。只要清楚标出关键 Markdown 文件的位置就已是很好第一步。再加点基础结构就能帮助模型定位“需要的信息可能在哪”。llms.txt的一个特点是它用 Markdown 来组织信息而非XML。因为我们预期它会被语言模型和智能体直接阅读。当然llms.txt 的信息仍遵循一个固定格式也可用标准程序工具读取和解析。llms.txt 的规范适用于放在网站根路径/llms.txt也可选放在子路径的文件。符合规范的文件应按以下顺序包含这些 Markdown 章节一个 H1项目或站点名称这是唯一必需的部分一个 blockquote项目的简短摘要包含理解后续内容所需的关键信息0或多个非标题的 Markdown 段落/列表等进一步说明项目以及如何理解后续文件0或多个以 H2 标题分隔的章节每个章节包含一个“文件列表”列出更多细节的 URL每个“文件列表”是一个 Markdown 列表项必须包含一个 Markdown 超链接[name](url)之后可选加:和说明备注示例# Title Optional description goes here Optional details go here ## Section name - [Link title](https://link_url): Optional link details ## Optional - [Link title](https://link_url)其中“Optional” 章节有特殊含义如果包含该章节则其中 URL 在需要更短上下文时可以跳过。它适用于“经常可以不读也不影响理解”的次要信息。4 现有标准llms.txt 的设计目标与现有 Web 标准共存站点地图sitemap为搜索引擎列出全部页面而llms.txt为 LLM 提供经过筛选的概览还能与 robots.txt 互补robots.txt 告诉爬虫“哪些内容允许访问”llms.txt 则给出“允许访问内容的上下文与指引”llms.txt 也可以引用站点上的结构化数据标记帮助 LLM 理解这些信息在站点中的语境。将文件路径标准化为固定的/llms.txt思路与/robots.txt、/sitemap.xml类似。但 robots.txt 和 llms.txt 目的不同robots.txt 主要用于告知自动化程序例如搜索索引机器人哪些访问是可接受的而llms.txt更多用于“按需使用”的场景如用户在编码时需要引入某个库的文档或在带搜索能力的聊天机器人中询问某个主题信息。预期llms.txt 主要用于推理阶段inference也就是用户寻求帮助的当下而非用于训练training。不过如果 llms.txt 足够普及未来训练流程也可能利用这些信息。sitemap.xml 是站点上全部可索引、面向人类的信息清单但不能替代llms.txt因为往往不会列出面向 LLM 的页面.md版本不会包含外部链接但外部链接可能对理解很有帮助内容总量通常远超 LLM 上下文窗口而且包含大量“理解站点并不必要”的信息5 示例下面是一个llms.txt示例FastHTML 项目实际文件的精简版完整版本见 full version# FastHTML FastHTML is a python library which brings together Starlette, Uvicorn, HTMX, and fastcores FT FastTags into a library for creating server-rendered hypermedia applications. Important notes: - Although parts of its API are inspired by FastAPI, it is *not* compatible with FastAPI syntax and is not targeted at creating API services - FastHTML is compatible with JS-native web components and any vanilla JS library, but not with React, Vue, or Svelte. ## Docs - [FastHTML quick start](https://fastht.ml/docs/tutorials/quickstart_for_web_devs.html.md): A brief overview of many FastHTML features - [HTMX reference](https://github.com/bigskysoftware/htmx/blob/master/www/content/reference.md): Brief description of all HTMX attributes, CSS classes, headers, events, extensions, js lib methods, and config options ## Examples - [Todo list application](https://github.com/AnswerDotAI/fasthtml/blob/main/examples/adv_app.py): Detailed walk-thru of a complete CRUD app in FastHTML showing idiomatic use of FastHTML and HTMX patterns. ## Optional - [Starlette full documentation](https://gist.githubusercontent.com/jph00/809e4a4808d4510be0e3dc9565e9cbd3/raw/9b717589ca44cedc8aaf00b2b8cacef922964c0f/starlette-sml.md): A subset of the Starlette documentation useful for FastHTML development.6 高质量编写建议用词简洁、清晰链接资源时附上简短但信息量足的说明避免含糊或不解释的术语用工具把llms.txt展开成“LLM 上下文文件”并用多个模型测试它们能否正确回答相关问题7 目录站互联网上可用的llms.txt文件llmstxt.sitedirectory.llmstxt.cloud8 集成工具/插件可将 llms.txt 规范接入你的工作流llms_txt2ctx- 用于解析 llms.txt 并生成 LLM 上下文的 CLI 和 Python 模块JavaScript Implementation - JavaScript 示例实现vitepress-plugin-llms- 为 VitePress 自动生成符合 llms.txt 规范的 LLM 友好文档docusaurus-plugin-llms- 为 Docusaurus 生成符合 llmtxt.org 标准的 LLM 友好文档Drupal LLM Support - 为 Drupal 10.3 提供 llms.txt 全面支持的配方Recipellms-txt-php- 用于读写 llms.txt Markdown 文件的库VS Code PagePilot Extension- VS Code 聊天参与者可自动加载外部上下文文档、API、README 等增强回答能力9 下一步llms.txt规范仍在开放征求社区意见。相关 GitHub 仓库 托管了这份非正式概览便于版本管理与公开讨论同时也有一个 Discord 社区 供大家分享落地经验和讨论最佳实践。