第465集 - AI革命不会被垄断 | Talk Python To Me Podcast
自互联网泡沫以来，还没有出现过像AI这样的繁荣景象。这可能看起来像是一个注定由几家科技巨头控制的空间。但Ines Montani认为开源将在AI的未来扮演重要角色。
嘉宾简介
嘉宾：Ines Montani是Explosion.ai的联合创始人，也是开源NLP库spaCy的核心开发者。她深度参与Python和AI社区，在世界各地的会议上就NLP、大语言模型（LLM）和开源开发等主题发表演讲。Ines和她的团队开发了多个工具，最著名的是spaCy、Prodigy和Prodigy Teams（测试版），帮助开发者和数据科学家高效地训练、评估和部署AI模型。
背景与项目
spaCy：一个工业级NLP库，专注于效率和开发者体验。
链接：spacy.io
Prodigy：一个基于Python的数据标注工具，可以快速高效地为机器学习创建标注数据。
链接：prodi.gy
Prodigy Teams（测试版）：来自Explosion即将推出的产品，旨在将可脚本化的数据标注和模型训练带入私有的、自托管或本地环境。
大语言模型（LLM）的兴起与AI热潮
自ChatGPT亮相以来，人们对AI的兴趣激增，甚至非技术人员（例如示例中的摩托车销售人员）都在询问AI将如何重塑编码和软件开发。
虽然LLM具有强大的生成能力，但开发者必须权衡数据隐私、幻觉问题以及对大型通用模型的过度依赖等问题。
为什么开源对AI至关重要
透明度和控制：公司希望查看和修改代码，在本地运行（例如处理医疗或金融数据），并避免供应商锁定。
模块化软件：更小、更专业的模型或组件可以互换，使系统更易于解释、测试且更具成本效益。
社区与协作：开源允许更快的改进、更多的贡献者，并且在项目停止维护时能够进行分支。
不同类型的模型
Ines对比了以下几种模型：
任务特定模型：通常在较小领域进行预训练或针对单一任务进行微调（例如用于生物医学文本的命名实体识别）。
示例：来自Allen AI的用于科学和生物医学文本的SciSpaCy。
链接：allenai.org/ （在其项目中查看“SciSpaCy”）
编码器模型：如BERT，用于更广泛的任务，然后针对特定目的进行微调。
大型生成模型：示例包括Llama（某中心的模型）和Hugging Face上的各种开源模型。这些模型生成文本，可以处理更开放式的任务，但规模庞大，大规模运行成本高昂。
原型与生产
使用LLM构建原型：使用它们快速构建概念验证或标注数据（例如，利用GPT-4或其他LLM来标注训练示例）。
精炼和转移学习：一旦原型被证明可行，就创建一个更小的专业化模型，甚至使用基于规则的方法（如正则表达式），如果其性能优于通用解决方案的话。
spaCy LLM：一个spaCy组件，可以无缝集成大语言模型以执行文本提取等任务，便于在基于LLM的原型和更专业化或精炼的模型之间快速切换。
监管担忧
Ines强调，监管产品和高风险用例是有意义的（例如，AI在法律决策或医疗保健中的应用），但监管技术本身可能会无意中只惠及大型科技公司。
类比示例：GDPR的cookie横幅表明，监管实施细节（cookies）而非实际问题（侵入性跟踪），导致了烦人的弹窗，而没有完全解决隐私问题。过于宽泛的AI监管也可能出现同样的陷阱。
AI革命会被垄断吗？
规模经济：虽然大公司可能以更低的单位成本运行庞大的LLM，但对于更狭窄的任务，更小、更专业化的模型可能更便宜、更准确。
网络效应和封闭平台：公司当然可以垄断聊天机器人或消费者服务，但底层研究和开源模型对所有人仍然可访问。
开源与小型模型：开源社区发布了许多高性能模型（例如Llama变体、Mistral等），表明你不需要科技巨头的资源就能在NLP和AI领域创新。
相关工具和链接
- spaCy: spacy.io
- Prodigy: prodi.gy
- Explosion.ai 网站（新闻、活动和资源）: explosion.ai
- LM Studio（本地运行LLM的GUI）: lmstudio.ai
- Hugging Face（开源模型中心）: huggingface.co
- SciSpaCy: allenai.org/ （搜索“SciSpaCy”）
- Talk Python的NLP和spaCy课程: talkpython.fm/spacy
总体要点
尽管人们担心少数大公司可能通过昂贵的基础设施和庞大的模型主导AI，但开源工具和专业的小型模型提供了真正的替代方案。开发者可以使用大型生成模型构建原型，然后精炼或微调出更易于解释、运行成本更低且易于集成的专业模型。最终，AI的未来并不局限于少数垄断者，开源、社区驱动的协作和模块化的最佳实践将使创新保持广泛的开放性。
节目中提到的链接
- Ines Montani 在 Twitter: @_inesmontani
- spaCy: spacy.io
- Prodigy App: prodi.gy
- Ines在PyCon立陶宛的演讲: youtube.com
- LM Studio: lmstudio.ai
- Little Bobby Tables: xkcd.com
- spaCy和NLP课程: talkpython.fm
- 使用我们的链接在Porkbun以1美元价格获取.app、.dev或.foo域名: talkpython.fm/porkbun
- 在YouTube观看本集: youtube.com
- 第465集深度解析: talkpython.fm/465
- 剧集文字记录: talkpython.fm
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
