归档: 2023/10

2023

10

27

业务需求很明确：当核心PostgreSQL数据库中的产品信息（包括文本描述和关联图片元数据）发生任何变更时，必须在100毫秒内更新其在向量搜索引擎中的表示，以供推荐系统和语义搜索使用。这个延迟指标是硬性的，直接影响用户体验。方案A：可预测

2023-10-27 数据工程

Buildah Pulsar PostgreSQL Weaviate AWS Lambda

27

定义问题：从批处理到实时推理的架构鸿沟项目背景很明确：我们需要将核心推荐系统的模型推理从每日批处理迁移到实时在线服务。当前的架构依赖 T+1 的 Spark 作业生成特征，这导致用户行为无法在24小时内影响推荐结果，业务增长已触及瓶颈。新的

2023-10-27 分布式架构

Pulsar C# Cilium Kubeflow eBPF MLOps Feature Store

27

我们团队的 API 网关 Kong 面临的第一个棘手问题，源于一个经典的矛盾：业务增长带来的流量洪峰与后端服务脆弱的稳定性。最初采用的静态限流策略，例如 rate-limiting 插件配置的 60 requests/minute，在实践中

2023-10-27 API 网关

Kong Python Dgraph 强化学习敏捷开发

27

我们接手了一个新的多租户SaaS平台项目，技术栈初步定为Node.js + React。第一个需要攻克的堡垒就是认证系统。在当前的安全环境下，传统的密码认证方式已经成了一个巨大的责任包袱，不仅用户体验差（需要记忆复杂密码），而且安全风险极高

2023-10-27 后端架构

Couchbase Ant Design WebAuthn Webpack Memcached

27

我们面临的第一个问题不是技术选型，而是运营模式。构建一个SaaS向量检索平台，核心需求是租户的自动化开通与隔离。如果每新增一个租户，都需要工程师手动修改Nginx配置、重启服务、创建数据库表、部署定制化的前端主题，那么这个项目在第一天就已经

2023-10-27 分布式架构

Weaviate Caddy Vite etcd Styled-components

27

我们面临一个典型的现代数据工程困境：业务分析团队需要对生产 PostgreSQL 数据库中的数据进行近乎实时的分析，但直接查询生产库是绝对禁止的。传统的每小时或每日批处理ETL作业导致的数据延迟，已经无法满足快速决策的需求。数据仓库中的数据

2023-10-27 数据工程

CDC Python OpenFaaS Apache Iceberg Serverless