zezeful
本站致力于IT相关技术的分享
在AWS上构建服务于TensorFlow模型的实时时序特征存储架构 在AWS上构建服务于TensorFlow模型的实时时序特征存储架构
项目初期，时序预测模型在Jupyter Notebook里表现完美，验证集上的MAE和RMSE指标都无可挑剔。然而，当模型被部署为线上服务后，灾难降临了。线上模型的性能与离线评估结果存在巨大鸿沟，告警邮件塞满了收件箱。问题的根源很快被定位：
2023-10-27 数据工程
MLOps Feature Store 时序 TensorFlow AWS
基于自定义任务队列指标的Ray分布式计算集群弹性伸缩实现 基于自定义任务队列指标的Ray分布式计算集群弹性伸缩实现
我们面临一个棘手的工程问题：一个通过RESTful API暴露的科学计算服务，其核心功能是根据用户请求动态生成复杂的数据可视化图像。后台使用Matplotlib进行渲染，部分图像的生成过程计算密集且耗时，可能需要数秒甚至数十秒。将其部署为单
2023-10-27 云原生
Ray Matplotlib Istio RESTful API OCI
构建基于 Scala 与 Knative 的时序数据 Serverless 采集网关 构建基于 Scala 与 Knative 的时序数据 Serverless 采集网关
我们需要处理一个棘手的时序数据采集场景：数据源是百万级的物联网设备，它们并非持续上报，而是在特定时间窗口（例如每小时的头五分钟）内集中爆发式地提交数据。峰值 QPS 可达成千上万，但其余 90% 的时间里，系统几乎处于空闲状态。为一个短暂的
2023-10-27 后端架构
Ktor Knative Scala Time Series Clean Architecture
构建混合架构下的Saga分布式事务协调器：结合Java的ACID核心与OpenFaaS的补偿机制 构建混合架构下的Saga分布式事务协调器：结合Java的ACID核心与OpenFaaS的补偿机制
在一个必须保证核心账务数据绝对一致性的系统中，引入分布式架构总是一场关于风险与收益的博弈。当业务流程扩展到单一数据库事务无法承载的长度时——例如，一个包含订单创建、库存扣减、支付网关交互、优惠券核销和邮件通知的完整流程——我们被迫在强一致性
2023-10-27 分布式架构
OpenFaaS SQL ACID Redux Java
基于 XState 状态机实现 Raft 协议与 MariaDB 持久化的分布式服务注册器 基于 XState 状态机实现 Raft 协议与 MariaDB 持久化的分布式服务注册器
我们团队最近面临一个棘手的挑战：为一组内部的、对延迟敏感的计算服务构建一个轻量级、嵌入式的服务发现机制。使用 Consul 或 etcd 这样成熟的方案固然是行业标准，但在我们的场景下，引入一个独立的、重量级的中间件集群带来了额外的运维复杂
2023-10-27 分布式系统
分布式一致性 XState 服务发现 MariaDB Raft
实现基于 KEDA 自定义指标的 Elixir SSR 应用在 Azure K8s 上的状态感知自动伸缩 实现基于 KEDA 自定义指标的 Elixir SSR 应用在 Azure K8s 上的状态感知自动伸缩
我们团队的一个核心产品，其前端交互体验是基于 Elixir 的 Phoenix LiveView 构建的。这种选择为我们带来了服务端渲染 (SSR) 的所有好处，同时通过持久化的 WebSocket 连接提供了类似 SPA 的富交互体验。最
2023-10-27 云原生与运维
SSR Azure Elixir Cloud Native & DevOps KEDA Kubernetes
5 / 5