算法部署从docker到K8s 最近需要做一次面向公司的算法团队的k8s培训,算法的同事对于docker和gpu的使用还是比较熟悉的,随着大模型的发展,很多训练、测试、数据处理的任务都需要在k8s上进行,所以需要对k8s有一个基本的了解,基于这样的背景,我结合docker的使用,对k8s的一些概念进行了类比,希望能够帮助大家更好的理解k8s。 对于熟悉Docker的用户,在迁移到Kubernetes时,将某些概念进行类比可以帮助 2023-09-08 #k8s #llm #tgi
聊一聊:Prometheus监控系统 一个健全的系统总是离不开监控系统,一个选择合适的监控系统可以让我们的系统更加健壮,更加稳定。 Prometheus是一种开源的系统监控和警报工具,最初由SoundCloud开发,后来捐赠给了Cloud Native Computing Foundation(CNCF)。它被广泛用于监控容器化应用程序和微服务架构。 Prometheus的主要用途是收集、存储和查询时间序列数据。它通过定期从目标应用 2023-07-23 #监控 #python
聊一聊:AI时代的前夜 2023年,是一个有趣的年份,结束了3年的疫情时代,迎来 OpenAI 为AI领域带来的革命性应用 chatgpt 。一时间,仿佛每个角落都在关注AI相关的最新动态。《浪潮之巅》里面描述了数字时代的行业巨头潮起潮落,这一次 AI 来到的浪潮之巅。 大模型的大炼钢时代,在过去的半年内涌现出了各种各样的存在于 PPT 上的大模型,任何一个和所谓“科技”挂钩的企业如果不做个大模型仿佛就被时代抛弃了。不过 2023-05-28
Web服务打包exe 背景项目组开发的一个支持多人协作工具类的web应用,产品经理希望开放出去给其他人试用,并且支持私有化部署。当我们开发一个 Web 服务时,通常需要在服务器上运行我们的代码。但是,有时我们需要将我们的 Web 服务打包成一个可执行文件(.exe),这样我们就可以在没有 Python 环境的计算机上运行它。 2023-03-27 #Python
聊一聊:我眼中的数据中台 最近的两份工作基本都是围绕数据中台展开,因此这里复盘一下,一个数据应用开发人员眼中的数据中台全景。 数据中台的诞生,是为了解决企业中各个系统烟囱林立的问题。数据中台是指通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径。数据中台把数据统一之后,会形成标准数据,再进行存储,形成大数据资产层,进而为客户提供高效服务。 这些服务跟企业的业务有较强的关联性,是这个企业独有的且能复用 2022-03-26 #大数据
内网ubuntu环境下离线部署K8s 背景最近工作在内网环境,需要从头搭建一个K8s集群并进行微服务迁移。 前期调研的K8S离线部署的方案,可以参考其他博主的博文——万字长文详解 PaaS toB 场景下 K8s 离线部署方案 Item Language Star Fork 离线部署支持情况 kops Golang 13.2k 4.1k 不支持 kubespray Ansible 11.1k 4.7k 支持,需自行 2022-01-01 #k8s #docker
聊一聊:FaaS 在大规模网络爬虫的实践 1. 什么是Faas“功能即服务”(或称为 FaaS)是一种在无状态容器中运行的事件驱动型计算执行模型,这些功能将利用服务来管理服务器端逻辑和状态。 它允许开发人员以功能的形式来构建、运行和管理这些应用包,无需维护自己的基础架构。 FaaS 是一种实现无服务器计算的方法,藉此开发人员可以编写业务逻辑,然后在完全由平台管理的 Linux 容器中执行这些业务逻辑。 该平台通常位于云端,但模型正在 2021-10-24 #云原生 #faas #serverless #爬虫 #无头浏览器
聊一聊:Golang 使用sync.Pool 降低GC压力 1 前言 一句话总结:保存和复用临时对象,减少内存分配,降低 GC 压力。 sync.Pool大致的工作原理: 利用 GMP 的特性,为每个 P 创建了一个本地对象池 poolLocal,尽量减少并发冲突。 每个 poolLocal 都有一个 private 对象,优先存取 private 对象,可以避免进入复杂逻辑。 在 Get 和 Put 期间,利用 pin 锁定当前 P,防止 gorou 2021-10-23 #面试 #Golang
聊一聊:Python和Golang的垃圾回收 在计算机科学中,垃圾回收(英语:Garbage Collection,缩写为GC)是指一种自动的存储器管理机制。当某个程序占用的一部分内存空间不再被这个程序访问时,这个程序会借助垃圾回收算法向操作系统归还这部分内存空间。垃圾回收器可以减轻程序员的负担,也减少程序中的错误。垃圾回收最早起源于LISP语言。[1][2]目前许多语言如Smalltalk、Java、C#、Go和D语言都支持垃圾回收器。 2021-10-15 计算机技术 #Python #Golang
聊聊数据库的那些索引 作为后端开发工程师随着工作年限的增长,慢慢接触了许多数据库: MySQL MongoDB InfluxDB Elasticsearch(搜索引擎,姑且也算是一种nosql数据库) 随着业务特性不同,我在不同的项目里最终选择了不同的数据库作为核心数据存储。本文主要总结一下,这些数据库中主流存储引擎的底层索引结构。 B+树索引 B+ 树 是一种树数据结构,通常用于数据库和操作系统的文件系 2021-09-29 #数据库 #mysql #influxdb #MongoDB