数据开发
▸ 从2.0的服务器迁移数据到3.0
▸ 数据清洗、治理,为开发做准备
▸ 停电监测域的数据开发,完成指标的开发
大数据开发工程师
▸ 整合不同来源的数据并进行批量提取处理
▸ 数据清洗后进行维度建模和数据维度处理
▸ 通过明细数据层、服务数据层、数据应用层,最终以数据服务、报表或分析模型交付
大数据开发工程师
▸ 整合多源资源,数据采集清洗、存储、分发流程(ETL)
▸ 基于业务需求参与构建分层数据模型
▸ 最终为选品、定价、库存策略优化提供数据支撑
▸ 业务数据治理和数据运维
数据开发 · Hologres + DataWorks
2.0停电监控存在漏报、漏数、延迟等问题,进行3.0重构,更好地展示停电真实数据,为客户提供更及时的服务。
▸ 完成停电时长、时长分布、复电率等指标重写
▸ 对台区、变电站等设备及低压用户数重新计算
▸ 重新梳理业务逻辑,定义计算口径
▸ 调度从 T+1 提升到 T+0,数据更及时
数据开发 · WeData + StarRocks + HDFS + PostgreSQL
南方电网开发平台从2.0迁移至3.0,将HDFS和PG数据库的表迁移到StarRocks数据库。
▸ 编写迁移脚本,了解迁移环境
▸ 测试迁移速率,编写测试报告
▸ 完成全库600张表迁移,速率达30万行/秒
▸ 使用StreamLoad方式,数据零丢失
大数据开发工程师
构建用户主题宽表,开发用户生命周期、RFM价值分层等标签体系,支撑营销平台精准圈选。
▸ 负责DWS层指标聚合与用户画像(访问天数、下单次数、消费金额等)
▸ 开发调度任务,每日增量更新,保障时效性
▸ 融合指标与业务规则,实现自动化标签打标
▸ 支撑营销平台圈定目标人群,提高营销转化率
数据开发工程师 · MaxCompute + DataWorks + QuickBI
搭建商品主题分析模型,从销售、流量、库存等多维度评估商品表现,为选品会和补货计划提供数据决策支持。
▸ 构建商品数据分析体系,整合销售、库存等多维数据
▸ 参与设计并开发DWS层核心分析宽表
▸ 实现从"经验定价"到"数据定价"的转变
▸ 识别高利润潜力商品,优化滞销品清仓策略
大数据开发工程师 · Hadoop + Hive + Sqoop + Kettle
设计并实现标准化、自动化、可监控的离线数据集成与清洗流程,将分散在MySQL、日志及外部API的核心业务数据高质量同步至数仓ODS层。
▸ 通过Sqoop和Kettle抽取结构化与半/非结构化数据约800张表
▸ 使用Hive SQL进行数据清洗转换(去重、规范化等)
▸ Shell脚本调度 + Crontab自动化,记录元数据确保可追溯
本科