V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dabaohu
V2EX  ›  求职

社畜简历求指点( Java 大数据方向),跪求大伙儿拍砖!

  •  
  •   dabaohu · 2020-07-17 14:26:09 +08:00 · 1997 次点击
    这是一个创建于 1590 天前的主题,其中的信息可能已经有所发展或是发生改变。

    首先感谢各位大佬能点进来。 说下个人基本情况。坐标帝都,糙汉子一枚,双非计算机科班,17 年毕业就开始做 Java 后端,后来到现东家核心部门,做 Java 后端的同时,领导给机会做大数据相关的东西。接触了一年多大数据开发,老本行也都在搞,现希望去更大的平台发展。现将简历整理了一版,期待各位路过大佬留下宝贵意见 最大困惑点在于:大数据项目经历之前没有写过,简历上有点不知道应该突出那些侧重点。当然所有点都欢迎大家拍砖

    职位:Java 工程师(大数据方向) 3 年工作经验

    专业技能

    1. 较为扎实的 Java 基础,熟悉多线程及 JVM,熟练使用 Spring,MyBatis 等框架
    2. 熟悉 Hadoop,HDFS,YARN,HBase 等大数据相关技术
    3. 拥有 Spark 的 ETL 开发经验,掌握 scala
    4. 熟悉 Mysql,redis
    5. 了解 kafka,dubbo,zookeeper 等

    工作经历

    TalkingData 数据治理部门-数据挖掘与工程组 Java 大数据开发 2018.09-至今

    工作内容:负责对公司 Hadoop 集群数据的离线批处理计算、存储;以及数据对外的输出;参与日常 ETL 需求和任务维护,以及 spark 任务性能调优;使用 SpringBoot+Mybatis 为框架,独立负责数十个对外数据 HTTP 接口数据查询服务。

    负责的主要项目:

    id 主题业务 ETL

    简介:将 HDFS 上收集的 id 信息(imei,mac,idfa 等),通过 spark 每日离线加工聚合,每日增量数据累积形成全量 id 信息数据集和 id 唯一映射数据集,为设备标签和数据服务提供基础 id 数据支持

    工作:

    • 抽取各业务 HDFS 数据融合,每日处理数据集的数据大小 60T 以上
    • 使用 Spark 开发离线批处理 ETL 任务,提交至 Yarn 执行并进行维护和性能调优
    • 持续优化数据集加工流程,节省了大量资源

    中间件查询服务项目

    简介:Java 技术栈,SpringBoot 为基础框架的后端 Server 。主要提供 HBase,Scylladb 和 Mysql 三种数据库的查询能力和 DB 之间的主从升降级能力,使上游依赖的数十个服务将重心放在业务逻辑,能显著提高服务开发效率和容错能力。

    工作:

    • 主责设计和重构了中间件查询服务的整体逻辑
    • 使用 Java 的 Future 模式设计开发了一套 DB 主从升降级切换的逻辑
    • 自设计了一套适合业务逻辑的查询超时出错熔断方案,并采用纯算法轻量级实现
    • 将业务服务到中间件服务的 HTTP 结构使用 Dubbo 进行了改造升级,省去了一次 nginx 转发的步骤

    HBase 数据装载

    简介:将 HDFS 中,需要通过 HTTP 接口服务查询的数据,使用 spark 加工成对应的 HFile,并 load 到 HBase 中。通过 buckload 特性快速导入海量数据,基本省略了 HBase 的写库压力。当前维护了存储为 55T 左右的 HBase 集群。

    工作:

    • 设计合理的 rowkey,尽量让数据均衡分布在每个 RegionServer
    • 针对数据量进行估算,设计合理的 region 大小,降低 HBase 集群的浪费
    • 根据数据情况合理分配 split key,使数据均匀分布在 region,避免数据热点

    思源集团 基础研发后端团队 Java 开发 2017.04-2018.08

    工作内容:负责 Spring+Mybatis 为基础框架的 Java 后端服务项目。为移动互联网产品做后端支持。独立负责群聊,短信和邮件等多个项目的日常需求 Coding 和项目维护及产品迭代。

    负责的主要项目:

    群聊项目后端服务

    1. 群聊项目后端服务

    项目简介:一个 Java 技术栈的后端 Server 。为手机 APP 提供 HTTP 接口能力,在服务端维护群聊基本信息,成员关系以及群聊相关设置。项目采用 maven 管理代码,Spring boot+mybatis 做开发框架,mycat 做数据库分库中间件,集成 redis 做部分数据缓存,集成 rabbitmq+kafka 处理异步业务。

    工作:

    • 负责每一期产品迭代中,群聊后端需求的开发和维护,以及必要的技术改造和性能优化。
    • 从代码层面上对耗时接口的性能做了优化(减少非必要日志,逻辑上弥补查库次数,非及时业务改由消息队列异步处理等)。最终保证基本所有接口响应时间 100ms 以内
    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2668 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 05:32 · PVG 13:32 · LAX 21:32 · JFK 00:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.