电话:0731-85839368
点贤网-领先的中高级人才招聘求职平台 | 猎头 | RPO欢迎您! 手机端
关闭
大数据抓取工程师爬虫工程师 8000-12000 收藏 投递简历
您当前的位置: 首页 > 职位列表 > 职位详情

大数据抓取工程师爬虫工程师

8000-12000
北京-北京 | 1年以上经验 | 本科学历
2020-02-22 更新 被浏览:
人事部
最近在线时间:2020-02-21 19:02
电话:010 58427000 请登录个人账号开放联系方式 登录个人
地址:北京市丰台区汽车博物馆西路8号院2号楼10层1001
职位描述
到岗时间:1个月之内 婚况要求:不限婚况 岗位职责: 1、负责爬虫引擎核心功能开发及优化、架构设计、系统规划,以及爬虫技术的技术调研;
2、负责大数据的数据采集与爬取、解析处理、入库及备份等数据日常工作;
3、负责数据的清洗、整理、整合及合并等工作;
4、破解反爬机制,优化爬虫路由调度策略,同时负责反爬策略的设计及优化;
5、负责高性能爬虫系统的后台监控、报警模块的开发。 任职资格: 1、熟练使用CC、Java 、C、.Net、Go中一种编程语言,熟悉至少一种脚本语言,如shell、python进行工作;
2、熟悉爬虫的设计及实现流程,至少4年互联网数据抓取及爬虫经验;
3、熟悉缓存数据库redis关系型数据库mysql、Oracle等,非关系型数据库MangDB具备sql调优经验;
4、了解各种Web前端技术,包括XHTMLxmlCSSjavascriptAJAX等;
5、了解文本分类、统计分析、自然语言处理、机器学习算法等技术;
6、熟悉反爬虫机制并有对应的破解方案;
7、处理爬取过超过百万数量级的数据量;
8、有大数据相关开发经验者优先,熟悉分布式计算,有多线程、分布式、网络数据抓取及处理经验优先;
9、有政府政务行业工作经验优先,尤其社会信用方向。
求职提醒:求职过程请勿缴纳费用,谨防诈骗!若信息不实请举报。
该公司的其他职位
会员等级
  • 计算机/互联网
中投国信(北京)科技发展有限公司成立于2003年,是社会信用体系咨询、建设、运营的专业机构,是国家发展改革委 守信激励创新产品与服务 联盟首批34家成员单位之一,致力于提供建信、管信、用信全流程服务。目前,公司已在国家、省、市三级开展了多个社会信用体系建设和运营服务,核心产品与服务包括信用联合奖惩、信用大数据、企业信用评价、个人信用评价、中小微企业信用服务、信用 行业服务等。 经过多年发展,在行业积累、技术、信用数据、服务网络、信用模型等方面形成了领先优势。
分享到朋友圈
分享至朋友圈
↑微信扫上方二维码↑
生成职位海报
分享到朋友圈
问公司
对职位有疑问?快来问问吧
手机扫一扫
随时随地找工作
简历投递成功
您可以在 个人中心 - 简历管理 - 我的简历 中查看您创建的简历
您可能感兴趣的职位:
关注微信公众号
投递结果早知道
联系时请说明是在点贤网-领先的中高级人才招聘求职平台 | 猎头 | RPO上看到的
正在获取二维码...
请使用微信扫一扫
客服服务热线
0731-85839368
8:30-18:00
微信公众号
手机浏览

未经点贤网同意,不得转载本网站之所有招聘信息及作品 湘ICP备18019185号-1

地址:湖南市长沙岳麓区含浦大道99号 EMAIL:249590942@qq.com

版权所有 点贤网.

用微信扫一扫