阿里云国际站经销商,主营阿里云,腾讯云,华为云,亚马逊aws,谷歌云gcp,微软云az,免费开户,代充值优惠大,联系客服飞机@jkkddd
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
准备工作创建同一专有网络下的阿里云Elasticsearch和E-MapReduce(以下简称EMR)实例、关闭Elasticsearch实例的自动创建索引功能并创建索引和Mapping、下载与Elasticsearch实例版本一致的ES-Hadoop安装包。
步骤一:上传ES-Hadoop JAR包至HDFS
将已下载的ES-Hadoop安装包上传至EMR Master节点的HDFS目录下。
步骤二:创建Hive外表
创建Hive外表,与Elasticsearch索引中的字段进行映射。
步骤三:通过Hive写入索引数据
通过HiveSQL,向Elasticsearch实例的索引中写入数据。
步骤四:通过Hive读取索引数据
通过HiveSQL,读取Elasticsearch实例中的索引数据。
步骤一:上传ES-Hadoop JAR包至HDFS
下载ES-Hadoop安装包,其版本需要与Elasticsearch实例保持一致。
本文使用elasticsearch-hadoop-6.7.0.zip。
登录E-MapReduce控制台,获取Master节点的IP地址,并通过SSH登录对应的ECS机器。
具体操作步骤请参见登录集群。
将已下载的elasticsearch-hadoop-6.7.0.zip上传至Master节点,并解压获得elasticsearch-hadoop-hive-6.7.0.jar。
创建HDFS目录,将elasticsearch-hadoop-hive-6.7.0.jar上传至该目录下。
步骤二:创建Hive外表
在EMR控制台的数据开发模块中,创建HiveSQL类型的作业。
具体操作步骤请参见Hive SQL作业配置。
温馨提示:尊敬的[]站点管理员,将本页链接加入您的网站友情链接,下次可以快速来到这里更新您的站点信息哦!每天更新您的[阿里云24h自助充值,免费开户]站点信息,可以排到首页最前端的位置,让更多人看到您站点的信息哦。
将以下代码插入您网页中,让网友帮您更新网站每日SEO综合情况
-
“智能家居安全是核心 主动安全成为更安全的技术防范手段” -
仁寿拼车 5月28日,以“享受安全智能生活”为主题的萤石2019企业品牌战术和新产品发布会在上海成功举行。 在活动现场,萤石推出了视觉智能锁、扫地机器人等许多基于萤石视频核心
-
虹口免联考dba课程 -
虹口免联考dba课程招生的老师有好多,比如报名费500元、学费5800元、企业管理和金融投资学费5800元、报名费200元。 课程设置:必修课:组织行为学、管理经济学、运营管理、企业战略管理
-
上海防水防静电柜怎么样?有哪些使用好处?_佰斯特POUSTO -
提到 防水防静电柜 ,相信很多朋友们都不陌生,随着现在社会的不断发展,越来越多的企业都开始使用到。 通过使用防水防静电柜,就能够更好的进行物品的储存,尤其是在一些无尘
-
研修班报名条件 -
电子烟外壳 研修班报名条件是本科以上学历,对申硕条件是在职工程技术或工程管理人员,或在学校从事工程技术与工程管理教学的教师获得学士学位后具有3年以上工程实践经验;或获得
-
AI客服系统如何助力海外社媒矩阵搭建? -
随着全球市场的逐渐融合,越来越多的企业开始在海外市场拓展业务,如何有效管理和运营社交媒体矩阵成为全球化营销的重要一环。 AI客服系统凭借其高效、智能化的优势,成为优化
-
黑曼巴减震器车队出战2024亚洲越野拉力赛 -
备受期待的2024国际汽联亚洲越野拉力赛FIA Asia Cross-country Rally(AXCR)将于8月11日至17日在泰国举行。黑曼巴减震器车队(MAMBA Racing Shock Team)将以三台赛车的阵容出战此次赛事。 国际汽联