sqoop定时导入(全量+增量)sqlserver数据到HDFS
公司使用到的是SQLServer数据库,目前需要将数据库数据导入HDFS,通过Hive的ETl进行数据处理和数据分析,在整个项目的完成中,将一些基础的操作方式记录下来,后续会更新在工作中遇到的一些问题.
0%
安装oozie的web界面无法访问问题
前言:
我用的是Ambari管理集群
其他集群管理工具安装oozie和手动编译安装oozie,关于oozie的UI界面无法访问的问题,大致和该方法类似.
找到下面4步骤里的视图显示的目录,有一个ext-2.2软链指向的路径
1 | lrwxrwxrwx 1 oozie hadoop 41 Dec 12 2018 ext-2.2 -> /usr/hdp/3.0.1.0-187/oozie/libext/ext-2.2 |
将之前的下载的安装包放到该路径就可以了
Oozie任务调度框架详解及使用简介(一)
摘要:个人最近一段时间一直在使用oozie,从刚开始的各种别扭到现在越来越觉得有意思的情况下,想整理一下关于oozie的认知,整理出来一个oozie系列,本来市面上关于oozie的资料就比较少,希望写完后能形成自己对oozie的独特理解和加强整体性的把握.
Linux下Python3的安装
在不卸载Python2版本的同时使用Python3.*
切勿删除Python2,不然会出问题
参考这篇文章 手抖把Python2.7卸载了,导致了自己的yum不可用
环境: centos7.4
版本：python3.8
手抖把Python2.7卸载了导致了自己的yum不可用以及yum因python版本无法使用的问题
摘要:
从标题就能看到我有多心如死灰了,简单介绍下我是如何自残的过程.
①首先因为需要部署爬虫程序,然后安装Python3.
②Python3系列和Python2系列版本不向下兼容,所以我就卸载了机器自带的Python2.7,删的干干净净.
③然后我下载了Python3.8的包.
④我开始使用yum命令安装Python3.8的相关依赖.
⑤结果是发现yum不可用了,如下报错信息
0成本搭建个人技术博客和个人网站
摘要:
首先送上我的个人博客先睹为快
说说搭建个人博客的初衷,前段时间发现自己在博客网站上的文章配图没了,感觉很不可思议,就萌生了这样的想法,但真正驱使我去行动起来的原因是,最近有一次我发表了一篇文章,结果还要审核,最后告诉我审核不通过,好吧,我换了一个博客发表,结果给我封号了,封号了,心情一时难以言表.于是愤而起身,决定亲自搭建一个博客.
nihaoya
nihaohahahh