ITeye博客

flylynne的博客

flylynne · 共 244 篇文章

CDH hive元数据 DBS TBLS COLUMNS_V2视图关系

CDH hive元数据 DBS TBLS COLUMNS_V2视图关系 SELECT T.DB_ID,T.NAME,T1.TBL_NAME,T1.TBL_TYPE,T3.COLUMN_NAME,T3.TYPE_NAME,T3.COMMENT,T3.INTEGER_IDX FROM DBS T,TBLS T1,SDS T2,COLUMNS_V2 T3 WHERE T.DB_ID=T1.DB_ID AND T.OWNER_NAME =T1.OWNER AND T1.SD_ID=T2.SD_ID AND T2.CD_ID=T3.CD_ID AND T.NAME IN('idw','idwopr',…

2021-09-01 17:59 · 大数据 · 评论(0)

Kettle-JNDI模式-密码错误

package org.osjava.sj.loader.util; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; public class CustomProperties extends AbstractProperties { public synchronized void load(InputStream in) throws IOException { try { BufferedRea…

2021-02-05 22:12 · 解决方案 · 评论(0)

Kettle调Shell报Error=7, Argument list too long

linux 7.6 redhat ,Kettle8.3调Shell报Error=7, Argument list too long.此问题耗时我两天,灵机一动才解决 即使调简单的shell只输入字符依然报这个问题。 分析步骤: 1、调整只输入简单字符,依然报此问题 2、查看env,和其他系统比较都正常,其实和这个无关,getconf ARG_MAX显示是2097152和其他系统一样 3、最终原因是data-integration/lib中的hadoop*,hbase*,hive*,spark*的jia包过多造成的 解决方案可以将hadoop-* hbase-*的jar迁移到 data-int…

2021-01-15 10:33 · 大数据 · 评论(0)

python 投资组合

import yfinance as yf import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns sns.set(font='SimHei',rc={'figure.figsize':(15,9)}) tickers = { '000001.SS': '上证综指', '600519.SS': '贵州茅台', '518880.SS': '黄金ETF' } data = yf.download(list(tickers), start='2019-06-01', e…

2020-09-02 22:13 · 评论(0)

木马病毒修改文件名为.boop后缀n

#!/bin/bash function changeName(){ #new=`echo $1|sed 's/^/abc/g'` new=`echo $1| sed 's/.boop//g'` echo $1 echo $new mv $1 $new } function travFolder(){ #echo "travFolder" flist=`ls $1` cd $1 #echo $flist for f in $flist do if test -d $f then echo "dir:$f" travFolder $f else #echo "file:$f" if [ "${…

2020-08-30 11:38 · 解决方案 · 评论(0)

SQL 语句大全

一、基础 1、说明:创建数据库 CREATE DATABASE database-name 2、说明:删除数据库d rop database dbname 3、说明:备份sql server --- 创建 备份数据的 device USE master EXEC sp_addumpdevice 'disk', 'testBack', 'c:\mssql7backup\MyNwind_1.dat' --- 开始 备份 BACKUP DATABASE pubs TO testBack 4、说明:创建新表 create table tabname(col1 type1 [not null] [pr…

2020-08-21 12:12 · 笔试面试 · 评论(0)

kafka技术题

1.Kafka 的设计时什么样的呢? Kafka 将消息以 topic 为单位进行归纳 将向 Kafka topic 发布消息的程序成为 producers. 将预订 topics 并消费消息的程序成为 consumer. Kafka 以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个 broker.producers 通过网络将消息发送到 Kafka 集群,集群向消费者提供消息 2.数据传输的事物定义有哪三种? 数据传输的事务定义通常有以下三种级别: (1)最多一次: 消息不会被重复发送,最多被传输一次,但也有可能一次不传输 (2)最少一次: 消息不会被漏发送,最少被传输一次,但…

2020-08-20 10:06 · 笔试面试 · 评论(0)

/etc/my.cnf 详细配置

mysqld程序:语言设置 character-sets-server = name 新数据库或数据表的默认字符集。为了与MySQL的早期版本保持兼容,这个字符集也可以用–default-character-set选项给出;但这个选项已经显得有点过时了。 collation-server = name 新数据库或数据表的默认排序方式。 lanuage = name 用指定的语言显示出错信息。 mysqld程序:通信、网络、信息安全 enable-named-pipes 允许Windows 2000/XP环境下的客户和服务器使用命名管道(named pipe)进行通信。这个命名管道的默认名字是…

2019-10-22 21:22 · 评论(0)

Redis部署

一、Redis介绍 Redis是当前比较热门的NOSQL系统之一,它是一个key-value存储系统。和Memcache类似,但很大程度补偿了Memcache的不足,它支持存储的value类型相对更多,包括string、list、set、zset和hash。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作。在此基础上,Redis支持各种不同方式的排序。 和Memcache一样,Redis数据都是缓存在计算机内存中,不同的是,Memcache只能将数据缓存到内存中,无法自动定期写入硬盘,这就表示,一断电或重启,内存清空,数据丢失。所以Memcache的应…

2019-10-22 21:20 · 评论(0)

Kettle 部署

Centos7 安装 Kettle8.1,包括安装依赖包 必要的工作: 官网下载最新版本的kettle,目前最新版本是8.1 一、安装JDK1.8,我的路径是/usr/local/java下 配置Java环境变量 [root@master]# vim /etc/profile export JAVA_HOME=/usr/local/java/jdk export JAVA_BIN=/usr/local/java/jdk/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH…

2019-10-22 21:19 · 评论(0)

Mysql安装

版本5.7 1、下载文件 -rw-rw-r--. 1 wls81 wls81 25402568 Mar 25 14:30 mysql-community-client-5.7.25-1.el7.x86_64.rpm -rw-rw-r--. 1 wls81 wls81 280904 Mar 25 14:29 mysql-community-common-5.7.25-1.el7.x86_64.rpm -rw-rw-r--. 1 wls81 wls81 2271668 Mar 25 14:36 mysql-community-libs-5.7.25-1.el7.x86_64.rpm -rw-rw…

2019-10-22 21:18 · 评论(0)

Confluence部署

小规模应用最低建议配置 处理器: 2Ghz 四核 内存:6GB 最小数据库空间:10GB 硬件规格调查结果下面表格是Atlassian 2007年7月完成的用户硬件使用情况调查结果,可以作为服务器配置的参考 金融行业 26 - 50 3-6 个月 Microsoft SQL Server Confluence distribution/Apache Tomcat 2 2G Windows 一般 26 - 50 2 年 Sybase ASE Weblogic >8 >16G Unix 满意 51 - 250 3-6 个月 Oracle Confluence distribution/Apach…

2019-10-22 21:17 · 评论(0)

大数据组件原理

HIVE Hive是构建在Hadoop上的数据仓库软件框架,支持使用SQL来读,写和管理大规模数据集合。 Hive的服务端组件 1. Driver组件:该组件包括:Compiler、Optimizer、Executor,它可以将Hive的编译、解析、优化转化为MapReduce任务提交给Hadoop1中的JobTracker或者是Hadoop2中的SourceManager来进行实际的执行相应的任务。 2. MetaStore组件:存储着hive的元数据信息,将自己的元数据存储到了关系型数据库当中,支持的数据库主要有:Mysql、Derby、支持把metastore独立出来放在远程的集群上面…

2019-09-11 16:59 · 评论(0)

分布式系统全局唯一ID简介、特点、5种生成方式

分布式系统唯一ID 在复杂分布式系统中,往往需要对大量的数据和消息进行唯一标识。 如在金融、电商、支付、等产品的系统中,数据日渐增长,对数据分库分表后需要有一个唯一ID来标识一条数据或消息,数据库的自增ID显然不能满足需求,此时一个能够生成全局唯一ID的系统是非常必要的。 分布式系统唯一ID的特点 信息安全,全局唯一,单调递增,趋势递增。 全局唯一性:不能出现重复的ID号,既然是唯一标识,这是最基本的要求。 趋势递增:在MySQL InnoDB引擎中使用的是聚集索引,由于多数RDBMS使用B-tree的数据结构来存储索引数据,在主键的选择上面我们应该尽量使用有序的主键保证写入性能。 单调递增…

2019-08-20 22:46 · 评论(0)

AWS报价

厂商 产品类型 产品名称 对标 单价(USD) 单位 地区 数量 预估总价(USD/年) AWS 虚拟服务器 Amazon EC2 服务器 212 月 东南亚(新加坡) 5 12720 AWS 存储 Amazon Simple Storage Services (S3) EBS(快存储) 磁盘 0.005 Gb/月 东南亚(新加坡) 50000 3000 AWS 流量 AWS Snowball 数据传输 600 月 东南亚(新加坡) 1 7200 AWS 数据计算 AWS Redshift 数据仓库 5 TB 东南亚(新加坡) 100 6000 AWS 离线任务 Amazon EMR Had…

2019-08-19 17:40 · 评论(0)