oracle 19c 创建物化视图并测试logminer进行日志挖掘

2023-02-15 13:26 由蚌壳里夜有多长发表于 #数据库

1.创建物化视图

alter session set container=pdb;
grant create materialized view to scott;

create materialized view 物化视图名 -- 1. 创建物化视图
build [immediate | deferred] -- 2. 创建方式，默认 immediate
refresh [force | fast | complete | never] -- 3. 物化视图刷新方式，默认 force
on [commit | demand] -- 4. 刷新触发方式
start with 开始时间 -- 5. 设置开始时间
next 间隔时间 -- 6. 设置间隔时间
with [primary key | rowid] -- 7. 类型，默认 primary key
[enable | disable] query rewrite -- 8. 是否启用查询重写
as -- 9. 关键字
查询语句; -- 10. select 语句

创建语法解释

1. "创建 build" 的方式
    (1) 'immediate'：立即生效，默认。
    (2) 'deferred' : 延迟至第一次 refresh 时才生效
2. "刷新 refresh" 的方式
    (1) force    ：默认。如果可以 '快速刷新' 就 '快速刷新'，否则执行 '完全刷新'
    (2) fast    ：'快速刷新'。只刷新 '增量' 部分（前提：创建 '物化日志'）
    (3) complete: '完全刷新'。刷新时更新全部数据，包括视图中已经生成的原有数据
    (4) never    : 从不刷新    
3. "触发" (请注意，on demand 中，才需要设置 '开始时间' 和 '间隔时间') -- 冲突
    (1) on commit：基表有 commit 动作时，刷新刷图（"不能跨库执行"）
    (2) on demand：在需要时刷新
                   [1] 根据后面设定的 '开始时间' 和 '结束时间' 进行刷新
                   [2] 手动调用 dbms_mview 包中的过程进行刷新                   
4. 基于基表的 primary key 或 rowid 创建
    (1) 如果是基于 rowid，则不能对基表执行 '分组函数'、'多表连接' 等需要把
        多个 rowid 合成一行的操作（理由很简单：到底以哪个 rowid 为准呢？）
5. enable query rewrite 启用查询重写（请注意， '开始时间' 和 '间隔时间' 不支持）-- 冲突
    (1) 不支持的理由也很简单。
        所谓的 '重写'，就是讲对基表的查询定位到物化视图上，
        而 '开始时间' 和 '间隔时间' 会造成物化视图上部分数据延迟，所以，不能重写
    (2) 参数: query_rewrite_enabled (可通过 v$parameter 视图查询)

测试延时刷新

scott用户创建表

CREATE TABLE person_info (
  person_no   VARCHAR2(10),
  NAME        VARCHAR2(30),
  create_date DATE
);
INSERT INTO person_info(person_no, NAME, create_date) VALUES('001', '瑶瑶', SYSDATE);
INSERT INTO person_info(person_no, NAME, create_date) VALUES('002', '倩倩', SYSDATE);
COMMIT;

创建1分钟刷新一次物化视图

CREATE MATERIALIZED VIEW mvw_person_info 
BUILD IMMEDIATE
REFRESH FORCE
ON DEMAND
START WITH SYSDATE
NEXT SYSDATE + 1/1440
AS
SELECT pi.person_no,    
       pi.name,
       pi.create_date
  FROM person_info pi;

测试语句：先查询，等个十几秒在执行 insert，再等 1 分钟左右，观察前后数据

SELECT * FROM mvw_person_info;

INSERT INTO person_info(person_no, NAME, create_date) VALUES('003', '美眉', SYSDATE);
commit；
select * from mvw_person_info;

查询物化视图

1. 查询物化视图，非 DBA 用户，请查询 all_mviews 或 user_mviews
SELECT *
  FROM dba_mviews t
 WHERE t.owner = 'SCOTT'
   AND t.mview_name = 'MVW_PERSON_INFO';
2. 查询一般视图
SELECT * FROM dba_views;

修改物化视图

alter materialized view 物化视图名
refresh [force | fast | complete | never]
on [commit | demand]
start with 开始时间
next 间隔时间

删除物化视图

drop materialized view 物化视图名;

手动刷新

BEGIN
   dbms_mview.refresh(list                 => '视图名',
                      method               => 'fast', -- 增量刷新
                      refresh_after_errors => TRUE);
END;

2.创建物化视图日志

1. 适用于 'fast' 增量刷新
2. with primary key 
3. with rowid

测试 with primary key

CREATE TABLE student_info (
student_no VARCHAR2(10),
NAME VARCHAR2(30)
);
ALTER TABLE student_info ADD CONSTRAINT pk_student_info_student_no
PRIMARY KEY(student_no);

创建物化视图日志

create materialized view log on student_info with primary key
[including new values];
-- including new values 允许 Oracle 将数据库 新、旧值都保存在物化视图日志中
-- 即 update 前 和 update 后都保存，按需设置即可

插入一条数据

INSERT INTO student_info(student_no, NAME) VALUES('001', '小优子');
UPDATE student_info t SET t.name = '小游子' WHERE t.student_no = '001';
COMMIT;

查询物化视图日志信息

SELECT * FROM all_mview_logs;
SELECT * FROM mlog$_student_info;

with rowid 测试

创建 'fast' 增量模式的物化视图条件：
(1) select 语句中包含到的每一个表都需要创建 '物化日志'
(2) select 中必须包含涉及到所有表的 'rowid'
(3) select 中必须明确具体的列，不允许使用 '*'

创建表

CREATE TABLE test_a (
  a_id VARCHAR(10),
  NAME VARCHAR2(30)
);
ALTER TABLE test_a ADD CONSTRAINT pk_test_a_a_id PRIMARY KEY(a_id);
CREATE TABLE test_b (
  b_id VARCHAR(10),
  NAME VARCHAR2(30)
);
ALTER TABLE test_b ADD CONSTRAINT pk_test_b_b_id PRIMARY KEY(b_id);

创建物化视图日志

create materialized view log on test_a with rowid including new values;
create materialized view log on test_b with rowid including new values;

fast 增量测试

创建表

CREATE MATERIALIZED VIEW mvw_test_ab 
REFRESH FAST WITH ROWID 
ON DEMAND
START WITH SYSDATE
NEXT SYSDATE + 3/1440
AS
SELECT t1.a_id,
       t1.name  a_name,
       t1.rowid a_rowid,
       t2.b_id,
       t2.name  b_name,
       t2.rowid b_rowid
  FROM test_a t1, test_b t2
 WHERE t1.a_id = t2.b_id;

查询此时没有数据

SELECT * FROM mvw_test_ab;
SELECT * FROM all_mview_logs;
SELECT * FROM mlog$_test_a;
SELECT * FROM mlog$_test_b;

插入数据

INSERT INTO test_a(a_id, NAME) VALUES('1', 'a1');
INSERT INTO test_a(a_id, NAME) VALUES('2', 'a2');
INSERT INTO test_a(a_id, NAME) VALUES('3', 'a3');
INSERT INTO test_b(b_id, NAME) VALUES('1', 'b1');
INSERT INTO test_b(b_id, NAME) VALUES('2', 'b2');
INSERT INTO test_b(b_id, NAME) VALUES('3', 'b3');
COMMIT;

在次查询有数据

SQL> SELECT * FROM mlog$_test_b;

M_ROW$$
--------------------------------------------------------------------------------
SNAPTIME$ D O CHANGE_VECTOR$$        XID$$
--------- - - -------------------- ----------
AAASHJAAaAAAAEdAAA
01-JAN-00 I N FE           1.9704E+15

AAASHJAAaAAAAEdAAB
01-JAN-00 I N FE           1.9704E+15

AAASHJAAaAAAAEdAAC
01-JAN-00 I N FE           1.9704E+15

3.进行日志挖掘

查看当前日志

SQL> select max(SEQUENCE#) from v$archived_log;

MAX(SEQUENCE#)
--------------
       187

日志切换

alter system archive log current;

安装 LogMiner

@$ORACLE_HOME/rdbms/admin/dbmslm.sql 
@$ORACLE_HOME/rdbms/admin/dbmslmd.sql

这两个脚本必须均以 DBA 用户身份运行。其中第一个脚本用来创建 DBMS_LOGMNR 包，该包用来分析日志文件。第二个脚本用来创建 DBMS_LOGMNR_D 包，该包用来创建数据字典文件。

创建完毕后将包括如下过程和视图：

类型	过程名	用途
过程	Dbms_logmnr_d.build	创建一个数据字典文件
过程	Dbms_logmnr.add_logfile	在类表中增加日志文件以供分析
过程	Dbms_logmnr.start_logmnr	使用一个可选的字典文件和前面确定要分析日志文件来启动 LogMiner
过程	Dbms_logmnr.end_logmnr	停止 LogMiner 分析
视图	V$logmnr_dictionary	显示用来决定对象 ID 名称的字典文件的信息
视图	V$logmnr_logs	在 LogMiner 启动时显示分析的日志列表
视图	V$logmnr_contents	LogMiner 启动后，可以使用该视图在 SQL 提示符下输入 SQL 语句来查询重做日志的内容

创建数据字典文件

LogMiner 工具实际上是由两个新的 PL/SQL 内建包（ (DBMS_LOGMNR 和 DBMS_LOGMNR_D）和四个 V$动态性能视图（视图是在利用过程 DBMS_LOGMNR.START_LOGMNR启动 LogMiner 时创建）组成。在使用 LogMiner 工具分析 redo log 文件之前，可以使用DBMS_LOGMNR_D 包将数据字典导出为一个文本文件。该字典文件是可选的，但是如果没有它， LogMiner 解释出来的语句中关于数据字典中的部分（如表名、列名等）和数值都将是 16进制的形式，我们是无法直接理解的。例如，下面的 sql 语句：

INSERT INTO dm_dj_swry (rydm, rymc) VALUES (00005, '张三');

insert into Object#308(col#1, col#2) values (hextoraw('c30rte567e436'),hextoraw('4a6f686e20446f65'));

CREATE DIRECTORY utlfile AS '/home/oracle/LOGMNR';
alter system set utl_file_dir='/home/oracle/LOGMNR' scope=spfile;

这个方式放弃等后续问问别人

直接分析方式

exec dbms_logmnr.add_logfile(logfilename => '/home/oracle/arch11/1_189_1106805210.dbf',options=>dbms_logmnr.new);
exec dbms_logmnr.add_logfile(logfilename => '/home/oracle/arch11/1_189_1106805210.dbf',options=>dbms_logmnr.addfile); 
exec dbms_logmnr.start_logmnr(options => dbms_logmnr.dict_from_online_catalog);

set linesize 200
alter session set nls_date_format='yyyy-mm-dd hh24:mi:ss';
select timestamp,commit_timestamp,sql_redo from v$logmnr_contents where table_name like '%PER%' and operation='INSERT';

查看分析结果如下

2023-02-14 21:56:22
insert into "SCOTT"."PERSON_INFO"("PERSON_NO","NAME","CREATE_DATE") values ('003','hrz',TO_DATE('2023-02-14 21:56:21', 'yyyy-mm-dd hh24:mi:ss'));

注意：logmnior最大表字符支持最大30，字段也是字符最大30个

The tables or column names selected for mining must not exceed 30 characters.

热门相关：骑士归来仗剑高歌仗剑高歌仗剑高歌刺客之王