数据平台建设文档V2.0 数据平台建设文档V2.0 概述 数据平台的主要职责是对我司既有业务进行沉淀，并赋能新业务，是实现既有业务数据转化应用于新业务的支撑性平台。 通过既往业务的积累，新业务的接入，数据形式会愈加复杂、对齐难度越来越大。在业务上拥有急需数据赋能的新业务，在数据上拥有需要提升数据价值的历史数据，数据平台的建设在我司未来的信息技术发展道路上将是重要的一环。 通过数据挖掘，分析数据的规律、剖析过去、分析现在、预测未来，通过数据平台高效利用数据、建立数据驱动企业决策、构建高效智慧运营业务，将是数据平台在未来的重任。 背景 数据现状 在我司过去的发展历程中，已经积累了大量的数据，并且数据量还在进行有规律的增长。其中包括既有业务的数据增长，以及新业务接入带来的数据汇入。 　 我司数据目前存在非机构化与结构化两种数据形式，非结构化数据占到所有数据的九成以上，由此可见，从非结构化数据中挖掘出数据关系，形成易读易用，具有规律的数据，是目前数据平台将要完成的重要任务。 在过去的业务数据中，我司的业务涵盖了很多领域，包括保险、金融、互联网、呼叫业务等多个业务方向。其....

信息安全：包含运维安全、数据安全等等

微信体系应用梳理

贷超平台调研分析 贷超平台定义 “贷款超市”一词是对行业内的人说的，简单的理解类似于手机上的应用商店，是一个通过“应用商店”下载注册贷款软件，给其他现金贷平台导量的平台。换句话说，贷款超市是连接贷款用户与现金贷平台的产品，所有业务都是基于这个关系。 贷超需求分解 用户侧 对于用户来说，根本目的就是借到钱，单一的贷款软件不一定能满足快速借到钱的需求，还具有审核不通过、还款利率高于诉求等风险。借助贷款超市这个超级贷款信息入口，借款用户可以在一个平台上发现更多的贷款软件，从而提高自己贷款成功的概率。 资金方侧 获客成本降低，节省自己去找寻渠道做营销，节省高额营销费用，通过贷超平台统一的社交联盟广告进行推广。 贷超平台是资质不全的现金贷公司获客的重要渠道(需要分析是否合规) 产品侧 产品结构简单，介绍贷款金额、利率，提供还款估算，介绍申请条件和申请流程，客户源直接引导至资金方的贷款入口，容易复制，没有太大产品开发难度。 产品形式： １．按照贷款金额分大额小额 ２．按照贷款条件分身份证贷、芝麻分贷 ３．按照人群分工薪贷、白领贷、学生贷(已禁止) ４．放贷速度，开放的放款口子 贷款超市具体分析 ....

注：系统角色 借款客户：指使用本系统中的前台借款端app，进行借款的人员 后台用户：指使用本系统中的后台管理端app，进行运营、管理的人员 产品经理 技术运维人员 系统超级管理员 运营人员 风控 客服 催收 行方接口人 资金方接口人 流程审核决策人 数据分析 1.产品功能 申请借款（进件） 借款客户可通过客户端页面注册，录入信息，发起借款。记录借款客户进件流程每一个节点状态，可进行节点重试。 借款客户查询借款、还款等信息 借款客户可通过客户端页面登录并查询相关信息，如当前借款申请的审批进度，借款合同，历史借款还款记录等。 进件管理 运营人员可通过管理后台对借款进件进行查询、搜索、补录资料等操作。 风控审核 系统后台能够以自动或人工形式完成对借款进行的风控审核。 借款客户管理 运营人员可通过管理后台对借款客户进行查询、搜索等操作。 贷中、贷后信用跟踪与回流 系统可对借款客户的还款情况进行持续跟踪，分流出信用良好的用户，以供回流行方。 资金方管理 对于商务上对接的资金提供方，运营人员可通过管理后台对资金方进行添加、删除、冻结等相关管理操作。 贷款产品管理 运营人员能够....

前言 之前都默默的写nginx.conf,现在可以说是后台直接一键配置了。这么好用的工具不能错过。接下来分几步大致讲解使用ngxin-proxy-manager的流程。 快速启动 在我的服务器内，基本所有的服务都是使用docker启动的，nginx也不例外，所启动的服务与nginx处于同一个networks下，这样即不用暴露端口，又可以保证服务的正常运行。 docker-compose.yaml: version: '3.7' services: nginx-proxy-manager: image: jlesage/nginx-proxy-manager:latest container_name: nginx-proxy-manager restart: always expose: - 8181 ports: - 80:8080 - 443:4443 environment: TZ: Asia/Shanghai volumes: - ./volumes/nginx-proxy-manager:/config:rw - /var/run/docker.sock:/docker.so....

前言 知识可以简化为三元组关系对，<实体(主语) , 关系, 实体(宾语)>。因此知识抽取分为两大部分，实体识别和关系抽取。 本篇文章是公司算法同事整理，方便日后持续学习。 一、命名实体识别（NER） NER又称作专名识别，是自然语言处理中的一项基础任务，应用范围非常广泛。命名实体一般指的是文本中具有特定意义或者指代性强的实体，通常包括人名、地名、组织机构名、日期时间、专有名词等。NER系统就是从非结构化的输入文本中抽取出上述实体，并且可以按照业务需求识别出更多类别的实体， 比如产品名称、型号、价格等。因此实体这个概念可以很广，只要是业务需要的特殊文本片段都可以称为实体。 学术上NER所涉及的命名实体一般包括3大类（实体类，时间类，数字类）和7小类（人名、地名、组织机构名、时间、日期、货币、百分比）。实际应用中，NER模型通常只要识别出人名、地名、组织机构名、日期时间即可，一些系统还会给出专有名词结果（比如缩写、会议名、产品名等）。货币、百分比等数字类实体可通过正则搞定。另外，在一些应用场景下会给出特定领域内的实体，如书名、歌曲名、期刊名等。 NER是NLP中一项基础性关....

前言 之前有和公司的同事们进行过相关的交流，交流会上做了一些相关资料的编写，大致从各方收集资料来讲解数据库的发展历程，涉及到数据库的历史，和目前在用的几个主流数据库。 数据库分类 早期数据库理论： 1.层次数据库 模式介绍： 满足以下两个条件的基本层次联系的集合为层次模型 a、有且只有一个结点没有双亲结点，这个结点称为根节点； b、根以外的其他结点有且只有一个双亲结点。 层次数据库系统只能处理一对多的实体联系的原因：在层次模型中，每个结点表示一个记录类型，记录类型之间的联系用结点之间的连线（有向边）表示，这种联系是父子之间的一对多的联系。 以下是一个层次模型的示例，它像一棵倒立的树，结点的双亲是唯一的。同一双亲的子女结点称为兄弟结点，没有子女结点的结点称为叶结点。 层次模型的特点：任何一个给定的记录值只能按其层次路径查看，没有一个子女记录值能够脱离双亲记录值而独立存在。 层次数据库的操作以及优缺点： a.操作特点 插入：如果没有相应的双亲结点值不能插入它的子女结点值。 删除：如果删除双亲结点值，则相应的子女结点值也将同时被删除。 b.优点： (1)模型简单，对具有一对多层次关系的部门....

前言 最近一年真是鸽了很久，比较忙。接触企业级框架SpringBoot的相关连续文章也没有再继续。趁着现在还有部分时间，把之前写过demo示例的NestJs框架拿出来溜溜。 主旨在于如何从零搭建NestJs框架，在过程中可能会发现很多与SpringBoot类似的地方，其实可以说NestJs就是仿照SpringBoot的相关架构来设计的，之前先开篇了SpringBoot的基本功能也是基于这个先导的想法。 大的架构问题就不说太多了，直接用实际框架结构与代码来进行梳理。 首先先放整体的Demo地址:https://github.com/Gaoshengyue/NestJsLoanExample 官方文档地址:https://nestjs.bootcss.com/ 正文 NestJs介绍 目前以个人见解，后端框架繁多的情况下，主流分类主要有以下几种: 1.适合用于大项目，约束性较强，市场应用较多，相当成熟的框架,比较有代表性的是: Java:SpringBoot Python:Django 2.适合互联网快餐，业务驱动型团队的首选，没有相对约束性的框架，可以自由构建体系，比较有代表性的: ....

PyDto实现记录 实现背景 因为python语言的特性，在业务数据返回方面，没有类似JAVA DTO的概念实现主体，苦于目前返回的数据结构都需要自己写代码整合，所以需要模仿JAVA DTO的概念写一个工具包，方便定义返回结构体。 诉求 例如在返回一个用户数据的时候，python的sqlalchemy或者某一个类直接返回所有的结构数据，甚至会带上token等敏感数据，这时候通常会在返回前使用代码拼装整合，变动结构也需要变动代码。理解JAVA DTO概念后想到是否有类似的包，可以在数据层与业务层之间进行拦截，根据定义好的结构直接返回相应数据结构。 思路 如果要方便使用，肯定不能在sqlalchemy或者字典或者对象本身进行操作，需要进行隔离，那么选用的方式就是类继承的形式，将数据解析以及自动拼装的方法封装进去。 字典与类的形式相对简单，容易解析多层结构，但是遇到sqlalchemy需要进行调用返回链表数据结构，所以需要特殊的方式进行处理。 if type(obj) != dict and not hasattr(obj, "iter"): for key_name, k_typ....

概述 很久没更了，这段时间各方面都比较繁忙，没拿出那么多的时间去更新一些文档。本站的本意是从基础上去理解一些框架，提供一些框架的基础构建思路。很多框架文档没有写那么多复杂的东西，也是为了可以让大家快速应用。可能一些初学者会对里面的一些概念模糊，希望大家都可以找一些方面的基础文档去学习下，这里不说太多影响其他人思路的东西，因为本身也看过太多引人走弯路的文档了。。 回顾 上一篇文档讲解了一些SpringBoot的基本结构，从项目启动、目录到入口、路由、表模型映射等等。这篇就舒展开来对具体业务框架有一个简单的描述。 业务结构 DataRepository DAO这里的概念就直接复制一些资料上的。 DAO(Data Access Object) 数据访问对象是一个面向对象的数据库接口。 总结一下，用大白话来讲，springboot面向接口，DataRepository数据的提供，也就是数据的增删查改，可以封装成一个个的数据接口进行调用。 例如我们想要查询一个用户，有很多条件，那么这一条查询就可以封装为一个数据接口 @Query(value = "select * from user wher....

概述 作为大程序猿子，相信没有人不知道Java，用过Java的人，应该也很少有人没有接触过SpringBoot，作为目前最为出名，且应用最为广泛的企业级应用框架，SpringBoot不管是使用的广泛性、可用性、实用性多个方面，都具有非常良好的验证。本篇开始，就SpringBoot框架进行初步的学习，大家自取所需。 环境 jdk 安装java的jdk,目前用的普遍1.8 https://www.oracle.com/java/technologies/javase-jdk8-downloads.html IDE IDE直接使用jetbrains全家桶吧，目前也比较流行好用了 https://www.jetbrains.com/idea/download/#section=linux 项目结构 整体树结构 ├── demo.iml ├── HELP.md ├── pom.xml ├── src │ ├── main │ │ ├── java │ │ │ └── com │ │ │ └── example │ │ │ └── demo │ │ │ ├── model │ │ │ │ └── ....

Redis 应该是我们比较常用的了吧，不管是缓存，还是消息队列，或者是快速查询的短存储，都经常用到。这篇主要是进行在K8S上进行Redis的主从部署。不讲太多了，大部分都是已经写好的配置文件，直接奉上。 Redis PV 首先创建Redis－ＰV，打算创建三个节点的主从，配置如下 redis-pv.yaml apiVersion: v1 kind: PersistentVolume metadata: name: pv-redis-sentinel-0 namespace: database spec: capacity: storage: 4Gi accessModes: - ReadWriteMany volumeMode: Filesystem persistentVolumeReclaimPolicy: Recycle storageClassName: "redis-sentinel-storage-class" nfs: # real share directory path: /data/nfs/redis-cluster/0 # nfs real ip server: ....

K8S Kubernetes就不多说了，之前也说过很多次了，作为目前大家都在谈论的东西，肯定是极好的。接下来直接上正文部署吧，接下来的几篇部署文档都很简单，直接上配置。 Mysql部署 部署Mysql的前提是有K8s集群，之前有一篇已经详细写过如何测试部署K8s集群了，这里就不再多说。 NFS服务创建 这里不说了，大家可以自行搜索一下创建NFS存储服务，这里依赖的持久化就是NFS服务。 Mysql PV/PVC创建 Persistent Volume和Persistent Volume Claim，主要是管理服务持久化的存储资源Volume。这里我们先创建PV，再创建PVC，将两者绑定。 首先是mysql-pv.yaml kind: PersistentVolume apiVersion: v1 metadata: name: mysql-pv namespace: database spec: accessModes: - ReadWriteOnce capacity: storage: 1Gi persistentVolumeReclaimPolicy: Retain storag....

环境概述 一般再做数据工程时，除了数据流通流程啊，平台啊，剩下的就是做特征工程和分析。数据流通要说的还相对较多，这部分简单讲讲数据工程需要的环境。 环境准备 系统 不管是做特征处理，还是做数据分析，建模还是规则算法，基本都是需要Py的，另外可能很多人习惯用windows，不过我还是比较习惯linux，这里我选用的是centos7. Python3.7安装 在这里我需要在centos7上安装python3.7.5，步骤如下 安装编译工具 因为我们需要编译的方式安装python，提前安装相关依赖,以下命令逐条执行就可以。 yum -y groupinstall "Development tools" yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel yum install libffi-devel -y 下载安装包 我们选择直接去官网wge....