大数据
19 篇 · 资讯流SQLAlchemy_定义(一对一/一对多/多对多)关系
Basic Relationship Patterns基本关系模式The imports used for each of the following sections is as follows:下列的 import 语句，应用到接下来所有的代章节中：from sqlalchemy import Table, Column, Integer, ForeignKeyfrom sqlalchemy.orm import relationshipfrom sqlalchemy.ext.declara
flask-sqlalchemy 使用详解
一. 安装$ pip install flask-sqlalchemy 二. 配置配置选项列表 :选项说明SQLALCHEMY_DATABASE_URI用于连接的数据库 URI 。例如:sqlite:////tmp/test.db 或 mysql://username:password@server/dbSQLALCHEMY_BINDS一个映射 binds 到连接 URI 的字典。更多 binds 的信息见 用 Binds 操作多个数据库 。SQLALCHEMY_ECHO如果设置为 Ture ，
Flume配置文件详解
一、source配置1、netcat的source：bind指定IP，port指定port# Describe/configure the sourcea1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 444442、读文件exec：commd中写命令，如果用tail的话记得用大写的F# Describe/configure the sourcea1.sources.r1.type = exe
Flume采集数据时在HDFS上产生大量小文件的问题
在配置flume配置文件的时候，配置了滚动时间和最大字节数，但是在写入到hdfs的时候，其实是不按滚动时间去自动滚动的。设置a1.sinks.k1.hdfs.minBlockReplicas=1。因为文件会因为所在块的复制而滚动文件。
flask传递列表等到jinja2模版的时候出现'；
{% for i in connect.d %} "{{i[0]}}", {% endfor %}# #可以使用循环读取每一条数据
在Hadoop HDFS NameNode web端中下载文件会重定向到localhost:50075
host文件在错误的IP地址上指定，则获取并报告环回适配器的地址。因此需要检查一下几项1.检查hosts文件，确认127.0.0.1对应的是 localhost2.检查HDFS-site.xml中dfs.name.rpc-address和dfs.datanode.http.address中配置的主机名是否和/etc/hostname中的主机名对应
Hadoop 当中 Datanode节点不启动的解决办法
2019-03-28 08:31:49,347 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/opt/hadoop-repo/data/ java.io.IOException: Incompatible clusterIDs in /opt/hadoop-repo/data: namenode clusterID = CID-50b8afea-9e44
re正则模块详解
re正则表达式是一种工具，和其他工具一样，它是人们为了解决某一类专门的问题而发明的。想要理解正则表达式及其功用。最好的办法是了解他们可以解决什么样的问题正则表达式的主要用途之一是搜索变化多端的文本，比如，搜索以http开头的 以句号等空白字结尾的字符串 import re text = "The Attila the Hun Show" # a single character 单个字符 m = re.match(".", text) if m: print repr(".")
Collections 内建集合模块
Collections 集合类 namedtuple 我们知道tuple可以表示不变集合，例如，一个点的二维坐标就可以表示成： >>> p = (1, 2) 但是，看到(1, 2)，很难看出这个tuple是用来表示一个坐标的。 定义一个class又小题大做了，这时，namedtuple就派上了用场： >>> from collections import namedtuple>>> Point = namedtuple('Po