这个网络摄像头需要一个客户端和服务端，客户端使用opencv捕捉摄像头，通过socket将图片流传输到服务端，服务端接受图片流，使用HTTPServer渲染生成一个简单的网页，将图片流用mjpeg的方式传输到浏览器中，这样就可以直接用浏览器来查看摄像头视频了。主要的实现方式就是这样的，下面详细介绍下. 安装依赖 首先需要在客户端安装opencv，安装方式可以Google下，这里就不再赘述了，服务端需要安装pillow和numpy这两个模块。 实现代码 首先是客户端的代码: import io import socket import struct import time import d...

Read more

基本格式: dotnet [command] [arguments] [--additional-deps] [--additionalprobingpath] [-d|--diagnostics] [--fx-version] [-h|--help] [--info] [--roll-forward-on-no-candidate-fx] [-v|--verbose] [--version]

选项说明： --additionaldeps <PATH> 其他路径deps.json文件。 --additionalprobingpath <PATH> 包含要进行探...

Read more

首先需要安装包： pip install pyhive[hive]

如果安装报错的话执行: sudo apt-get install libsasl2-dev

再安装下。
然后需要启动hive服务: hive --service hiveserver2

修改hive验证方式: 在hive-site.xml中： <property> <name>hive.server2.authentication</name> <value>NOSASL</value> <description> ...

Read more

ubuntu安装Hadoop Hive Hive是基于Hadoop的一个数据仓库工具。Hive可直接用类似SQL的语言描述数据处理逻辑，避免开发人员在开发大数据查询分析处理程序时，编写复杂的基于JAVA的MapReduce程序。换句话说，Hive是将MapReduce抽象为类似SQL语句，在执行SQL语句时，Hive将其转换为MapReduce任务并运行。 很明显Hive需要依赖Hadoop，而且，不同于HBase，Hive必须依赖于HDFS，不能使用本地文件系统；Hive基于Hadoop的分布式存储系统HDFS和HBase以及MapReduce并行计算框架工作。 下载和初始化Hive ...

Read more

这个功能主要是使用python的jieba分词模块来分词，然后使用mapreduce来统计，其实功能很简单，但是由于刚开始接触使用hadoop，出现了各种问题，这里记录下。 在hadoop执行的mapreduce程序时，使用python非系统模块的话会出现找不到包的错误，网上找到了一种解决方案，使用系统内置的zipimport模块,使用方法： 首先将该模块的所有文件复制到当前目录，然后执行: zip -r jieba.zip jieba mv jieba.zip jieba.mod

然后代码中就可以这样引入： import sys

sys.path.append('./&#...

Read more

Hadoop 框架使用 Java 开发的，对 Java 进行了原生的支持，不过对于其它语言也提供了 API 支持，如 Python 、 C++ 、 Perl 、 Ruby 等。这个工具就是 Hadoop Streaming ，顾名思义， Streaming 就是 Pipe 操作，说起 pipe ，大家肯定不陌生。最原生的 Python 支持是需要 Jython 支持的，不过这里有额外的方法来实现，大家如果只是使用的话，不用纠结 Jython 转换的问题。
最容易的 Hadoop 编程模型就是 Mapper 和 Reducer 的编写，这种编程模型大大降低了我们对于并发、同步、容错、一...

Read more