天道酬勤,学无止境

mesos

HDFS resiliency to machine restarts in DC/OS

问题 回答1 最终,问题出现在 DC/OS 的 Universe HDFS 包的错误版本中。 然而,一个全新的 DC/OS 的 HDFS 包将在接下来的几周内在 Universe 上发布。 https://dcos-community.slack.com/archives/data-services/p1485717889001709 https://dcos-community.slack.com/archives/data-services/p1485801481001734 回答2 像您这样的 HA 部署的 HDFS 弹性模型的快速摘要: 两个 NameNode 形成一个活动/备用对。 在活动机器重新启动的情况下,系统会检测到活动机器的故障,备用机器将作为新的活动机器接管。 一旦机器完成重启,NameNode 进程将再次运行,并成为新的备用节点。 除非两个 NameNode 同时停机,否则不会停机。 主机上的数据(例如 fsimage 元数据文件)通常在重新启动之间进行维护。 如果您的环境不是这种情况,那么您将需要额外的恢复步骤来重新建立备用数据库,例如通过运行hdfs namenode -bootstrapStandby命令。 3 个 JournalNode 构成一个仲裁。 在机器重启的情况下,NameNode 可以继续将其编辑日志事务写入剩余的 2 个

2022-05-16 00:14:05    分类:技术分享    hadoop   hdfs   mesos   marathon   dcos

Mesos DCOS doesn't install Kafka

问题 I'm trying to install Kafka on Mesos. Installation seems to have succeeded. vagrant@DevNode:/dcos$ dcos package install kafka This will install Apache Kafka DCOS Service. Continue installing? [yes/no] yes Installing Marathon app for package [kafka] version [0.9.4.0] Installing CLI subcommand for package [kafka] version [0.9.4.0] New command available: dcos kafka The Apache Kafka DCOS Service is installed: docs - https://github.com/mesos/kafka issues - https://github.com/mesos/kafka/issues vagrant@DevNode:/dcos$ dcos package list NAME VERSION APP COMMAND DESCRIPTION kafka 0.9.4.0 /kafka

2022-05-13 09:15:12    分类:技术分享    apache-kafka   mesos   marathon   dcos

HDFS resiliency to machine restarts in DC/OS

I have installed HDFS from universe on my DCOS cluster of 10 Core OS machines (3 master nodes, 7 agent nodes). My HA HDFS config has 2 name nodes, 3 journal nodes and 5 data nodes. Now, my question is. Shouldn’t the HDFS be resilient to machine restarts? If I restart a machine where a data node is installed the data node gets rebuilt as a mirror of the others (only after restarting the HDFS service from the DC/OS UI). In the case of a restart where a journal node or a name node is, the nodes will be just marked as lost and never rebuilt.

2022-04-30 05:21:43    分类:问答    hadoop   hdfs   mesos   marathon   dcos

Mesos DCOS doesn't install Kafka

I'm trying to install Kafka on Mesos. Installation seems to have succeeded. vagrant@DevNode:/dcos$ dcos package install kafka This will install Apache Kafka DCOS Service. Continue installing? [yes/no] yes Installing Marathon app for package [kafka] version [0.9.4.0] Installing CLI subcommand for package [kafka] version [0.9.4.0] New command available: dcos kafka The Apache Kafka DCOS Service is installed: docs - https://github.com/mesos/kafka issues - https://github.com/mesos/kafka/issues vagrant@DevNode:/dcos$ dcos package list NAME VERSION APP COMMAND DESCRIPTION kafka 0.9.4.0 /kafka kafka

2022-04-29 19:51:41    分类:问答    apache-kafka   mesos   marathon   dcos

How to measure the CPU utilization of Each container in Mesos?

问题 我在 Mesos 的容器上运行了许多应用程序,通过马拉松进行管理。 在通过马拉松(如 1、.5 等)进行部署时,我已经为每个应用程序分配了 CPU。但马拉松中的 CPU 分配并不意味着它的 1 个 CPU 或半个 CPU。 它只是意味着它的分时比率。 此外,每个容器都可以访问其主机上的所有 CPU。 现在,我想测量 Mesos slave 上每个 Container 的 CPU 效率,以便我可以减少或增加 Marathon 中每个 App 的 CPU 分配。 我只是想让资源利用效率更高。 我可以使用 https://github.com/bobrik/collectd-mesos-tasks,但问题是 CPU 利用率指标与 Marathon 中的 CPU 分配无关。 回答1 在 Mesos WebUI 中,您可以查看执行程序使用了多少 CPU 这是从 /monitor/statistics 端点收集统计信息并计算 CPU 使用率的代码。 您对cpus_total_usage感兴趣,因此以下方法应该适合您 假设a和b是某个时间点的统计数据快照。 要计算cpus_total_usage ,我们需要计算 executor 在系统和用户空间中花费的时间,然后除以a和b之间经过的时间。 cpus_total_usage = ( (b.cpus_system_time_secs - a

2022-04-28 05:27:46    分类:技术分享    containers   monitoring   cpu-usage   mesos   marathon

Consul deregister 'failing' services

问题 我在 Consul v0.5.2 版本上运行 consul,在 Mesos 中运行服务。 服务不断从一台服务器移动到另一台服务器。 有没有办法在领事中注销处于“失败”状态的服务? 我可以使用此 curl 获取处于失败状态的服务列表 curl http://localhost:8500/v1/health/state/critical 我们看到的问题是在 consul UI 中的一段时间内,我们有过时的数据并使整个 UI 无法使用 回答1 默认情况下,Consul 不会取消注册不健康的服务,而是将它们标记为关键。 从 Consul 0.7 开始,有一个特殊选项( deregister_critical_service_after )允许您定义不健康服务将被取消注册后的时间 来自 Consul 0.7 更新日志 自动服务取消注册:为运行状况检查添加了一个新的 deregister_critical_service_after 超时字段,如果检查的关键时间超过超时,将导致与该检查关联的服务被取消注册。 这对于清理应用程序本机注册的健康检查很有用,或者在服务可能并不总是干净关闭的其他情况下很有用。 GH-679 如果您正在使用 Marathon,那么您可以考虑使用 allegro/marathon-consul 它会在任务死亡时取消注册 回答2

2022-04-27 22:49:16    分类:技术分享    microservices   mesos   mesosphere   consul   consul-template

Error when building Mesos

问题 我一直在尝试在 CentOS 7 上构建 Apache Mesos。运行 make 时出现以下错误: Downloading: https://repo.maven.apache.org/maven2/org/apache/apache/11/apache-11.pom [ERROR] [ERROR] Some problems were encountered while processing the POMs: [FATAL] Non-resolvable parent POM for org.apache.mesos:mesos:0.28.2: Could not transfer artifact org.apache:apache:pom:11 from/to central (https://repo.maven.apache.org/maven2): repo.maven.apache.org: unknown error and 'parent.relativePath' points at no local POM @ line 18, column 11 @ [ERROR] The build could not read 1 project -> [Help 1] [ERROR] [ERROR] The project org.apache.mesos

2022-04-26 11:32:06    分类:技术分享    mesos

A single Kubernetes Cluster running on multiple clouds

问题 是否可以以任何方式配置同时利用来自多个 IaaS 提供商的资源的 Kubernetes 集群,例如在 GCE 和 AWS 上部分运行的集群? 还是在裸机和 IaaS 提供商上运行的 Kubernetes 集群? 也许与 Mesos 等其他工具结合使用? 是否有任何其他工具(如 Kubernetes)提供此功能? 如果 Kubernetes 无法实现,那么要提供该功能需要做什么? 任何帮助或建议将不胜感激。 回答1 目前没有支持的方式来实现您想要做的事情。 但是有一个 Kubernetes 项目正在进行中来解决这个问题,该项目名为 Kubernetes Cluster Federation,也称为“Ubernetes”。 更多详细信息可在此处获得: http://www.slideshare.net/quintonh/federation-of-kubernetes-clusters-aka-ubernetes-kubecon-2015-slides-quinton-hoole http://tinyurl.com/ubernetesv2 http://tinyurl.com/ ubernetes-wg-notes

2022-04-23 08:09:20    分类:技术分享    kubernetes   mesos

How should a .dockercfg file be hosted in a Mesosphere-on-AWS setup so that only Mesosphere can use it?

问题 我们已经在私有 VPC 中在 AWS 上使用 Mesosphere 建立了一个测试集群。 我们有一些公开的 Docker 镜像,它们很容易部署。 但是,我们的大多数服务都是私有镜像,托管在 Docker Hub 私有计划上,并且需要身份验证才能访问。 Mesosphere 能够进行私有注册表身份验证,但它以一种不完全理想的方式实现了这一点:需要在所有 Mesos/Marathon 任务定义中指定 .dockercfg 文件的 HTTPS URI。 正如标题所暗示的,问题基本上是:如何将 .dockercfg 文件托管在 AWS 中,以便尽可能严格地将访问权限限制在 Mesos 主从服务器上? 回答1 由于 Mesos 文档在这方面做得很差,我将回答这个 wiki 风格并随时更新这个答案。 应该有效的策略 在 S3 上托管(具有基于网络的访问限制) 在 S3 上托管 .dockercfg 文件。 为了获得更好的安全性,您应该考虑将其放在自己的存储桶中,或者专门用于存储机密的存储桶中。 这在创建安全策略时提出了一些有趣的挑战,该策略实际上将锁定 S3 存储桶,以便只有 Mesos 可以看到它,但它可以完成。 Mesos 任务配置: { ... "uris": ["https://s3-eu-west-1.amazonaws.com/my-s3-bucket-name/

2022-04-21 08:21:54    分类:技术分享    amazon-web-services   mesos   amazon-vpc   docker-registry   mesosphere

Chronos does not run job

问题 我已经为每个服务使用 Docker 映像设置了 Mesos 集群,包括 Marathon 和 Chronos。 我使用的 Docker 镜像如下; ZooKeeper:jplock/zookeeper:3.4.5 Mesos Master: redjack/mesos-master:0.21.0 Mesos 奴隶:redjack/mesos-slave:0.21.0 马拉松:中间层/马拉松:v0.8.2-RC3 计时: tomaskral /chronos:2.3.0-mesos0.21.0 ZooKeeper 在 2181 端口上运行,Mesos Master 在 5050 上运行,Mesos Slave 在 5051 上运行,marathon 在 8088 上运行,Chronos 在 8080 上运行。 我想做的是; 在 Marathon & Chronos 上运行 Docker 容器。 Marathon 成功地将 Docker 容器作为其应用程序运行。 但Chronos 不运行任何作业。 即使 Job 不在 Docker 中。 我尝试启动的 Chronos Job 的配置是; { "schedule": "R/2015-05-28T10:16:30Z/PT2M", "name": "simplejob", "cpus": "0.5", "mem": "512",

2022-04-21 02:31:20    分类:技术分享    docker   mesos   mesosphere