Vox Pupuli - Wie man eine Open Source Community aufbaut und lebendig hält

# Vox Pupuli - Wie man eine Open Source Community aufbaut und lebendig hält

---

# Vox Pupuli - Wie man eine Open Source Community aufbaut und lebendig hält
## Wie man eine Community auf über 210 Mitglieder und über 300 Projekte skaliert

---

## $ whoami
<img src="bastelfreak2.jpg" alt="drawing" style="float: right;width: 400px;"/>

* Tim 'bastelfreak' Meusel

* Bei [Vox Pupuli](https://voxpupuli.org/) aktiv seit 2015

* Für einen sehr kleinen lokalen Hoster gearbeitet

* Vox Pupuli (PMC)

* Wohnhaft in Köln

* Senior IT Automation Consultant für [betadots](https://betadots.de/)

<a href='https://betadots.de' alt='company website betadots'><img src="logo-1181x1181.png" alt="drawing" style="position: fixed; bottom: 12px; left: 20px; width: 100px;"/></a>
???

* who has seen this picture before because I reviewed/merged your pull request?

---

# Was ist Puppet?

???

* Who knows Puppet or worked with it?
---

]
<a href='https://betadots.de' alt='company website betadots'><img src="logo-1181x1181.png" alt="drawing" style="position: fixed; bottom: 12px; left: 20px; width: 100px;"/></a>
.footnote[[@bastelsblog](https://twitter.com/bastelsblog) for [@voxpupuliorg](https://twitter.com/voxpupuliorg)]

???

---
count: false
.left-column[
## Puppet
### Was?
]

* Eigene deklarative Sprache, Puppet DSL

???

* Alternatives like Salt/Ansible don't, they are mostly YAML
---
count: false
.left-column[
## Puppet
### Was?
]

* Eigene deklarative Sprache, Puppet DSL

* Erfunden/entwickelt von Puppet Inc (jetzt Perforce)

???

---
count: false
.left-column[
## Puppet
### Was?
]

* Eigene deklarative Sprache, Puppet DSL

* Erfunden/entwickelt von Puppet Inc (jetzt Perforce)

* Apache 2 Lizenz (mit CLA)

???

---
.left-column[
## Puppet
### Was?
### Wie?
]

.right-column[
Beispiel Klasse für nginx
```puppet
\# @summary configures nginx in a bad way
\# @param content the whole nginx config
class nginx (
  Sensitive[String[1]] $content,
) {
  package { 'nginx':
    ensure => 'installed',
  }
  -> file { '/etc/nginx/nginx.conf':
    ensure => 'file',
    content => $content,
  }
  ~> service { 'nginx':
    ensure => 'running',
    enable => true,
  }
}
```

???

* example class of three resources. A resources describes one specific thing on a system

---
.left-column[
## Puppet
### Was?
### Wie?
]

* glorifiziertes .tar.gz Archiv

* Ähnlich eines Ruby Gems oder Python Paketes

???

---

* glorifiziertes .tar.gz Archiv

* Ähnlich eines Ruby Gems oder Python Paketes

* Meistens lebt ein Modul in einem Git(Hub) Repo

* Ein Modul verwaltet eine Software Komponente
]
<a href='https://betadots.de' alt='company website betadots'><img src="logo-1181x1181.png" alt="drawing" style="position: fixed; bottom: 12px; left: 20px; width: 100px;"/></a>
.footnote[[@bastelsblog](https://twitter.com/bastelsblog) for [@voxpupuliorg](https://twitter.com/voxpupuliorg)]

???

* grouping resources based on software component makes modules exchangeable and composable!
---
class: center, middle, inverse

# Wer benutzt Open Source Software?

???

* easy question as a warm up
---
class: center, middle, inverse

# Wer wollte einen Bug reporten?

???

* Among this group, who wanted to report a bug or provide a patch?
---
class: center, middle, inverse

# Wer nutzt tote Open Source Software?

???

* Wer hat während des bugreports gemerkt dass das projekt nur einer person gehört die seit 3 jahren nichts mehr daran gemacht hat?

You might guess where this is going
---
class: center, middle, inverse

# Was ist dieses Vox Pupuli Ding?

???
Now a question I will try to answer for you, what is vox pupuli

* Who heard about it before?
---

???

Some stats. A group that:
* 150 Puppet modules in 2021. 186 *active* modules at the moment
* 43 Ruby Gems in 2021, 54 *active* gems at the moment
---

* Und Ruby Gems!
]
<a href='https://betadots.de' alt='company website betadots'><img src="logo-1181x1181.png" alt="drawing" style="position: fixed; bottom: 12px; left: 20px; width: 100px;"/></a>
.footnote[[@bastelsblog](https://twitter.com/bastelsblog) for [@voxpupuliorg](https://twitter.com/voxpupuliorg)]

???

* 150 Puppet modules in 2021. 175 *active* modules at the moment
* 43 Ruby Gems in 2021, 54 *active* gems at the moment
---
count: false

* Und Ruby Gems!

* Freundliche und hilfsbereite Community

]

<a href='https://betadots.de' alt='company website betadots'><img src="logo-1181x1181.png" alt="drawing" style="position: fixed; bottom: 12px; left: 20px; width: 100px;"/></a>
.footnote[[@bastelsblog](https://twitter.com/bastelsblog) for [@voxpupuliorg](https://twitter.com/voxpupuliorg)]

???

* We've a code of conduct at least since 2016 and had a single violation

* A person wasn't polite to a few others

---

* Und Ruby Gems!

* Freundliche und hilfsbereite Community

* Aufgeschlossen für neue Mitglieder und Technologien
]

???
* new people are always welcome and it's easy to participate
* usually interact via IRC or via GitHub issues and pull requests
* Puppet/Perforce has a slack community. Our slack room is bridged with our IRC channel
* technology: example conversation: Hey can I add gentoo support to a module? Or Arch Linux support?

* domain specific experts

* Any fellow Arch Linux friends here?
---

* Und Ruby Gems!

* Freundliche und hilfsbereite Community

* Aufgeschlossen für neue Mitglieder und Technologien

* Ein Zuhause für verwaiste Puppet-Module
]

???

---

* Und Ruby Gems!

* Freundliche und hilfsbereite Community

* Aufgeschlossen für neue Mitglieder und Technologien

* Ein Zuhause für verwaiste Puppet-Module

* Ein Kollektiv aus einzelnen Entwicklern aufbauen

]

???

---
count: false

* Und Ruby Gems!

* Freundliche und hilfsbereite Community

* Aufgeschlossen für neue Mitglieder und Technologien

* Ein Zuhause für verwaiste Puppet-Module

* Ein Kollektiv aus einzelnen Entwicklern aufbauen

* Sicherstellung einer kontinuierlichen Weiterentwicklung
]

???

* We want to work together on modules
* together we develop tooling to test our modules
---
.left-column[
## Vox Pupuli
### Was?
### Wer?
]

![img](contributors.svg)
]

???

* 2021: 161 members in the GitHub org with merge access
* now: 187

* every dot marks a presentation about or related to vox pupuli
---

* `git rebase` ist für viele eine Herausforderung

]

???

---

* `git rebase` ist für viele eine Herausforderung

* Viele Menschen ohne Erfahrung mit Test Frameworks

* Interesse an RuboCop/puppet-lint/rspec-puppet/serverspec
]

???

* Those are the tools we use in our CI
* talk about them later
* CI runs automatically
* CI does code annotations
* People want to fix/enhance their code because CI feedback is quick and nice
---

* Viele Menschen ohne Erfahrung mit Test Frameworks
  * Interesse an RuboCop/puppet-lint/rspec-puppet/serverspec

* SRE/DevOps/Platform/Systems Engineers in kleinen Teams
  * Nutzen Puppet im Betrieb und wollen öffentlichen Module nutzen
]

???

* a team so tiny, often a single person

---

* Viele Menschen ohne Erfahrung mit Test Frameworks
  * Interesse an RuboCop/puppet-lint/rspec-puppet/serverspec

* SRE/DevOps/Platform/Systems Engineers in kleinen Teams
  * Nutzen Puppet im Betrieb und wollen öffentlichen Module nutzen

* Puppet Consultants patchen Module für Kunden
]

???

* We provide letter of recognitions or kinda an employment reference

* fryher viele admins von legacy infra

---

???

* Who of you maintains a open source project

---

* Erfolgreich impliziert Dokumentation
]

---

* Erfolgreich impliziert Dokumentation

* Mehr User → Mehr Bugreports and Feature Requests
]

???

---

* Erfolgreich impliziert Dokumentation

* Mehr User → Mehr Bugreports and Feature Requests

* Maintainer verlieren Interesse, fehlende Zeit, Burnout
]

???

* if a single person maintains a project: the more users you have the more likely it is to burn out
* remember earlier when I asked about abandoned software?

---

* Erfolgreich impliziert Dokumentation

* Mehr User → Mehr Bugreports and Feature Requests

* Maintainer verlieren Interesse, fehlende Zeit, Burnout

* Vox Pupuli möchte dem Vorbeugen

* Mit einer großen Gruppe an Maintainern und effizientes Tooling
]

???

* if a single person maintains a project: the more users you have the more likely it is to burn out
* remember earlier when I asked about abandoned software?

---

# Wie funktioniert Vox Pupuli?

???

* now you might as yourself. this sounds amazing, how does it work? Glad you're asking

---
.left-column[
## Vox Pupuli
### Was?
### Wer?
### Wieso?
### Wie?
]

???

* who worked in a company with a similar complex org chart?
* Who liked it?
* Who prefers small/flat hierarchies?
---

???

* there is no real hierarchy
* Vox Pupuli is one big group
* we work with lazy consensus
* If a decision needs to be made and there is no majority for any of the options, PMC will choose
* people love to work in such an environment, it enables people

---

???

* what else do people love about vox pupuli? Our styleguide

* We are distributed around the world
* From the beginning, we were in different timezones and people with different backgrounds

---

* Dokumentiert jede Diskussion und deren Ergebnis!
]

???

* Often it's possible to implement something in different ways
* Or to format the code in different ways
* we notice this during code reviews, we use PRs for every change/contribution
* if something is unclear, we talk about it and document it afterwards
---

* Dokumentiert jede Diskussion und deren Ergebnis!

* Es ist Okay Entscheidungen Rückgängig zu machen
]

???

* This is a living document. new collaborators should read it. those people are awesome to spot (my) spelling issues, enhancements, stuff that doesnt make sense
* review it for each new puppet version
---

* Dokumentiert jede Diskussion und deren Ergebnis!

* Es ist Okay Entscheidungen Rückgängig zu machen

* Vox Pupuli Styleguide: [voxpupuli.org/docs/reviewing_pr](https://voxpupuli.org/docs/reviewing_pr/)
]

???

* If you've a development team within your company, I recommend following this pattern
* Write down your guidelines, publish them on the internet, interact with others
---

* Dokumentiert jede Diskussion und deren Ergebnis!

* Es ist Okay Entscheidungen Rückgängig zu machen

* Vox Pupuli Styleguide: [voxpupuli.org/docs/reviewing_pr](https://voxpupuli.org/docs/reviewing_pr/)

* Unser Styleguide wurde von Puppet Inc adoptiert

* Er ist der Quasistandard im Puppet Ökosystem
]

???
* code best practice and style guide
* Puppet/Perforce also has a styleguide, but it's lacking many details. Ours is an enhancement or addition
---

* Dokumentiert jede Diskussion und deren Ergebnis!

* Es ist Okay Entscheidungen Rückgängig zu machen

* Vox Pupuli Styleguide: [voxpupuli.org/docs/reviewing_pr](https://voxpupuli.org/docs/reviewing_pr/)

* Unser Styleguide wurde von Puppet Inc adoptiert

* Er ist der Quasistandard im Puppet Ökosystem

* Styleguides bringen einen Mehrwert wenn man ihn erzwingen kann
]

???

* Wouldnt it be nice if we could enforce this somehow? if we could verify if our code looks like the styleguide recommends it?

---

* Dokumentiert jede Diskussion und deren Ergebnis!

* Es ist Okay Entscheidungen Rückgängig zu machen

* Vox Pupuli Styleguide: [voxpupuli.org/docs/reviewing_pr](https://voxpupuli.org/docs/reviewing_pr/)

* Unser Styleguide wurde von Puppet Inc adoptiert

* Er ist der Quasistandard im Puppet Ökosystem

* Styleguides bringen einen Mehrwert wenn man ihn erzwingen kann

* puppet-lint, RuboCop, metadata-json-lint
]

???

* linters!
* metadata-json-lint for json, RuboCop for ruby files, puppet-lint for puppet DSL
* puppet-lint can be extended with plugins. one plugin for each specific entry in the styleguide

* this makes reviews easier. as a contributor, you don't need to wait for feedback from us. there are tools that can tell you what's wrong. and in most cases how to fix it (autofix). People love that.

---

* Schnelles Feedback, weniger Aufwand für Reviewer
]

???

* I still fix bugs in other projects and notice that they don't have any tests or linting
---

* Schnelles Feedback, weniger Aufwand für Reviewer

* Code Annotations!
]

???

* GitHub and GitLab support this. A linting/test tool can tell the CI system which line, which character violated a styleguide or broke a test
---

![img](rubocop.png)
]

???

* example for RuboCop. tells you the line, what kind of violation and a link to documentation
* turns out people love that!
* this enables people to work on their own most of the time, with a very short feedback loop

---

![img](puppetlint.png)

* Dokumentation für: Puppet Module [puppetmodule.info](https://puppetmodule.info/modules)
]

???

* we have the same feature for puppet-lint
* what does it say? missing docs?
* Remember when I earlier talked about documentation in a project?
* In the puppet ecosystem you can add some inline comments and a tool called puppet-strings can generate documentation
* We check during each CI run if the REFERENCE.md is up2date
* many languages support it to generate documentation from code+inline docs. if yours does it, use it!
* puppet forge will display the REFERENCE.md for each release
* puppetmodule.info
---

![img](rspec.png)
]

???

* rspec-puppet is used for unit testing
* note the operating system? keep that in mind?

---

![img](beaker.png)
]

???

* Beaker macht acceptance testing

---
.left-column[
## Vox Pupuli
### Was?
### Wer?
### Wieso?
### Wie?
]

* CI Systeme sollten so schnell wie möglich Feedback geben
]

???

* who likes to wait 20 minutes for CI to get feedback? Only people that drink a lot of coffee and need a refill

---

]

???

We implemented this in github actions.
* we start from quick checks to slower checks
* first validate the code. puppet code, ruby code, if the syntax is valid
* the linting and formatting. that's RuboCop/puppet-lint mentioned earlier
* then we generate a CI matrix
---

* `jq .requirements[0] metadata.json`

```json
{
 "name": "puppet",
 "version_requirement": ">= 7.0.0 < 9.0.0"
}
```
]

???

* each puppet module contains a metadata.json
* it lists the supported puppet versions
* we get each major version and can generate CI jobs for each major version
* makes implementing support for newer versions easy. bump metadata.json and watch CI
* same pattern works in other languages, like python or ruby projects
* dont hardcode this in your CI config.
---

* `jq .requirements[0] metadata.json`

```json
{
 "name": "puppet",
 "version_requirement": ">= 7.0.0 < 9.0.0"
}
```

* `jq .operatingsystem_support[0] metadata.json`

```json
{
  "operatingsystem": "Debian",
  "operatingsystemrelease": [
    "11",
    "12"
  ]
}
```
]

???

* We have a tool called beaker to spin up VMs/docker instances
* generate one job per OS version per puppet version
* remember earlier when we talked about being open to new technology? someone wanting to add support for a new operating system? add it to metadata.json and you get a new CI job
---

* Doku: [github.com/voxpupuli/gha-puppet](https://github.com/voxpupuli/gha-puppet#puppet-github-actions)
]

???

As mentioned, documentation is important, the whole setup is FOSS and runs on GitHub actions, can be ported to gitlab
---

* Doku: [github.com/voxpupuli/gha-puppet](https://github.com/voxpupuli/gha-puppet#puppet-github-actions)

* Wiederbenutzbarer GitHub Workflow

```yaml
name: CI

on: pull_request

concurrency:
  group: ${{ github.ref_name }}
  cancel-in-progress: true

jobs:
  puppet:
    name: Puppet
    uses: voxpupuli/gha-puppet/.github/workflows/beaker.yml@v2
```
]

???

just in case you develop modules on github, you can reuse our workflow
---

* Doku: [github.com/voxpupuli/gha-puppet](https://github.com/voxpupuli/gha-puppet#puppet-github-actions)

* Wiederbenutzbarer GitHub Workflow

* Alle Checks und Tests können auch lokal ausgeführt werden [voxpupuli.org/docs/how_to_run_tests](https://voxpupuli.org/docs/how_to_run_tests/)
]

---
count: false

* Doku: [github.com/voxpupuli/gha-puppet](https://github.com/voxpupuli/gha-puppet#puppet-github-actions)

* Wiederbenutzbarer GitHub Workflow

* Alle Checks und Tests können auch lokal ausgeführt werden [voxpupuli.org/docs/how_to_run_tests](https://voxpupuli.org/docs/how_to_run_tests/)

* Jedes Repository hat eine CONTRIBUTING.md
]

???

Thats a github feature. when you open a PR and the file is present, github will tell you about it

---

* Jedes Projekt hat Boilerplate Dateien

* Rakefile, Verzeichnissstruktur, CONTRIBUTING.md
]

---

* Jedes Projekt hat Boilerplate Dateien

* Rakefile, Verzeichnissstruktur, CONTRIBUTING.md

* `modulesync`; Open Source Projekt von Vox Pupuli

* Templates + Konfigurationsdateien auf eine Liste von Git Repositorys anwenden

* Quellcode: [github.com/voxpupuli/modulesync](https://github.com/voxpupuli/modulesync#modulesync)
]

???

* this is not puppet-specific, it can be used for every group of git repos with similar boilerplate code
* it can automatically create GitLab/GitHub/GitHub Enterprise PRs, or just push branches
* distributed as ruby gem

---

.right-column[
* modulesync Configs: [github.com/voxpupuli/modulesync_config](https://github.com/voxpupuli/modulesync_config#modulesync-configs)
![img](modulesync.png)
]

???
---

# Fazit & Zusammenfassung

---
.left-column[
## Vox Pupuli
### Fazit
]
.right-column[

* Dokumentiert wie euer Team arbeitet
]

---

* Dokumentiert wie euer Team arbeitet

* Entwickelt öffentlich, auch Firmencode
]

---

* Dokumentiert wie euer Team arbeitet

* Entwickelt öffentlich, auch Firmencode

* Dokumentiert euren Styleguide

]

???

* habt überhaupt einen stylgeguide
* dokumentiert warum ihr euch für style X entschieden habt
* bleibt möglichst nah am upstream styleguide
* dokumentiert wenn ihr davon abweicht

---

* Dokumentiert wie euer Team arbeitet

* Entwickelt öffentlich, auch Firmencode

* Dokumentiert euren Styleguide

* Dokumentiert eure Projekte
]

???

* Ist die dokumentation gut genug das sich ein neuer mitarbeiter eigenständig einarbeiten kann?

* Sind externe user, die nicht bei euch arbeiten, in der lage die doku zu finden und zu verstehen?

---

* Dokumentiert wie euer Team arbeitet

* Entwickelt öffentlich, auch Firmencode

* Dokumentiert euren Styleguide

* Dokumentiert eure Projekte

* Minimiert Boilerplate Code

]

???

---

* Dokumentiert wie euer Team arbeitet

* Entwickelt öffentlich, auch Firmencode

* Dokumentiert euren Styleguide

* Dokumentiert eure Projekte

* Minimiert Boilerplate Code

* Verwaltet Boilerplate Code zentral

]

???

---

.left-column[
## Vox Pupuli
### Fazit
### Kontakt
]
.right-column[
* IRC: [Libera.Chat/#voxpupuli](https://web.libera.chat/?#voxpupuli)

* Mailingliste: [voxpupuli@groups.io](mailto:voxpupuli@groups.io)

* Feedback: [tim@bastelfreak.de](mailto:tim@bastelfreak.de)

* Slideset und weitere Vorträge: <a href='https://github.com/bastelfreak/talks'>github.com/bastelfreak/talks</a>

* Support Vox Pupuli via [GitHub sponsors](https://github.com/sponsors/voxpupuli) oder [OpenCollective](https://opencollective.com/vox-pupuli/)

### Vielen Dank für eure Aufmerksamkeit!
]
<a href='https://betadots.de' alt='company website betadots'><img src="logo-1181x1181.png" alt="drawing" style="position: fixed; bottom: 12px; left: 20px; width: 100px;"/></a>
.footnote[[@bastelsblog](https://twitter.com/bastelsblog) for [@voxpupuliorg](https://twitter.com/voxpupuliorg)]

???

* Danke betadots fürs sponsoring
* wir stellen ein
* supported vox pupuli

---

.left-column[
## Vox Pupuli
### Fazit
### Kontakt
### Link Sammlung
]
.right-column[
* Unsere Website: [voxpupuli.org/docs/](https://voxpupuli.org/docs/)

* CI Setup: [github.com/voxpupuli/gha-puppet](https://github.com/voxpupuli/gha-puppet#puppet-github-actions)

* Unit Tests: [github.com/voxpupuli/voxpupuli-test](https://github.com/voxpupuli/voxpupuli-test#voxpupuli-test-gem)

* Acceptance Tests: [github.com/voxpupuli/voxpupuli-acceptance](https://github.com/voxpupuli/voxpupuli-acceptance#voxpupuli-acceptance-gem)

* Release Tooling: [github.com/voxpupuli/voxpupuli-release](https://github.com/voxpupuli/voxpupuli-release#vox-pupuli-release-gem)

* modulesync_config: [github.com/voxpupuli/modulesync_config](https://github.com/voxpupuli/modulesync_config#modulesync-configs)
]
<a href='https://betadots.de' alt='company website betadots'><img src="logo-1181x1181.png" alt="drawing" style="position: fixed; bottom: 12px; left: 20px; width: 100px;"/></a>
.footnote[[@bastelsblog](https://twitter.com/bastelsblog) for [@voxpupuliorg](https://twitter.com/voxpupuliorg)]

???

???
CI setup

---

.right-column[
<img src="car.jpg" style="width:85%;">
]
<a href='https://betadots.de' alt='company website betadots'><img src="logo-1181x1181.png" alt="drawing" style="position: fixed; bottom: 12px; left: 20px; width: 100px;"/></a>
.footnote[[@bastelsblog](https://twitter.com/bastelsblog) for [@voxpupuliorg](https://twitter.com/voxpupuliorg)]