<div dir="ltr">In line with the email thread and email title, The purpose of this email is to start a collaboration on how best we can optimize Salsa CI by migrating from using <b>dpkg-buildpackage</b> to <b>sbuild</b> for building packages. The reason is to reduce the build time it may take for testing packages. Other reasons are referenced in <a href="https://salsa.debian.org/salsa-ci-team/pipeline/-/merge_requests/404">this MR</a>'s description. <div><br></div><div>So far there has been a lot of progress as reflected in the <a href="https://salsa.debian.org/salsa-ci-team/pipeline/-/merge_requests/404/diffs">diffs</a>. However. One major block that we are having is integrating sbuild with ccache. The pipeline generally has 3 stages;</div><div><ol><li>Images - This creates reusable docker containers using these <a href="https://salsa.debian.org/kaxada/pipeline/-/tree/optimization-with-sbuild/images/dockerfiles">Dockerfiles</a> that are stored in GitLab to be reused anytime a job is called. these images need to be built and availed so that the build time is reduced. </li><li>Build - This fetches the necessary upstream resources for a particular package and uses builds the package depending on the <b>host, architecture and build environment variables</b>. Currently, this process is using dpkg-buildpackage and this is the section we want to integrate with sbuild</li><li>Clean - This cleans up the used images for further use. </li></ol><div>We have been thinking of integrating ccache with sbuild but we are having issues with which stage we can implement that so that it runs successfully. I created a <a href="https://salsa.debian.org/salsa-ci-team/pipeline/-/merge_requests/404#note_393173">long comment that tries to explain some of my analysis of the whole pipeline</a> and why it would be failing. please use it as a reference. The latest build error that I'd also need some enlightenment on is <a href="https://salsa.debian.org/kaxada/pipeline/-/jobs/4117029#L283">on this line.</a> </div></div><div><br></div><div>I would have been verbose in my here but I have tried to provide the necessary links and a basic explanation of what the scenario is. </div><div><br></div><div>I hope to collect perspectives and also answer some questions where I can. </div><div><br></div><div>Regards,</div><div>Enock</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Apr 7, 2023 at 6:46 AM Johannes Schauer Marin Rodrigues <<a href="mailto:josch@debian.org">josch@debian.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi Enoch,<br>
<br>
Quoting Enoch Kaxada (2023-04-07 01:32:24)<br>
> I am writing this email to open up a collaboration so that we can work<br>
> together.<br>
> <br>
> We are working on integrating sbuild into salsa CI to reduce the build time<br>
> mostly. Here is the MR<br>
> <<a href="https://salsa.debian.org/salsa-ci-team/pipeline/-/merge_requests/404" rel="noreferrer" target="_blank">https://salsa.debian.org/salsa-ci-team/pipeline/-/merge_requests/404</a>>.<br>
> There are several threads of discussions under the MR to see that we set up<br>
> sbuild in the best way possible but we think we need extra eyes.<br>
> <br>
> Our main challenge is using ccache together with sbuild and the latest<br>
> implementation is on this HEAD<br>
> <<a href="https://salsa.debian.org/salsa-ci-team/pipeline/-/merge_requests/404/diffs" rel="noreferrer" target="_blank">https://salsa.debian.org/salsa-ci-team/pipeline/-/merge_requests/404/diffs</a>><br>
> .<br>
> <br>
> We are looking so solid explanations as to why the pipelines errors are the<br>
> way they are.<br>
<br>
I got recently diagnosed with multiple sclerosis and am still unable to feel my<br>
feet and fingers. The latter makes using my computer very hard and frustrating.<br>
Please be more specific what problem you are having with sbuild so that I can<br>
minimize my time in front of the keyboard.<br>
<br>
Also note, that while I probably know subild best, I have no idea about ccache<br>
integration with it. So I might not be of much help.<br>
<br>
Thanks!<br>
<br>
cheers, josch</blockquote></div>